Factory Floor
L'autopilota sotto tutto: AI locale, watchdog e operazioni auto-riparanti per la tua GPU box.
- Linux
- NVIDIA GPU
- ARM64 or x86-64
Cosa fa
Factory Floor è il livello che consente a una sola persona di gestire centinaia di job pianificati senza doverli monitorare. È ciò che mantiene operativa la nostra flotta di notte: serve i modelli linguistici utilizzati da tutti gli altri kit, rileva i job che muoiono silenziosamente, ripara le classi di errore note e resta in silenzio a meno che qualcosa non richieda davvero il tuo intervento.
- Modelli locali come servizio. Servi un endpoint OpenAI-compatible da una o due macchine GPU dietro un proxy least-connection, ed esegui un test di utilizzo degli strumenti prima di cambiare modello, così un aggiornamento non romperà mai i tuoi agenti.
- Watchdog per i guasti silenziosi. Servizi abilitati ma inattivi, unità fallite, timer che hanno smesso di attivarsi, job che restano bloccati per ore: ognuno ha un rilevatore e, dove la soluzione è nota, una riparazione.
- Guardie per la macchina. Le guardie di memoria, disco e temperatura mettono in pausa i job pesanti prima che la macchina si blocchi, per poi riprenderli.
- Una sola email, non cento. Gli avvisi sono raggruppati, deduplicati e scritti per un umano: cosa si è rotto, cosa è stato già tentato, cosa devi fare.
- Obiettivi che girano in loop. Dai un obiettivo a un agente locale; ci lavora round dopo round in una sandbox, scrive un log, verifica il proprio risultato e si ferma quando gli dici di farlo.
Cosa c'è dentro
Unità e timer
Template systemd per i worker, timer con jitter, limiti di risorse e regole di riavvio.
Watchdog
Rilevatori per unità morte, fallite e in ritardo, più un file di regole di riparazione che puoi leggere e modificare.
Servizio modelli
Configurazioni di proxy e avvio per una o due macchine, e l'harness di valutazione per l'utilizzo degli strumenti.
Guardie della macchina
Guardie di memoria, disco e temperatura con pausa e ripresa per i job pesanti.
Avvisi
Un inviatore di email con raggruppamento e orari di silenzio, e un riepilogo giornaliero di ciò che è stato eseguito.
Runbook
Guide di installazione, aggiornamento e recupero, scritte a partire da incidenti realmente avvenuti.
Requisiti
- Ubuntu 22.04 o 24.04 con systemd, x86-64 o ARM64.
- Python 3.10 o versioni successive.
- Per i modelli locali: una GPU NVIDIA con 24 GB o più (macchine di classe DGX Spark sono ideali), oppure qualsiasi endpoint OpenAI-compatible.
- Una casella SMTP per gli avvisi.
Da sapere
- La riparazione automatica riavvia i servizi. Avvia in modalità solo report, leggi le regole, poi attiva le riparazioni.
- I pesi dei modelli non sono inclusi: lo script di installazione scarica i modelli che scegli, secondo le rispettive licenze.
- La tua licenza copre le tue macchine e la tua attività.
Domande
Funziona con una sola macchina?
Sì. La seconda macchina è opzionale; il proxy ha semplicemente un solo backend.
Quali modelli supporta?
Tutto ciò che è servito tramite un'API OpenAI-compatible. Il test di utilizzo degli strumenti ti dice se un modello è abbastanza buono per gli agenti prima di passare.
Gli altri kit ne hanno bisogno?
No, ma migliorano con esso: ogni kit ad alta intensità di AI può usare l'endpoint e i watchdog forniti da Factory Floor.
Aggiornato: