Factory Floor
Autopiloten under allt: lokal AI, bevakningsprocesser och självhelande drift för din egen GPU-maskin.
- Linux
- NVIDIA GPU
- ARM64 or x86-64
Vad det gör
Factory Floor är lagret som låter en person köra hundratals schemalagda jobb utan att bevaka dem. Det är det som håller vår egen flotta igång på natten: det levererar språkmodellerna som alla andra verktygspaket använder, upptäcker jobb som dör i tystnad, reparerar de feltyper det känner till och håller tyst om inte något verkligen behöver dig.
- Lokala modeller som tjänst. Erbjud en OpenAI-kompatibel endpoint från en eller två GPU-boxar bakom en least-connection-proxy, och kör ett verktygsanvändningstest innan du byter modell, så att en uppgradering aldrig bryter dina agenter.
- Bevakningsprocesser för de tysta felen. Tjänster som är aktiverade men inte kör, enheter som misslyckats, timers som slutat trigga, enheter som fortsätter misslyckas efter varje återställning: varje fall har en detektor, och fel med känd orsak har en reparationsregel.
- Säkerhetskontroller för maskinen. Minnes- och temperatursäkerhetskontroller pausar de tunga jobben innan boxen kapsejsar och återupptar dem när den återhämtar sig; diskkontrollen varnar innan utrymmet tar slut.
- Ett e-postmeddelande, inte hundra. Larm grupperas, dedupliceras och skrivs för en människa: vad som brast, vad som redan provats, vad du behöver göra.
- Mål som körs i loopar. Ge en lokal agent ett mål; den arbetar med det varv efter varv i en sandbox, skriver en logg, kontrollerar sitt eget resultat och stannar när du säger till.
Vad ingår
Bevakningsprocesser
Detektorer för döda, misslyckade och sena enheter, plus en fil med reparationsregler som du kan läsa och redigera. Installeras som systemd-timers av ett enda installationsskript.
Modellservering
Proxy- och startkonfigurationer för en eller två boxar, en hälsokontroll och utvärderingsramverket för verktygsanvändning.
Maskinsäkerhetskontroller
Minnes- och värmekontroller som pausar och återupptar tunga jobb, samt en kontroll för diskutrymme.
Larm
En e-postavsändare med gruppering, undertryckning av upprepningar och tysta timmar, samt en daglig sammanfattning.
Målmotor
En sandboxad körare som arbetar med ett mål varv efter varv, med frysta kontroller, återställning av dåliga varv och en daglig sammanfattning.
Runbooks
Installations- och återställningsguider, skrivna från incidenter vi faktiskt haft.
Krav
- Ubuntu 22.04 eller 24.04 med systemd, x86-64 eller ARM64.
- Python 3.10 eller senare.
- För lokala modeller: ett NVIDIA-GPU med 24 GB eller mer (maskiner i DGX Spark-klass är idealiska), eller valfri OpenAI-kompatibel endpoint.
- En SMTP-postlåda för aviseringar.
- För Goal Engine: opencode, installerat separat, och en modell med tillförlitliga verktygsanrop (det medföljande testet talar om för dig).
Bra att veta
- Auto-repair startar om tjänster. Starta i rapportläge, läs reglerna och aktivera sedan reparationer.
- Modellvikter ingår inte: du laddar ner de modeller du väljer, under deras egna licenser.
- Din licens täcker dina egna maskiner och din egen verksamhet.
Frågor
Fungerar det med en maskin?
Ja. Den andra maskinen är valfri; proxyn har helt enkelt en backend.
Vilka modeller stöds?
Allt som serveras via ett OpenAI-kompatibelt API. Verktygsanropstestet talar om för dig om en modell är bra nog för agenter innan du byter.
Behöver de andra verktygspaketen det?
Nej, men de blir bättre med det: varje AI-tungt verktygspaket kan använda endpointen och de bevakningsprocesser som Factory Floor tillhandahåller.
Uppdaterad: