Factory Floor
Autopilot ispod svega: lokalni AI, nadzorni procesi i samolecenje operacija za vašu GPU mašinu.
- Linux
- NVIDIA GPU
- ARM64 or x86-64
Šta radi
Factory Floor je sloj koji omogućava jednoj osobi da pokreće stotine zakazanih poslova bez nadzora. On održava našu sopstvenu flotu u radu tokom noći: opslužuje jezičke modele koje koriste svi ostali kompleti, primećuje poslove koji tiho umiru, popravlja poznate klase kvarova i ćuti osim ako nešto zaista ne zahteva vašu pažnju.
- Lokalni modeli kao usluga. Pokrenite OpenAI-compatible krajnju tačku sa jedne ili dve GPU mašine iza proxy-ja sa najmanje konekcija, i izvršite test korišćenja alata pre nego što promenite modele, kako nadogradnja nikada ne bi pokvarila vaše agente.
- Nadzorni procesi za tihe kvarove. Servisi koji su omogućeni ali ne rade, jedinice koje su pale, tajmeri koji su prestali da se aktiviraju, jedinice koje nastavljaju da padaju nakon svakog resetovanja: svaki ima detektor, a kvarovi sa poznatim uzrokom imaju pravilo za popravku.
- Zaštitni mehanizmi za mašinu. Zaštitni mehanizmi za memoriju i temperaturu pauziraju teške poslove pre nego što mašina padne i nastavljaju ih kada se oporavi; zaštitni mehanizam za disk upozorava pre nego što prostor nestane.
- Jedna e-pošta, ne sto. Upozorenja su grupisana, deduplikovana i napisana za ljude: šta je puklo, šta je već probano, šta treba da uradite.
- Ciljevi koji rade u petljama. Dajte lokalnom agentu cilj; on radi na njemu iz kruga u krug u pesku, piše dnevnik, proverava sopstveni rezultat i staje kada vi tako kažete.
Šta je unutra
Nadzorni procesi
Detektori za mrtve, pale i zakašnjele jedinice, plus datoteka sa pravilima za popravku koju možete čitati i menjati. Instalira se kao systemd tajmeri jednim skriptom za podešavanje.
Opsluživanje modela
Proxy i konfiguracije za pokretanje za jednu ili dve mašine, provera zdravlja i alat za evaluaciju korišćenja alata.
Zaštitni mehanizmi mašine
Zaštitni mehanizmi za memoriju i toplotu koji pauziraju i nastavljaju teške poslove, i zaštitni mehanizam za prostor na disku.
Upozorenja
Slalac e-pošte sa grupisanjem, potiskivanjem ponavljanja i mirnim satima, i dnevni rezime.
Motor za ciljeve
Peskovani izvršilac koji radi na cilju iz kruga u krug, sa zamrznutim proverama, vraćanjem loših krugova i dnevnim pregledom.
Priručnici
Vodiči za instalaciju i oporavak, napisani na osnovu incidenata koje smo zaista imali.
Zahtevi
- Ubuntu 22.04 ili 24.04 sa systemd, x86-64 ili ARM64.
- Python 3.10 ili noviji.
- Za lokalne modele: NVIDIA GPU sa 24 GB ili više (mašine klase DGX Spark su idealne), ili bilo koji OpenAI-compatible endpoint.
- SMTP poštansko sanduče za obaveštenja.
- Za Goal Engine: opencode, instaliran zasebno, i model sa pouzdanim pozivima alata (uključeni test vam to govori).
Dobro je znati
- Auto-popravka restartuje servise. Pokrenite u režimu samo izveštavanja, pročitajte pravila, pa uključite popravke.
- Težine modela nisu uključene: preuzimate modele koje izaberete, pod njihovim sopstvenim licencama.
- Vaša licenca pokriva vaše mašine i vaš biznis.
Pitanja
Da li radi na jednoj mašini?
Da. Druga mašina je opciona; proksi jednostavno ima jedan backend.
Koje modele podržava?
Bilo koji koji se servira preko OpenAI-compatible API-ja. Test korišćenja alata vam govori da li je model dovoljno dobar za agente pre nego što prebacite.
Da li ga drugi kompleti zahtevaju?
Ne, ali su bolji uz njega: svaki AI-intenzivni komplet može da koristi endpoint i nadzorne procese koje Factory Floor obezbeđuje.
Ažurirano: