Factory Floor
Autopilot pod vším: lokální AI, hlídači a samoléčící provoz pro váš vlastní GPU box.
- Linux
- NVIDIA GPU
- ARM64 or x86-64
Co to dělá
Factory Floor je vrstva, která umožňuje jednomu člověku spouštět stovky naplánovaných úloh bez nutnosti je sledovat. Je to to, co udržuje naši vlastní flotilu v chodu v noci: obsluhuje jazykové modely, které používají všechny ostatní balíčky, všímá si úloh, které tiše umřou, opravuje známé kategorie chyb a mlčí, pokud opravdu něco nepotřebuje od vás.
- Lokální modely jako služba. Poskytujte OpenAI-kompatibilní endpoint z jednoho nebo dvou GPU boxů za proxy s nejnižším počtem spojení a před přepnutím modelů spusťte test použití nástrojů, aby upgrade nikdy nerozbil vaše agenty.
- Hlídači pro tiché chyby. Služby, které jsou povolené, ale neběží, jednotky, které selhaly, časovače, které přestaly spouštět, jednotky, které se opakovaně hroutí po každém resetu: pro každou z nich existuje detektor a chyby se známou příčinou mají pravidlo pro opravu.
- Ochranné mechanismy pro stroj. Ochranné mechanismy pro paměť a teplotu pozastaví náročné úlohy dříve, než se box položí, a obnoví je, když se zotaví; ochranný mechanismus pro disk varuje, než dojde místo.
- Jeden e-mail, ne sto. Upozornění jsou seskupená, deduplikovaná a napsaná pro člověka: co se pokazilo, co už bylo vyzkoušeno a co musíte udělat.
- Cíle, které běží ve smyčkách. Dejte lokálnímu agentovi cíl; pracuje na něm kolo za kolem v sandboxu, zapisuje log, kontroluje vlastní výsledek a zastaví se, když řeknete.
Co je uvnitř
Hlídači
Detektory pro mrtvé, selhané a zpožděné jednotky, plus soubor pravidel pro opravy, který si můžete přečíst a upravit. Nainstalováno jako systemd časovače jedním instalačním skriptem.
Poskytování modelů
Proxy a konfigurační soubory pro spuštění pro jeden nebo dva boxy, kontrola stavu a testovací rámec pro použití nástrojů.
Ochranné mechanismy pro stroj
Ochranné mechanismy pro paměť a teplo, které pozastavují a obnovují náročné úlohy, a ochranný mechanismus pro volné místo na disku.
Upozorňování
Odesílatel e-mailů se seskupováním, potlačením opakovaných zpráv a tichými hodinami, plus denní souhrn.
Goal Engine
Sandboxovaný runner, který pracuje na cíli kolo za kolem, s zmrazenými kontrolami, rollbackem špatných kol a denním přehledem.
Runbooky
Návody k instalaci a obnově, napsané na základě incidentů, které jsme skutečně měli.
Požadavky
- Ubuntu 22.04 nebo 24.04 se systemd, x86-64 nebo ARM64.
- Python 3.10 nebo novější.
- Pro lokální modely: grafická karta NVIDIA s 24 GB nebo více (ideální jsou stroje třídy DGX Spark) nebo jakýkoli endpoint kompatibilní s OpenAI.
- Poštovní schránka SMTP pro upozornění.
- Pro Goal Engine: opencode, nainstalovaný samostatně, a model se spolehlivým voláním nástrojů (součástí je test, který vám to prozradí).
Dobré vědět
- Automatická oprava restartuje služby. Začněte v režimu pouze pro reporty, přečtěte si pravidla a poté opravy zapněte.
- Váhy modelů nejsou součástí balení: modely, které si vyberete, stáhnete sami pod jejich vlastními licencemi.
- Vaše licence se vztahuje na vaše vlastní stroje a váš vlastní podnik.
Otázky
Funguje to na jednom stroji?
Ano. Druhý stroj je volitelný; proxy má prostě jen jeden backend.
Které modely podporuje?
Cokoli obsluhovaného přes API kompatibilní s OpenAI. Test použití nástrojů vám před přepnutím prozradí, zda je model dostatečně dobrý pro agenty.
Potřebují ho ostatní balíčky?
Ne, ale s ním jsou lepší: každý balíček s vysokým využitím AI může využít endpoint a hlídače, které Factory Floor poskytuje.
Aktualizováno: