Factory Floor

Mit csinál

A Factory Floor az a réteg, amely lehetővé teszi, hogy egyetlen ember több száz ütemezett feladatot futtasson anélkül, hogy folyamatosan figyelnie kellene őket. Ez tartja működésben a saját gépparkunkat éjszaka is: kiszolgálja a nyelvi modelleket, amelyeket a többi csomag használ, észleli a csendben leállt feladatokat, javítja az ismert hibaosztályokat, és csak akkor szól, ha tényleg rád van szükség.

• Helyi modellek szolgáltatásként. Szolgálj ki egy OpenAI-kompatibilis végpontot egy-két GPU-s gépről egy legkevesebb kapcsolaton alapuló proxy mögött, és futtass egy eszközhasználati tesztet a modellek váltása előtt, hogy a frissítés soha ne törje el az ügynökeidet.
• Őrszemek a csendes hibákra. Az engedélyezett, de nem futó szolgáltatások, a sikertelen egységek, a leállt időzítők és az minden újraindítás után ismét elbukó egységek: mindegyikhez tartozik egy detektor, és az ismert okú hibákhoz javítási szabályok.
• Biztonsági korlátok a géphez. A memória- és hőmérséklet-biztonsági korlátok szüneteltetik a nehéz feladatokat, mielőtt a gép összeomlana, és folytatják őket, amikor a gép helyreáll; a lemezbiztonsági korlát figyelmeztet, mielőtt elfogyna a hely.
• Egy e-mail, nem száz. A riasztások csoportosítva, deduplikálva és ember számára érthető formában kerülnek elküldésre: mi romlott el, mit próbáltál már, és mit kell tenned.
• Ciklikusan futó célok. Adj egy helyi ügynöknek egy célt; azt körönként dolgozza fel egy homokozóban, naplót ír, ellenőrzi a saját eredményét, és megáll, amikor te úgy döntesz.

Mi van benne