Factory Floor
Der Autopilot unter allem: lokale KI, Watchdogs und selbstheilende Ops für deinen eigenen GPU-Server.
- Linux
- NVIDIA GPU
- ARM64 or x86-64
Was es kann
Factory Floor ist die Ebene, mit der eine Person Hunderte geplanter Jobs ausführen kann, ohne sie überwachen zu müssen. Es hält unsere eigene Flotte nachts am Laufen: Es stellt die Sprachmodelle bereit, die alle anderen Kits nutzen, bemerkt Jobs, die still sterben, repariert bekannte Fehlerklassen und bleibt still, es sei denn, etwas braucht wirklich Ihre Aufmerksamkeit.
- Lokale Modelle als Dienst. Stellen Sie einen OpenAI-kompatiblen Endpunkt von ein oder zwei GPU-Boxen hinter einem Least-Connection-Proxy bereit und führen Sie einen Tool-Use-Test durch, bevor Sie Modelle wechseln, damit ein Upgrade Ihre Agenten nie bricht.
- Watchdogs für stille Fehler. Dienste, die aktiviert, aber tot sind, fehlgeschlagene Units, Timer, die nicht mehr feuern, Jobs, die stundenlang hängen: Jeder hat einen Detektor und, wo die Behebung bekannt ist, eine Reparatur.
- Sicherheitsregeln für die Maschine. Speicher-, Festplatten- und Temperatursicherheitsregeln pausieren die schweren Jobs, bevor die Box umfällt, und setzen sie dann fort.
- Eine E-Mail, nicht hundert. Alarme werden gruppiert, dedupliziert und für Menschen geschrieben: Was ist kaputt, was wurde bereits versucht, was müssen Sie tun.
- Ziele, die in Schleifen laufen. Geben Sie einem lokalen Agenten ein Ziel; er arbeitet Runde für Runde in einer Sandbox daran, schreibt ein Protokoll, prüft sein eigenes Ergebnis und stoppt, wenn Sie es sagen.
Was ist enthalten
Units und Timer
systemd-Vorlagen für Worker, Timer mit Jitter, Ressourcenlimits und Neustartregeln.
Watchdogs
Detektoren für tote, fehlgeschlagene und verspätete Units, plus eine Reparaturanregeldatei, die Sie lesen und bearbeiten können.
Modellbereitstellung
Proxy- und Startkonfigurationen für ein oder zwei Boxen sowie das Tool-Use-Evaluations-Harness.
Maschinensicherheitsregeln
Speicher-, Festplatten- und thermische Sicherheitsregeln mit Pause und Fortsetzung für schwere Jobs.
Alarmierung
Ein E-Mail-Versender mit Gruppierung und Ruhezeiten sowie eine tägliche Zusammenfassung dessen, was lief.
Runbooks
Installations-, Upgrade- und Wiederherstellungsleitfäden, geschrieben aus Vorfällen, die wir tatsächlich hatten.
Voraussetzungen
- Ubuntu 22.04 oder 24.04 mit systemd, x86-64 oder ARM64.
- Python 3.10 oder neuer.
- Für lokale Modelle: eine NVIDIA-GPU mit 24 GB oder mehr (DGX-Spark-Klasse-Maschinen sind ideal) oder jeder OpenAI-kompatible Endpunkt.
- Ein SMTP-Postfach für Alarme.
Gut zu wissen
- Auto-Repair startet Dienste neu. Starten Sie im Nur-Bericht-Modus, lesen Sie die Regeln und schalten Sie dann die Reparaturen ein.
- Modellgewichte sind nicht enthalten: Das Setup-Skript lädt die von Ihnen gewählten Modelle unter deren eigenen Lizenzen herunter.
- Ihre Lizenz deckt Ihre eigenen Maschinen und Ihr eigenes Unternehmen ab.
Häufige Fragen
Funktioniert es mit einer Maschine?
Ja. Die zweite Maschine ist optional; der Proxy hat einfach nur ein Backend.
Welche Modelle werden unterstützt?
Alles, was über eine OpenAI-compatible API bereitgestellt wird. Der Tool-Use-Test zeigt Ihnen, ob ein Modell für Agenten gut genug ist, bevor Sie wechseln.
Benötigen die anderen Kits es?
Nein, aber sie werden damit besser: Jedes KI-lastige Kit kann den Endpoint und die von Factory Floor bereitgestellten Watchdogs nutzen.
Aktualisiert: