Factory Floor
Autopilot di bawah semuanya: AI lokal, Watchdog, dan operasional pemulihan mandiri untuk perangkat GPU Anda sendiri.
- Linux
- NVIDIA GPU
- ARM64 or x86-64
Fungsinya
Factory Floor adalah lapisan yang memungkinkan satu orang menjalankan ratusan pekerjaan terjadwal tanpa perlu mengawasinya. Inilah yang menjaga armada kami tetap bekerja di malam hari: ia melayani model bahasa yang digunakan semua Paket Kit lainnya, mendeteksi pekerjaan yang mati secara diam-diam, memperbaiki kelas kegagalan yang dikenalnya, dan tetap diam kecuali ada sesuatu yang benar-benar membutuhkan Anda.
- Model lokal sebagai layanan. Sajikan endpoint OpenAI-compatible dari satu atau dua box GPU di belakang proxy least-connection, dan jalankan uji coba penggunaan alat sebelum Anda mengganti model, sehingga pembaruan tidak pernah merusak agen Anda.
- Watchdog untuk kegagalan yang diam. Layanan yang aktif tetapi tidak berjalan, unit yang gagal, Timer yang berhenti memicu, unit yang terus gagal setelah setiap reset: masing-masing memiliki detektor, dan kegagalan dengan penyebab yang diketahui memiliki aturan perbaikan.
- Pengaman untuk mesin. Pengaman memori dan suhu menjeda pekerjaan berat sebelum box jatuh dan melanjutkan kembali saat pulih; pengaman disk memberi peringatan sebelum ruang habis.
- Satu email, bukan seratus. Peringatan dikelompokkan, deduplikasi dan ditulis untuk manusia: apa yang rusak, apa yang sudah dicoba, apa yang perlu Anda lakukan.
- Tujuan yang berjalan dalam loop. Berikan agen lokal sebuah tujuan; ia mengerjakannya ronde demi ronde dalam sandbox, menulis log, memeriksa hasilnya sendiri dan berhenti saat Anda menyuruhnya.
Apa yang ada di dalamnya
Watchdog
Detektor untuk unit yang mati, gagal dan terlambat, ditambah file aturan perbaikan yang dapat Anda baca dan edit. Diinstal sebagai systemd Timer oleh satu skrip setup.
Penyajian model
Konfigurasi proxy dan peluncuran untuk satu atau dua box, pemeriksaan kesehatan dan harness evaluasi penggunaan alat.
Pengaman mesin
Pengaman memori dan panas yang menjeda dan melanjutkan pekerjaan berat, serta pengaman ruang disk.
Pemberitahuan
Pengirim email dengan pengelompokan, penekanan pengulangan dan jam tenang, serta ringkasan harian.
Goal Engine
Runner sandboxed yang mengerjakan tujuan ronde demi ronde, dengan pemeriksaan beku, rollback ronde buruk dan digest harian.
Runbook
Panduan instalasi dan pemulihan, ditulis dari insiden yang benar-benar kami alami.
Persyaratan
- Ubuntu 22.04 atau 24.04 dengan systemd, x86-64 atau ARM64.
- Python 3.10 atau lebih baru.
- Untuk model lokal: GPU NVIDIA dengan 24 GB atau lebih (mesin kelas DGX Spark ideal), atau endpoint OpenAI-compatible apa pun.
- Kotak masuk SMTP untuk peringatan.
- Untuk Goal Engine: opencode, diinstal secara terpisah, dan model dengan panggilan alat yang andal (tes yang disertakan memberi tahu Anda).
Perlu diketahui
- Perbaikan otomatis memulai ulang layanan. Mulai dalam mode hanya-laporan, baca aturannya, lalu aktifkan perbaikan.
- Berat model tidak disertakan: Anda mengunduh model yang Anda pilih, di bawah lisensi masing-masing.
- Lisensi Anda mencakup mesin Anda sendiri dan bisnis Anda sendiri.
Pertanyaan
Apakah berfungsi dengan satu mesin?
Ya. Mesin kedua bersifat opsional; proxy cukup memiliki satu backend.
Model apa saja yang didukung?
Apa pun yang disajikan melalui API OpenAI-compatible. Tes penggunaan alat memberi tahu Anda apakah model cukup baik untuk agen sebelum Anda beralih.
Apakah Paket Kit lainnya membutuhkannya?
Tidak, tetapi mereka menjadi lebih baik dengannya: setiap Paket Kit yang banyak menggunakan AI dapat menggunakan endpoint dan Watchdog yang disediakan Factory Floor.
Diperbarui: