Factory Floor
Autopilot di bawah semuanya: AI setempat, watchdog dan operasi pembaikan kendiri untuk kotak GPU anda sendiri.
- Linux
- NVIDIA GPU
- ARM64 or x86-64
Apa yang dilakukannya
Factory Floor ialah lapisan yang membolehkan seorang individu menjalankan ratusan kerja berjadual tanpa perlu memerhatikannya. Ia adalah apa yang memastikan armada kami terus berfungsi pada waktu malam: ia menyediakan model bahasa yang digunakan oleh semua kit lain, mengesan kerja yang mati secara senyap, membaiki kelas kegagalan yang dikenali, dan kekal senyap melainkan ada sesuatu yang benar-benar memerlukan anda.
- Model setempat sebagai perkhidmatan. Sediakan titik akhir OpenAI-compatible daripada satu atau dua kotak GPU di sebalik proksi sambungan-minimum, dan jalankan ujian penggunaan alat sebelum anda menukar model, supaya peningkatan tidak pernah merosakkan ejen anda.
- Watchdog untuk kegagalan senyap. Perkhidmatan yang diaktifkan tetapi tidak berjalan, unit yang gagal, pemasa yang berhenti mencetus, unit yang terus gagal selepas setiap set semula: setiap satu mempunyai pengesan, dan kegagalan dengan punca yang diketahui mempunyai peraturan pembaikan.
- Pengawal keselamatan untuk mesin. Pengawal keselamatan memori dan suhu menjeda kerja berat sebelum kotak itu jatuh dan menyambungnya semula apabila ia pulih; pengawal keselamatan cakera memberi amaran sebelum ruang kehabisan.
- Satu e-mel, bukan seratus. Amaran dikumpulkan, dibuang pendua dan ditulis untuk manusia: apa yang rosak, apa yang telah dicuba, apa yang perlu anda lakukan.
- Matlamat yang berjalan dalam gelung. Berikan ejen setempat satu matlamat; ia bekerja atasnya berulang kali dalam persekitaran sandbox, menulis log, menyemak hasilnya sendiri dan berhenti apabila anda mengarahkan.
Apa yang terkandung di dalamnya
Watchdog
Pengesan untuk unit mati, gagal dan lewat, serta fail peraturan pembaikan yang boleh anda baca dan edit. Dipasang sebagai pemasa systemd oleh satu skrip persediaan.
Penyediaan model
Konfigurasi proksi dan pelancaran untuk satu atau dua kotak, pemeriksaan kesihatan dan peranti penilaian penggunaan alat.
Pengawal keselamatan mesin
Pengawal keselamatan memori dan haba yang menjeda dan menyambung semula kerja berat, serta pengawal keselamatan ruang cakera.
Penggerunan
Penghantar e-mel dengan pengumpulan, penindasan ulangan dan waktu senyap, serta ringkasan harian.
Enjin Matlamat
Pelari sandbox yang bekerja atas matlamat berulang kali, dengan pemeriksaan beku, gulung balik pusingan buruk dan digest harian.
Runbook
Panduan pemasangan dan pemulihan, ditulis daripada insiden yang benar-benar kami alami.
Persyaratan
- Ubuntu 22.04 atau 24.04 dengan systemd, x86-64 atau ARM64.
- Python 3.10 atau lebih baharu.
- Untuk model tempatan: GPU NVIDIA dengan 24 GB atau lebih (mesin kelas DGX Spark adalah ideal), atau sebarang hujung OpenAI-compatible.
- Kotak mel SMTP untuk amaran.
- Untuk Goal Engine: opencode, dipasang secara berasingan, dan model dengan panggilan alat yang boleh dipercayai (ujian yang disertakan memberitahu anda).
Baik untuk diketahui
- Pembaikan automatik memulakan semula perkhidmatan. Mulakan dalam mod laporan sahaja, baca peraturan, kemudian tukar pembaikan kepada aktif.
- Berat model tidak disertakan: anda memuat turun model yang anda pilih, di bawah lesen masing-masing.
- Kunci lesen anda merangkumi mesin anda sendiri dan perniagaan anda sendiri.
Soalan
Adakah ia berfungsi dengan satu mesin?
Ya. Mesin kedua adalah pilihan; proksi hanya mempunyai satu backend.
Model mana yang disokong?
Apa-apa yang dihantar melalui API OpenAI-compatible. Ujian penggunaan alat memberitahu anda sama ada model tersebut cukup baik untuk agen sebelum anda bertukar.
Adakah kit lain memerlukannya?
Tidak, tetapi ia menjadi lebih baik dengannya: setiap kit yang banyak menggunakan AI boleh menggunakan hujung dan watchdog yang disediakan oleh Factory Floor.
Dikemas kini: