Factory Floor
Автопілот для всього: локальний ШІ, вартові та самовідновлювані операції для вашого власного GPU-сервера.
- Linux
- NVIDIA GPU
- ARM64 or x86-64
Що він робить
Factory Floor — це шар, який дозволяє одній людині керувати сотнями запланованих завдань, не стежачи за ними. Саме він забезпечує роботу нашого власного парку вночі: він обслуговує мовні моделі, які використовують усі інші набори, помічає завдання, що тихо вмирають, виправляє відомі класи збоїв і мовчить, якщо тільки щось дійсно не потребує вашої уваги.
- Локальні моделі як сервіс. Запустіть OpenAI-сумісний ендпоінт на одній-двох GPU-машинах за проксі з балансуванням за найменшою кількістю з’єднань, і виконайте тест використання інструментів перед перемиканням моделей, щоб оновлення ніколи не ламало ваших агентів.
- Вартові для тихих збоїв. Служби, які увімкнено, але вони не працюють, юніти, що впали, таймери, які перестали спрацьовувати, юніти, що продовжують падати після кожного скидання: для кожного є детектор, а для збоїв із відомою причиною — правило виправлення.
- Захисти для машини. Захисти пам’яті та температури ставлять на паузу важкі завдання, перш ніж машина впаде, і відновлюють їх, коли вона оговтається; захист диска попереджає, перш ніж вільне місце закінчиться.
- Один лист, а не сотня. Сповіщення групуються, дедуплікуються й пишуться для людини: що зламалося, що вже спробували, що потрібно зробити вам.
- Цілі, що виконуються в циклах. Дайте локальному агенту ціль; він працює над нею раунд за раундом у пісочниці, пише журнал, перевіряє власний результат і зупиняється, коли ви так скажете.
Що всередині
Вартові
Детектори для мертвих, збійних і запізнілих юнітів, а також файл правил виправлення, який можна читати й редагувати. Встановлюються як systemd-таймери одним скриптом налаштування.
Обслуговування моделей
Проксі та конфігурації запуску для однієї-двох машин, перевірка стану та інструмент оцінювання використання інструментів.
Захисти машини
Захисти пам’яті та нагріву, які ставлять на паузу й відновлюють важкі завдання, а також захист вільного місця на диску.
Сповіщення
Відправник електронних листів із групуванням, придушенням повторів і тихими годинами, а також щоденним звітом.
Goal Engine
Ізольований виконавець, який працює над ціллю раунд за раундом, із замороженими перевірками, відкатом невдалих раундів і щоденним дайджестом.
Інструкції
Посібники з встановлення та відновлення, написані на основі інцидентів, які справді траплялися.
Вимоги
- Ubuntu 22.04 або 24.04 із systemd, x86-64 або ARM64.
- Python 3.10 або новіша версія.
- Для локальних моделей: графічний процесор NVIDIA з 24 ГБ або більше (ідеально підходять машини класу DGX Spark) або будь-який OpenAI-сумісний ендпоінт.
- Поштова скринька SMTP для сповіщень.
- Для Goal Engine: opencode, встановлений окремо, та модель із надійними викликами інструментів (включений тест це покаже).
Корисно знати
- Автовідновлення перезапускає сервіси. Спочатку запустіть у режимі лише звітів, ознайомтеся з правилами, а потім увімкніть відновлення.
- Ваги моделей не входять до комплекту: ви завантажуєте обрані моделі за їхніми власними ліцензіями.
- Ваша ліцензія покриває ваші власні машини та ваш власний бізнес.
Питання
Чи працює це з однією машиною?
Так. Друга машина є опціональною; проксі просто має один бекенд.
Які моделі підтримуються?
Будь-які, що обслуговуються через OpenAI-сумісний API. Тест використання інструментів покаже, чи достатньо хороша модель для агентів, перш ніж ви перейдете на неї.
Чи потрібна вона іншим наборам?
Ні, але з нею вони працюють краще: кожен набір, що активно використовує ШІ, може застосовувати ендпоінт та вартових, які надає Factory Floor.
Оновлено: