Factory Floor
Автопилот для всего: локальный ИИ, watchdogs и самовосстановление для вашего собственного GPU-сервера.
- Linux
- NVIDIA GPU
- ARM64 or x86-64
Что он делает
Factory Floor — это слой, который позволяет одному человеку запускать сотни запланированных задач без постоянного контроля. Именно он обеспечивает работу нашего собственного парка серверов ночью: он обслуживает языковые модели, которые используют все остальные наборы, замечает тихо умирающие задачи, устраняет известные классы сбоев и молчит, пока действительно не понадобится ваше вмешательство.
- Локальные модели как сервис. Разверните OpenAI-совместимый эндпоинт на одной-двух GPU-машинах за прокси с балансировкой по наименьшему числу соединений, и перед переключением моделей запустите тест использования инструментов, чтобы обновление не сломало ваших агентов.
- Watchdog для тихих сбоев. Для служб, которые включены, но не запущены, для упавших юнитов, для таймеров, которые перестали срабатывать, и для юнитов, которые продолжают падать после каждого сброса: у каждого есть детектор, а для сбоев с известной причиной есть правило восстановления.
- Защитные механизмы для машины. Защитные механизмы по памяти и температуре приостанавливают тяжелые задачи до того, как машина упадет, и возобновляют их после восстановления; защитный механизм по диску предупреждает, пока место не закончилось.
- Одно письмо, а не сотня. Оповещения группируются, дедуплицируются и пишутся для человека: что сломалось, что уже пробовали и что нужно сделать вам.
- Цели, выполняемые в цикле. Дайте локальному агенту цель; он работает над ней раунд за раундом в песочнице, пишет лог, проверяет собственный результат и останавливается, когда вы так скажете.
Что внутри
Watchdog
Детекторы для мертвых, упавших и опоздавших юнитов, плюс файл правил восстановления, который можно читать и редактировать. Устанавливаются как таймеры systemd одним скриптом настройки.
Обслуживание моделей
Конфигурации прокси и запуска для одной-двух машин, проверка работоспособности и инструмент оценки использования инструментов.
Защитные механизмы машины
Защитные механизмы по памяти и нагреву, которые приостанавливают и возобновляют тяжелые задачи, а также защитный механизм по свободному месту на диске.
Оповещения
Отправщик писем с группировкой, подавлением повторов и тихими часами, а также ежедневная сводка.
Goal Engine
Изолированный исполнитель, который работает над целью раунд за раундом, с фиксированными проверками, откатом неудачных раундов и ежедневной сводкой.
Runbooks
Руководства по установке и восстановлению, написанные на основе инцидентов, которые действительно случались.
Требования
- Ubuntu 22.04 или 24.04 с systemd, x86-64 или ARM64.
- Python 3.10 или новее.
- Для локальных моделей: GPU NVIDIA с 24 ГБ или больше (идеально подходят машины класса DGX Spark) или любой OpenAI-compatible endpoint.
- Почтовый ящик SMTP для уведомлений.
- Для Goal Engine: opencode, установленный отдельно, и модель с надежными вызовами инструментов (входящий тест это покажет).
Полезно знать
- Auto-repair перезапускает сервисы. Начните в режиме только отчетов, изучите правила, затем включите восстановление.
- Веса моделей не входят в комплект: вы скачиваете выбранные модели под их собственными лицензиями.
- Ваша лицензия покрывает ваши собственные машины и ваш собственный бизнес.
Вопросы
Работает ли на одной машине?
Да. Вторая машина необязательна; прокси просто имеет один бэкенд.
Какие модели поддерживаются?
Любые, обслуживаемые через OpenAI-compatible API. Тест использования инструментов покажет, достаточно ли хороша модель для агентов, прежде чем вы переключитесь.
Нужен ли он другим наборам?
Нет, но с ним они работают лучше: каждый набор с активным использованием ИИ может использовать endpoint и watchdogs, которые предоставляет Factory Floor.
Обновлено: