Factory Floor

Какво прави

Factory Floor е слойът, който позволява на един човек да управлява стотици планирани задачи, без да ги наблюдава. Това е инструментът, който поддържа нашата собствена инфраструктура работеща нощем: той обслужва езиковите модели, използвани от всички останали комплекти, забелязва задачите, които спират незабележимо, поправя известните му класове грешки и мълчи, освен ако наистина не е нужно вашето внимание.

• Локални модели като услуга. Обслужвайте OpenAI-съвместим крайна точка от един или два GPU сървъра зад прокси с най-малко връзки и изпълнете тест за използване на инструменти, преди да смените моделите, за да не прекъсне надграждането вашите агенти.
• Watchdogs за незабележимите повреди. Услугите, които са активирани, но не работят, единиците, които са се провалили, таймерите, които са спрели да се задействат, и единиците, които продължават да се провалят след всяко нулиране: за всяко от тях има детектор, а за повредите с известна причина има правило за поправка.
• Защитни механизми за машината. Защитните механизми за памет и температура поставят на пауза тежките задачи, преди машината да се срути, и ги възобновяват, когато се възстанови; защитният механизъм за диск предупреждава, преди пространството да свърши.
• Един имейл, а не сто. Предупрежденията се групират, дедуплицират и се пишат за човек: какво се е счупило, какво вече е опитано и какво трябва да направите.
• Цели, изпълнявани в цикли. Задайте на локален агент цел; той работи върху нея кръг след кръг в пясъчник, води дневник, проверява собствения си резултат и спира, когато вие кажете.

Какво е включено