Factory Floor

Tính năng chính

Factory Floor là lớp cho phép một người vận hành hàng trăm tác vụ theo lịch trình mà không cần theo dõi chúng. Đây là thứ giữ cho đội máy của chúng tôi hoạt động vào ban đêm: nó phục vụ các mô hình ngôn ngữ mà mọi bộ công cụ khác sử dụng, phát hiện những tác vụ chết trong im lặng, sửa chữa các loại lỗi mà nó biết, và giữ im lặng trừ khi có điều gì đó thực sự cần bạn.

• Mô hình cục bộ dưới dạng dịch vụ. Cung cấp một endpoint tương thích OpenAI từ một hoặc hai máy GPU phía sau proxy cân bằng tải theo số kết nối ít nhất, và chạy một bài kiểm tra sử dụng công cụ trước khi chuyển đổi mô hình, để một bản nâng cấp không bao giờ làm hỏng các agent của bạn.
• Bộ giám sát cho các lỗi im lặng. Các dịch vụ đã bật nhưng không chạy, các đơn vị bị lỗi, các bộ hẹn giờ ngừng kích hoạt, các đơn vị liên tục thất bại sau mỗi lần đặt lại: mỗi loại đều có một bộ phát hiện, và các lỗi có nguyên nhân đã biết đều có một quy tắc sửa chữa.
• Bộ bảo vệ cho máy. Các bộ bảo vệ bộ nhớ và nhiệt độ tạm dừng các tác vụ nặng trước khi máy sập và tiếp tục lại khi máy phục hồi; bộ bảo vệ ổ cứng cảnh báo trước khi hết dung lượng.
• Một email, không phải một trăm. Các cảnh báo được nhóm lại, khử trùng lặp và viết cho con người: cái gì đã hỏng, cái gì đã được thử, bạn cần làm gì.
• Các mục tiêu chạy theo vòng lặp. Cung cấp cho một agent cục bộ một mục tiêu; nó làm việc theo từng vòng trong một sandbox, ghi nhật ký, tự kiểm tra kết quả và dừng lại khi bạn ra lệnh.

Bên trong gồm những gì