Factory Floor
ಎಲ್ಲಕ್ಕೂ ಕೆಳಗಿನ ಆಟೋಪೈಲಟ್: ನಿಮ್ಮದೇ GPU ಬಾಕ್ಸ್‌ಗಾಗಿ ಸ್ಥಳೀಯ AI, ವಾಚ್‌ಡಾಗ್‌ಗಳು ಮತ್ತು ಸ್ವಯಂ-ದುರಸ್ತಿ ಕಾರ್ಯಾಚರಣೆಗಳು.
- Linux
- NVIDIA GPU
- ARM64 or x86-64
ಇದು ಏನು ಮಾಡುತ್ತದೆ
ಫ್ಯಾಕ್ಟರಿ ಫ್ಲೋರ್ ಎಂಬುದು ಒಬ್ಬ ವ್ಯಕ್ತಿಯು ನೋಡದೆಯೇ ನೂರಾರು ನಿಗದಿತ ಕೆಲಸಗಳನ್ನು ನಡೆಸಲು ಸಹಾಯ ಮಾಡುವ ಪದರವಾಗಿದೆ. ರಾತ್ರಿ ವೇಳೆ ನಮ್ಮದೇ ಆದ ಫ್ಲೀಟ್ ಕೆಲಸ ಮಾಡುತ್ತಿರಲು ಇದೇ ಕಾರಣ: ಇದು ಇತರೆ ಪ್ರತಿಯೊಂದು ಸಾಫ್ಟ್‌ವೇರ್ ಕಿಟ್ ಬಳಸುವ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸೇವೆಗೊಳಿಸುತ್ತದೆ, ಮೌನವಾಗಿ ಸೋಲುವ ಕೆಲಸಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ, ತನಗೆ ತಿಳಿದಿರುವ ವಿಫಲತೆಗಳ ವರ್ಗಗಳನ್ನು ದುರಸ್ತಿ ಮಾಡುತ್ತದೆ ಮತ್ತು ನಿಜವಾಗಿಯೂ ನಿಮಗೆ ಬೇಕಾದದ್ದು ಇದ್ದರೆ ಹೊರತು ಇಲ್ಲದಿದ್ದರೆ ಮೌನವಾಗಿರುತ್ತದೆ.
- ಸೇವೆಯಾಗಿ ಸ್ಥಳೀಯ ಮಾದರಿಗಳು. ಒಂದು ಅಥವಾ ಎರಡು GPU ಬಾಕ್ಸ್‌ಗಳ ಹಿಂದೆ ಲೀಸ್ಟ್-ಕನೆಕ್ಷನ್ ಪ್ರಾಕ್ಸಿಯೊಂದಿಗೆ OpenAI-ಸುಸಂಗತ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಅನ್ನು ಸೇವೆಗೊಳಿಸಿ, ಮಾದರಿಗಳನ್ನು ಬದಲಾಯಿಸುವ ಮೊದಲು ಟೂಲ್-ಯೂಸ್ ಪರೀಕ್ಷೆಯನ್ನು ನಡೆಸಿ, ಆದ್ದರಿಂದ ಅಪ್‌ಗ್ರೇಡ್ ನಿಮ್ಮ ಏಜೆಂಟ್‌ಗಳನ್ನು ಎಂದಿಗೂ ಹಾಳುಮಾಡದಿರಲಿ.
- ಮೌನ ವಿಫಲತೆಗಳಿಗಾಗಿ ವಾಚ್‌ಡಾಗ್‌ಗಳು. ಸಕ್ರಿಯಗೊಳಿಸಲಾಗಿದ್ದರೂ ಕೆಲಸ ಮಾಡದ ಸೇವೆಗಳು, ವಿಫಲವಾದ ಯೂನಿಟ್‌ಗಳು, ಕೆಲಸ ಮಾಡುವುದನ್ನು ನಿಲ್ಲಿಸಿದ ಟೈಮರ್‌ಗಳು, ಪ್ರತಿ ರೀಸೆಟ್ ನಂತರವೂ ವಿಫಲವಾಗುತ್ತಿರುವ ಯೂನಿಟ್‌ಗಳು: ಪ್ರತಿಯೊಂದಕ್ಕೂ ಒಂದು ಡಿಟೆಕ್ಟರ್ ಇದೆ, ಮತ್ತು ತಿಳಿದಿರುವ ಕಾರಣವಿರುವ ವಿಫಲತೆಗಳಿಗೆ ಒಂದು ರಿಪೇರಿ ನಿಯಮ ಇದೆ.
- ಯಂತ್ರಕ್ಕಾಗಿ ಗಾರ್ಡ್‌ಗಳು. ಮೆಮೊರಿ ಮತ್ತು ತಾಪಮಾನ ಗಾರ್ಡ್‌ಗಳು ಬಾಕ್ಸ್ ಕುಸಿಯುವ ಮೊದಲು ಭಾರವಾದ ಕೆಲಸಗಳನ್ನು ತಾತ್ಕಾಲಿಕವಾಗಿ ನಿಲ್ಲಿಸುತ್ತವೆ ಮತ್ತು ಅದು ಚೇತರಿಸಿಕೊಂಡಾಗ ಅವುಗಳನ್ನು ಮರುಪ್ರಾರಂಭಿಸುತ್ತವೆ; ಡಿಸ್ಕ್ ಗಾರ್ಡ್ ಜಾಗ ಖಾಲಿಯಾಗುವ ಮೊದಲು ಎಚ್ಚರಿಕೆ ನೀಡುತ್ತದೆ.
- ಒಂದು ಇಮೇಲ್, ನೂರು ಅಲ್ಲ. ಎಚ್ಚರಿಕೆಗಳನ್ನು ಗುಂಪುಗೊಳಿಸಲಾಗಿದೆ, ಡೂಪ್ಲಿಕೇಟ್ ತೆಗೆದುಹಾಕಲಾಗಿದೆ ಮತ್ತು ಮಾನವನಿಗಾಗಿ ಬರೆಯಲಾಗಿದೆ: ಏನು ಹಾಳಾಯಿತು, ಏನನ್ನು ಈಗಾಗಲೇ ಪ್ರಯತ್ನಿಸಲಾಗಿದೆ, ನೀವು ಏನು ಮಾಡಬೇಕು.
- ಲೂಪ್‌ಗಳಲ್ಲಿ ನಡೆಯುವ ಗುರಿಗಳು. ಒಂದು ಸ್ಥಳೀಯ ಏಜೆಂಟ್‌ಗೆ ಗುರಿಯನ್ನು ನೀಡಿ; ಅದು ಸ್ಯಾಂಡ್‌ಬಾಕ್ಸ್‌ನಲ್ಲಿ ಸುತ್ತುವರಿದು ಸುತ್ತುವರಿದು ಕೆಲಸ ಮಾಡುತ್ತದೆ, ಒಂದು ಲಾಗ್ ಬರೆಯುತ್ತದೆ, ತನ್ನದೇ ಆದ ಫಲಿತಾಂಶವನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ ಮತ್ತು ನೀವು ಹೇಳಿದಾಗ ನಿಲ್ಲುತ್ತದೆ.
ಒಳಗೆ ಏನಿದೆ
ವಾಚ್‌ಡಾಗ್‌ಗಳು
ಸತ್ತ, ವಿಫಲವಾದ ಮತ್ತು ವಿಳಂಬವಾದ ಯೂನಿಟ್‌ಗಳಿಗಾಗಿ ಡಿಟೆಕ್ಟರ್‌ಗಳು, ಜೊತೆಗೆ ನೀವು ಓದಬಹುದು ಮತ್ತು ಸಂಪಾದಿಸಬಹುದಾದ ರಿಪೇರಿ ನಿಯಮಗಳ ಫೈಲ್. ಒಂದೇ ಸೆಟಪ್ ಸ್ಕ್ರಿಪ್ಟ್ ಮೂಲಕ systemd ಟೈಮರ್‌ಗಳಾಗಿ ಇನ್‌ಸ್ಟಾಲ್ ಮಾಡಲಾಗುತ್ತದೆ.
ಮಾದರಿ ಸೇವೆ
ಒಂದು ಅಥವಾ ಎರಡು ಬಾಕ್ಸ್‌ಗಳಿಗಾಗಿ ಪ್ರಾಕ್ಸಿ ಮತ್ತು ಲಾಂಚ್ ಕಾನ್ಫಿಗ್‌ಗಳು, ಒಂದು ಹೆಲ್ತ್ ಚೆಕ್ ಮತ್ತು ಟೂಲ್-ಯೂಸ್ ಮೌಲ್ಯಮಾಪನ ಹಾರ್ನೆಸ್.
ಯಂತ್ರ ಗಾರ್ಡ್‌ಗಳು
ಭಾರವಾದ ಕೆಲಸಗಳನ್ನು ತಾತ್ಕಾಲಿಕವಾಗಿ ನಿಲ್ಲಿಸಿ ಮತ್ತು ಮರುಪ್ರಾರಂಭಿಸುವ ಮೆಮೊರಿ ಮತ್ತು ಶಾಖ ಗಾರ್ಡ್‌ಗಳು, ಮತ್ತು ಒಂದು ಡಿಸ್ಕ್-ಸ್ಪೇಸ್ ಗಾರ್ಡ್.
ಎಚ್ಚರಿಕೆ
ಗುಂಪುಗೂಡಿಸುವಿಕೆ, ಪುನರಾವರ್ತನೆ ತಡೆಗಟ್ಟುವಿಕೆ ಮತ್ತು ಶಾಂತ ಗಂಟೆಗಳೊಂದಿಗೆ ಇಮೇಲ್ ಸೆಂಡರ್, ಮತ್ತು ಒಂದು ದೈನಂದಿನ ಸಾರಾಂಶ.
ಗುರಿ ಎಂಜಿನ್
ಒಂದು ಗುರಿಯ ಮೇಲೆ ಸುತ್ತುವರಿದು ಸುತ್ತುವರಿದು ಕೆಲಸ ಮಾಡುವ ಸ್ಯಾಂಡ್‌ಬಾಕ್ಸ್ಡ್ ರನ್ನರ್, ಫ್ರೋಜನ್ ಚೆಕ್‌ಗಳು, ಕೆಟ್ಟ ಸುತ್ತುಗಳ ರೋಲ್‌ಬ್ಯಾಕ್ ಮತ್ತು ಒಂದು ದೈನಂದಿನ ಡೈಜೆಸ್ಟ್‌ನೊಂದಿಗೆ.
ರನ್‌ಬುಕ್‌ಗಳು
ನಮಗೆ ನಿಜವಾಗಿಯೂ ಸಂಭವಿಸಿದ ಘಟನೆಗಳಿಂದ ಬರೆಯಲಾದ ಇನ್‌ಸ್ಟಾಲ್ ಮತ್ತು ರಿಕವರಿ ಮಾರ್ಗದರ್ಶಿಗಳು.
ಅಗತ್ಯತೆಗಳು
- systemd ಇರುವ Ubuntu 22.04 ಅಥವಾ 24.04, x86-64 ಅಥವಾ ARM64.
- Python 3.10 ಅಥವಾ ಹೊಸ ಆವೃತ್ತಿ.
- ಸ್ಥಳೀಯ ಮಾದರಿಗಳಿಗಾಗಿ: 24 GB ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೆಚ್ಚಿನ ಸ್ಮೃತಿ ಇರುವ NVIDIA GPU (DGX Spark-ವರ್ಗದ ಯಂತ್ರಗಳು ಉತ್ತಮ), ಅಥವಾ ಯಾವುದೇ OpenAI-compatible ಎಂಡ್‌ಪಾಯಿಂಟ್.
- ಎಚ್ಚರಿಕೆಗಳಿಗಾಗಿ SMTP ಮೇಲ್‌ಬಾಕ್ಸ್.
- ಗೋಲ್ ಇಂಜಿನ್‌ಗಾಗಿ: ಪ್ರತ್ಯೇಕವಾಗಿ ಇನ್‌ಸ್ಟಾಲ್ ಮಾಡಲಾದ opencode ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹ ಟೂಲ್ ಕಾಲ್‌ಗಳನ್ನು ಹೊಂದಿರುವ ಮಾದರಿ (ಒಳಗೊಂಡಿರುವ ಪರೀಕ್ಷೆ ಇದನ್ನು ತಿಳಿಸುತ್ತದೆ).
ಗೊಂಡಿರಬೇಕಾದ ವಿಷಯಗಳು
- ಸ್ವಯಂ-ದುರಸ್ತಿ ಸೇವೆಗಳನ್ನು ಪುನಃ ಆರಂಭಿಸುತ್ತದೆ. ವರದಿ-ಮಾತ್ರ ಮೋಡ್‌ನಲ್ಲಿ ಆರಂಭಿಸಿ, ನಿಯಮಗಳನ್ನು ಓದಿ, ನಂತರ ದುರಸ್ತಿಗಳನ್ನು ಆನ್ ಮಾಡಿ.
- ಮಾದರಿ ತೂಕಗಳು (weights) ಒಳಗೊಂಡಿಲ್ಲ: ನೀವು ಆಯ್ಕೆ ಮಾಡುವ ಮಾದರಿಗಳನ್ನು ಅವುಗಳ ಸ್ವಂತ ಲೈಸೆನ್ಸ್‌ಗಳ ಅಡಿಯಲ್ಲಿ ಡೌನ್‌ಲೋಡ್ ಮಾಡಿಕೊಳ್ಳಿ.
- ನಿಮ್ಮ ಲೈಸೆನ್ಸ್ ನಿಮ್ಮ ಸ್ವಂತ ಯಂತ್ರಗಳು ಮತ್ತು ನಿಮ್ಮ ಸ್ವಂತ ವ್ಯವಹಾರವನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ.
ಪ್ರಶ್ನೆಗಳು
ಇದು ಒಂದೇ ಯಂತ್ರದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆಯೇ?
ಹೌದು. ಎರಡನೇ ಯಂತ್ರ ಐಚ್ಛಿಕ; ಪ್ರಾಕ್ಸಿ ಸರಳವಾಗಿ ಒಂದು ಬ್ಯಾಕೆಂಡ್ ಅನ್ನು ಹೊಂದಿರುತ್ತದೆ.
ಇದು ಯಾವ ಮಾದರಿಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ?
OpenAI-compatible API ಮೂಲಕ ಸೇವೆ ಒದಗಿಸುವ ಯಾವುದೇ ಮಾದರಿ. ಏಜೆಂಟ್‌ಗಳಿಗಾಗಿ ಒಂದು ಮಾದರಿ ಸಾಕಷ್ಟು ಉತ್ತಮವಾಗಿದೆಯೇ ಎಂಬುದನ್ನು ನೀವು ಬದಲಾಯಿಸುವ ಮೊದಲು ಟೂಲ್-ಬಳಕೆ ಪರೀಕ್ಷೆ ತಿಳಿಸುತ್ತದೆ.
ಇತರ ಸಾಫ್ಟ್‌ವೇರ್ ಕಿಟ್‌ಗಳಿಗೆ ಇದರ ಅಗತ್ಯವಿದೆಯೇ?
ಇಲ್ಲ, ಆದರೆ ಇದರೊಂದಿಗೆ ಅವು ಉತ್ತಮಗೊಳ್ಳುತ್ತವೆ: ಪ್ರತಿಯೊಂದು AI-ಸಾಂದ್ರತೆಯ ಕಿಟ್ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಮತ್ತು Factory Floor ಒದಗಿಸುವ ವಾಚ್‌ಡಾಗ್‌ಗಳನ್ನು ಬಳಸಬಹುದು.
ನವೀಕರಿಸಲಾಗಿದೆ: