Factory Floor
ਸਭ ਦੇ ਹੇਠਾਂ ਆਟੋਪਾਇਲਟ: ਤੁਹਾਡੇ ਆਪਣੇ GPU ਬਾਕਸ ਲਈ ਲੋਕਲ AI, ਵਾਚਡੌਗ ਅਤੇ ਸਵੈ-ਸੁਧਾਰ ਆਪਰੇਸ਼ਨਜ਼।
- Linux
- NVIDIA GPU
- ARM64 or x86-64
ਇਹ ਕੀ ਕਰਦਾ ਹੈ
ਫੈਕਟਰੀ ਫਲੋਰ ਉਹ ਪਰਤ ਹੈ ਜੋ ਇੱਕ ਵਿਅਕਤੀ ਨੂੰ ਬਿਨਾਂ ਦੇਖੇ ਸੈਂਕੜੇ ਸ਼ੈਡਿਊਲਡ ਜੌਬ ਚਲਾਉਣ ਦਿੰਦੀ ਹੈ। ਇਹੀ ਰਾਤ ਨੂੰ ਸਾਡੀ ਆਪਣੀ ਫਲੀਟ ਨੂੰ ਕੰਮ ਕਰਦੀ ਰੱਖਦੀ ਹੈ: ਇਹ ਹਰ ਹੋਰ ਕਿੱਟ ਵੱਲੋਂ ਵਰਤੇ ਜਾਣ ਵਾਲੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਸਰਵ ਕਰਦੀ ਹੈ, ਉਹਨਾਂ ਜੌਬਾਂ ਨੂੰ ਨੋਟ ਕਰਦੀ ਹੈ ਜੋ ਚੁੱਪ-ਚਾਪ ਮਰ ਜਾਂਦੀਆਂ ਹਨ, ਉਹਨਾਂ ਫੇਲ੍ਹ ਹੋਣ ਦੀਆਂ ਸ਼੍ਰੇਣੀਆਂ ਨੂੰ ਠੀਕ ਕਰਦੀ ਹੈ ਜਿਹਨਾਂ ਨੂੰ ਇਹ ਜਾਣਦੀ ਹੈ, ਅਤੇ ਚੁੱਪ ਰਹਿੰਦੀ ਹੈ ਜਦੋਂ ਤੱਕ ਕੋਈ ਚੀਜ਼ ਤੁਹਾਨੂੰ ਸੱਚਮੁੱਚ ਨਹੀਂ ਚਾਹੀਦੀ।
- ਸੇਵਾ ਵਜੋਂ ਲੋਕਲ ਮਾਡਲ। ਇੱਕ ਜਾਂ ਦੋ GPU ਬਕਸਿਆਂ ਤੋਂ ਇੱਕ OpenAI-compatible ਐਂਡਪੁਆਇੰਟ ਸਰਵ ਕਰੋ, ਅਤੇ ਮਾਡਲ ਬਦਲਣ ਤੋਂ ਪਹਿਲਾਂ ਇੱਕ ਟੂਲ-ਯੂਜ਼ ਟੈਸਟ ਚਲਾਓ, ਤਾਂ ਜੋ ਕੋਈ ਅੱਪਗ੍ਰੇਡ ਤੁਹਾਡੇ ਏਜੰਟਸ ਨੂੰ ਕਦੇ ਨਾ ਤੋੜੇ।
- ਚੁੱਪ ਫੇਲ੍ਹ ਹੋਣ ਵਾਲੀਆਂ ਚੀਜ਼ਾਂ ਲਈ ਵਾਚਡੌਗ। ਸੇਵਾਵਾਂ ਜੋ ਚਾਲੂ ਹਨ ਪਰ ਚੱਲ ਨਹੀਂ ਰਹੀਆਂ, ਯੂਨਿਟਸ ਜੋ ਫੇਲ੍ਹ ਹੋ ਗਈਆਂ, ਟਾਈਮਰ ਜੋ ਫਾਇਰ ਹੋਣਾ ਬੰਦ ਕਰ ਦਿੱਤਾ, ਯੂਨਿਟਸ ਜੋ ਹਰ ਰੀਸੈੱਟ ਤੋਂ ਬਾਅਦ ਵੀ ਫੇਲ੍ਹ ਹੁੰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ: ਹਰੇਕ ਲਈ ਇੱਕ ਡਿਟੈਕਟਰ ਹੈ, ਅਤੇ ਜਿਹਨਾਂ ਫੇਲ੍ਹ ਹੋਣ ਦਾ ਕਾਰਨ ਪਤਾ ਹੈ, ਉਹਨਾਂ ਲਈ ਇੱਕ ਰਿਪੇਅਰ ਰੂਲ ਹੈ।
- ਮਸ਼ੀਨ ਲਈ ਗਾਰਡ। ਮੈਮੋਰੀ ਅਤੇ ਤਾਪਮਾਨ ਗਾਰਡ ਬਕਸ ਦੇ ਡਿੱਗਣ ਤੋਂ ਪਹਿਲਾਂ ਭਾਰੀ ਜੌਬਾਂ ਨੂੰ ਰੋਕ ਦਿੰਦੇ ਹਨ ਅਤੇ ਜਦੋਂ ਇਹ ਠੀਕ ਹੋ ਜਾਂਦਾ ਹੈ ਤਾਂ ਉਹਨਾਂ ਨੂੰ ਦੁਬਾਰਾ ਸ਼ੁਰੂ ਕਰ ਦਿੰਦੇ ਹਨ; ਡਿਸਕ ਗਾਰਡ ਜਗ੍ਹਾ ਖਤਮ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਚੇਤਾਵਨੀ ਦਿੰਦਾ ਹੈ।
- ਇੱਕ ਈਮੇਲ, ਸੌ ਨਹੀਂ। ਅਲਰਟਸ ਨੂੰ ਗਰੁੱਪ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਡੂਪਲੀਕੇਟ ਹਟਾਏ ਜਾਂਦੇ ਹਨ ਅਤੇ ਇਨਸਾਨ ਲਈ ਲਿਖੇ ਜਾਂਦੇ ਹਨ: ਕੀ ਟੁੱਟਿਆ, ਕੀ ਪਹਿਲਾਂ ਹੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਗਈ, ਤੁਹਾਨੂੰ ਕੀ ਕਰਨਾ ਹੈ।
- ਲੂਪ ਵਿੱਚ ਚੱਲਣ ਵਾਲੇ ਟੀਚੇ। ਇੱਕ ਲੋਕਲ ਏਜੰਟ ਨੂੰ ਇੱਕ ਟੀਚਾ ਦਿਓ; ਇਹ ਇੱਕ ਸੈਂਡਬਾਕਸ ਵਿੱਚ ਗੋਲ-ਗੋਲ ਕੰਮ ਕਰਦਾ ਹੈ, ਇੱਕ ਲੌਗ ਲਿਖਦਾ ਹੈ, ਆਪਣੇ ਨਤੀਜੇ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ ਅਤੇ ਤੁਹਾਡੇ ਕਹਿਣ 'ਤੇ ਰੁਕ ਜਾਂਦਾ ਹੈ।
ਅੰਦਰ ਕੀ ਹੈ
ਵਾਚਡੌਗ
ਮਰੀਆਂ, ਫੇਲ੍ਹ ਹੋਈਆਂ ਅਤੇ ਦੇਰੀ ਨਾਲ ਆਉਣ ਵਾਲੀਆਂ ਯੂਨਿਟਸ ਲਈ ਡਿਟੈਕਟਰ, ਨਾਲ ਹੀ ਇੱਕ ਰਿਪੇਅਰ ਰੂਲ ਫਾਈਲ ਜਿਸਨੂੰ ਤੁਸੀਂ ਪੜ੍ਹ ਅਤੇ ਸੋਧ ਸਕਦੇ ਹੋ। ਇੱਕ ਸੈੱਟਅੱਪ ਸਕ੍ਰਿਪਟ ਦੁਆਰਾ systemd ਟਾਈਮਰ ਵਜੋਂ ਇੰਸਟਾਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
ਮਾਡਲ ਸਰਵਿੰਗ
ਇੱਕ ਜਾਂ ਦੋ ਬਕਸਿਆਂ ਲਈ ਪ੍ਰਾਕਸੀ ਅਤੇ ਲਾਂਚ ਕੌਨਫਿਗ, ਇੱਕ ਹੈਲਥ ਚੈੱਕ ਅਤੇ ਟੂਲ-ਯੂਜ਼ ਇਵਾਲੂਏਸ਼ਨ ਹਾਰਨੈੱਸ।
ਮਸ਼ੀਨ ਗਾਰਡ
ਮੈਮੋਰੀ ਅਤੇ ਗਰਮੀ ਗਾਰਡ ਜੋ ਭਾਰੀ ਜੌਬਾਂ ਨੂੰ ਰੋਕਦੇ ਅਤੇ ਦੁਬਾਰਾ ਸ਼ੁਰੂ ਕਰਦੇ ਹਨ, ਅਤੇ ਇੱਕ ਡਿਸਕ-ਸਪੇਸ ਗਾਰਡ।
ਅਲਰਟਿੰਗ
ਗਰੁੱਪਿੰਗ, ਦੁਹਰਾਓ ਦਬਾਉਣ ਅਤੇ ਚੁੱਪ ਦੇ ਸਮੇਂ ਵਾਲਾ ਇੱਕ ਈਮੇਲ ਭੇਜਣ ਵਾਲਾ, ਅਤੇ ਇੱਕ ਰੋਜ਼ਾਨਾ ਸਾਰ।
ਗੋਲ ਇੰਜਣ
ਇੱਕ ਸੈਂਡਬਾਕਸਡ ਰਨਰ ਜੋ ਗੋਲ-ਗੋਲ ਇੱਕ ਟੀਚੇ 'ਤੇ ਕੰਮ ਕਰਦਾ ਹੈ, ਫਰੋਜ਼ਨ ਚੈੱਕਸ, ਬੁਰੇ ਗੋਲਾਂ ਦਾ ਰੋਲਬੈਕ ਅਤੇ ਇੱਕ ਰੋਜ਼ਾਨਾ ਡਾਇਜੈਸਟ ਦੇ ਨਾਲ।
ਰਨਬੁੱਕਸ
ਇੰਸਟਾਲ ਅਤੇ ਰਿਕਵਰੀ ਗਾਈਡ, ਉਹਨਾਂ ਘਟਨਾਵਾਂ ਤੋਂ ਲਿਖੀਆਂ ਗਈਆਂ ਜੋ ਸਾਡੇ ਨਾਲ ਅਸਲ ਵਿੱਚ ਵਾਪਰੀਆਂ ਸਨ।
ਲੋੜੀਂਦੀਆਂ ਚੀਜ਼ਾਂ
- systemd ਵਾਲਾ Ubuntu 22.04 ਜਾਂ 24.04, x86-64 ਜਾਂ ARM64.
- Python 3.10 ਜਾਂ ਇਸ ਤੋਂ ਨਵਾਂ.
- ਸਥਾਨਕ ਮਾਡਲਾਂ ਲਈ: 24 GB ਜਾਂ ਇਸ ਤੋਂ ਵੱਧ ਵਾਲਾ NVIDIA GPU (DGX Spark-ਕਲਾਸ ਮਸ਼ੀਨਾਂ ਆਦਰਸ਼ ਹਨ), ਜਾਂ ਕੋਈ ਵੀ OpenAI-compatible endpoint.
- ਅਲਰਟਾਂ ਲਈ ਇੱਕ SMTP ਮੇਲਬਾਕਸ.
- Goal Engine ਲਈ: opencode, ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਇੰਸਟਾਲ ਕੀਤਾ, ਅਤੇ ਇੱਕ ਅਜਿਹਾ ਮਾਡਲ ਜਿਸ ਵਿੱਚ ਭਰੋਸੇਯੋਗ tool calls ਹੋਣ (ਸ਼ਾਮਲ ਕੀਤਾ ਟੈਸਟ ਤੁਹਾਨੂੰ ਦੱਸੇਗਾ).
ਜਾਣਨ ਲਈ ਵਧੀਆ
- Auto-repair ਸੇਵਾਵਾਂ ਨੂੰ ਦੁਬਾਰਾ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ. ਸਿਰਫ਼ ਰਿਪੋਰਟ ਮੋਡ ਵਿੱਚ ਸ਼ੁਰੂ ਕਰੋ, ਨਿਯਮ ਪੜ੍ਹੋ, ਫਿਰ ਰਿਪੇਅਰ ਚਾਲੂ ਕਰੋ.
- ਮਾਡਲ ਵੇਟਸ ਸ਼ਾਮਲ ਨਹੀਂ ਹਨ: ਤੁਸੀਂ ਆਪਣੇ ਚੁਣੇ ਹੋਏ ਮਾਡਲ ਡਾਊਨਲੋਡ ਕਰਦੇ ਹੋ, ਉਨ੍ਹਾਂ ਦੀਆਂ ਆਪਣੀਆਂ ਲਾਇਸੈਂਸਾਂ ਅਧੀਨ.
- ਤੁਹਾਡੀ ਲਾਇਸੈਂਸ ਤੁਹਾਡੀਆਂ ਆਪਣੀਆਂ ਮਸ਼ੀਨਾਂ ਅਤੇ ਤੁਹਾਡੇ ਆਪਣੇ ਬਿਜ਼ਨਸ ਨੂੰ ਕਵਰ ਕਰਦੀ ਹੈ.
ਸਵਾਲ
ਕੀ ਇਹ ਇੱਕ ਮਸ਼ੀਨ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ?
ਹਾਂ. ਦੂਜੀ ਮਸ਼ੀਨ ਵਿਕਲਪਿਕ ਹੈ; proxy ਸਿਰਫ਼ ਇੱਕ backend ਰੱਖਦਾ ਹੈ.
ਇਹ ਕਿਹੜੇ ਮਾਡਲਾਂ ਨੂੰ ਸਪੋਰਟ ਕਰਦਾ ਹੈ?
ਕੋਈ ਵੀ OpenAI-compatible API ਰਾਹੀਂ ਪਰੋਸੇ ਕੀਤਾ ਜਾਣ ਵਾਲਾ ਮਾਡਲ. tool-use ਟੈਸਟ ਤੁਹਾਨੂੰ ਦੱਸਦਾ ਹੈ ਕਿ ਕੀ ਕੋਈ ਮਾਡਲ ਏਜੰਟਾਂ ਲਈ ਕਾਫ਼ੀ ਚੰਗਾ ਹੈ, ਤੁਹਾਡੇ ਸਵਿੱਚ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ.
ਕੀ ਬਾਕੀ ਕਿੱਟਾਂ ਨੂੰ ਇਸਦੀ ਲੋੜ ਹੈ?
ਨਹੀਂ, ਪਰ ਇਸ ਨਾਲ ਉਹ ਬਿਹਤਰ ਬਣਦੀਆਂ ਹਨ: ਹਰ AI-heavy ਕਿੱਟ endpoint ਅਤੇ Factory Floor ਦੁਆਰਾ ਪ੍ਰਦਾਨ ਕੀਤੇ ਗਏ watchdogs ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੀ ਹੈ.
ਅੱਪਡੇਟ ਕੀਤਾ ਗਿਆ: