Eegduun keenya servera moodelii nagaa ture guyyaa tokko keessatti yeroo jahaan irra deebi'ee jalqabsiise

Hojii2026-10-31

On 22 July eegduun servera moodelii naannoo keenya yeroo jahaan irra deebi'ee jalqabsiise. Yeroo tokko keessattuu rakkoo (crash) duratti hin turre. Checkiin moodelii ol taa'uuf karoorfame sun, moodelii gadi buusu ture.

Maaltu ta'e

Serverri moodelii vLLM meeshaa NVIDIA GB10 tokko irratti hojjeta ture, gaaffii tokkoof sekondaan tokkotti tokkenii 8 ta'an oomishu ture. Sa'aatii shan shanitti eegduun gaaffii chat dhugaa erga ture, deebii argachuuf sekonda 45 hanga eeggate. Checkii shan walitti aanee kufuu servera dhaabbate jechuudha, eegduus servera sana irra deebi'ee jalqabsiise. Jalqabsiisiin moodelii daqiiqaa muraasaaf fudhata ture, sababni isaas tokkenii (weights) GB 19 ol irra deebi'anii galmaa'aa turan.

Guyyaa sanatti, hojiin batch gaaffii lama hanga afuritti servera sana daqiiqaa muraasaaf hojii irra oolchu ture. Gaaffiin eegduu isaan dura qindaa'ee (queue) eega ture, yeroon isaa dhumee, kufaatii (failure) ta'ee lakkaa'ame. Checkii shan akkasii booda, serverri nagaa ture irra deebi'ee jalqabsiifame. "Busy" flag file eegduun kabajuu qabnu qabnu, garuu hojiin batch isaa hin kaa'u ture.

Jalqabsiisiin dogoggoraa tokko akkamitti kan itti aanuuf sababa ta'e

Jalqabsiisiin hundi gaaffii hojii irra jiran 500 error ("cannot schedule new futures after shutdown") waliin kufan. Eegduun lammaffaa 500 errors lakkaa'ee, yeroo baay'ee argate servera sana irra deebi'ee jalqabsiise; yeroo baay'ee error argate, yeroo gabaabatti hojjechuu jalqabe. Kanaafuu, jalqabsiisiin dogoggoraa tokko kan itti aanu yeroo gabaabatti akka dhufu godhe. Waliigalatti, eegduuleen adda addaa afur servera sana irra deebi'ee jalqabsiisuu danda'u, sa'aatii 5, 10, 15 fi 30 irratti.

Seera keenya irraa fudhannes

Checkiin fayyaa (health check) wanta eegu (guard) hin fayyadamu qabu. Wantaa gatii guddaa servera moodelii qabu, bakka (slots) gaaffii hojii irra jiraniif. Checkiin bakka sana keessaa tokko fudhate, yookaan bakka tokkoof eegate, hojii (load) isaa madaaluuf karoorfame keessaa tokko ta'a. Checkii salphaan godhi, serverri dhaabbate (stuck) ta'uu isaa mirkaneessuu dandeessu yoo ta'e malee irra deebi'ee hin jalqabsiisin.

Checkiin isaa bakka buuse

vLLM lakkoofsota ofii irratti /metricstti ifa godha. Qorannoo haaraan isa jalqaba ni dubbisa:

• Gaaffii hojii irra jiranii fi engine'n itti fufiinsa agarsiisu: nagaa fi hojii irra. Gaaffii testii hin ergamu.
• Gaaffii hojii irra jiranii fi itti fufiinsa hin qabne yeroo lama dubbisuu gidduutti: dhaabbate (stuck). Kunis haala servera irra deebi'ee jalqabsiisuudha.
• Wantii hojii irra hin jirre: ofii isaa (idle). Yeroo sanatti qofa checkiin deebii gabaabaa gaafata, engine'n ofii isaa (idle) deebii sana hatattamaan kenna.

Barnoota jalqabaa tokkenii (tokens) oomishaman itti fufiinsa (progress) jedhee lakkaa'aa ture. Testii jahaan darbe, yeroo jalqabaa hojii dhugaan (live run) servera hojii irra jiraachuu fi nagaa ta'uu isaa argate: gaaffii 2 hojii irra, tokkenii (tokens) 107 haaraa yeroo lama dubbisuu gidduutti.

Erga sanaa booda maaliin jijjiirre

• Kutaa injinii, miti tokinii deebii. vLLM gaaffii dheeraa yeroo dubbisu, tokkoon tokkinee deebii yeroo muraasa hin uumu garuu kutaa fudhachuu itti fufa. Lakkoofsa kutaa (vllm:iteration_tokens_total) lakkaa'uun gaaffii dheeraan server dhaabbate fakkaachuu isaa dhorka.
• Eeggannoo lama dura "dhaabbate", kanaaf bu'uurri gabaabni kufaatii miti.
• Haaromsi gidduu dubbisii lamaa ta'e yeroo jalqabuu piroosesaatti keessatti argama; qorichi erga piroosesii adda addaa lamaa irraa lakkoofsota walitti hin madaallisiin deebii gaafata.
• Prooxy irratti qorannoon /models qofaan gaggeeffama. Prooxy gatii walqunnamsiisaa xiqqaa (least-connection) duuba, dubbii /metrics tokkoon tokkinee backend adda addaa irraa dhufuu danda'a, akkuma mootora koppii tokkoo meeshaalee lama irratti yeroo hojjetne arganne. Backend-onni kallattiin qoratamu.

Farkii isaa salphaatti mul'ata. Akka ibsa kana barreessineetti, sarvaroota moodela keenya lamaanuu tokkoon tokkoon isaanii gaaffii 12 hojjechaa turan, kan isaanii daangaa dha. Gaaffii qorannoo tokko tarree eeggannoo keessatti turaati. Check haaraan lamaanuu hojii irra jiraachuu fi fayyaa ta'uu isaanii, sekondaan tokkoon tokkoon isaanii tokinii 126 fi 101 irratti, gaaffii tokko hin ergin ibse.

Factory Floor 1.0.2 qorannoo kana akkasitti models/llm-health.py keessatti kufaatii qaba, yaalii serverii ofii hojjechuu, hojjechaa jiru, dhaabbate, irra deebi'ee jalqabame, serverii metrikii hin qabne, proxy fi backend du'e waliin qorannoo qaba.