Lakkoofsa DGX Spark lama, moodel tokko: moodelichi koppii ta'ee tokkoon tokkoon isaanii irratti argamu

Hojii2026-10-31

Torban torbaaf moodelni keenya afaan naannoo (local language model) lakkoofsota NVIDIA GB10 lama gidduutti tensor parallelism'n qoodamee hojjechaa ture. On 22 October, qoodama sana haqnee, koppii guutuu moodelaa lakkoofsa tokkoon tokkoon isaanii irratti feenne, akkasumas proxy least-connection fuula duratti dhaabne. Saffisa hojii (throughput) tokkoon tokkoon sekoondii 180 irraa gara 210 tokiiitti ol ka'e, akkasumas lakkoofsa tokko deebisanii jalqabsiisuun (restart) moodela balleessuu danda'a.

Maaliif qoodne?

Lakkoofsi tokkoon tokkoon isaanii 128 GB yaadannoo (memory) qaba, kan CPU fi GPU'n wal-qoodan. On September, moodelichi lakkoofsa tokko irratti gale, garuu cache isaa hin galle: vLLM build kan itti fayyadamne KV cache moodela kana FP8'tti eegachuu hin dandeenye, kanaafuu cache'n BF16'ti ture, lakkoofsi tokko immoo tokii 499,110 cache'f qofa qaba ture. Kunis tokii 262,144 (context guutuu moodelaatiin) yoo xiqqaate gaaffii lama hin guutu. Lakkoofsota lamaan gidduutti tensor parallelism'n qoodamee, cache'n tokii miliyoona 3 ol ga'e. Moodela kana qoodnuuf sababni keenya saffisa miti, qophii (room) dha.

Maal jijjiirame

Build 4-bit haaraan moodela walfakkaataa (NVFP4, quantisation-aware distillation'n hojjetame) yaadannoo GiB 71 fudhata, akkasumas build vLLM hawaasaatiin GB10 (eugr/spark-vllm-b12x) cache isaa FP8'tti hojjeta. Amma lakkoofsi tokko moodela guutuu fi cache tokii 0.76 hanga 1.08 miliyoona qaba, kan gaaffii 2.9 hanga 4.1 context guutuu irratti danda'u, kan yaadannoo lakkoofsa kennu irratti hundaa'e. Koppiin lamaanuu speculative decoding (MTP, tokii draft 4) moodela ofii fayyadamu. Jijjiirraa dura, test tool-calling keenya build haaraa irratti hojjenne: qabxii 86 argate, build isaan bakka bu'e 75 ture.

Maal safarre?

Kiidii tokko ofumaan, lakkoofsa gaaffiiwwan yeroo tokkotti hojjetuun: gaaffiiwwan gabaabaan, gaaffii 1 sekoondii tokkotti tokinii 36 kenne, 4 tokinii 82 kenne, 8 tokinii 109 kenne, 16 immoo tokinii 150 kenne. Gaaffiiwwan dheeraa agenta keenya e-mailiitiin, 4 tokinii 81 kenne, 8 tokinii 113 kenne, 16 immoo tokinii 87 qofa kenne: gaaffiiwwan 8 ol yoo ta’an, kanneen biroo akka suuta hojjetu ta’an.

Ganama tokko, kopii tokko yeroo tokkotti baay'ee gaaffii 12 fudhate, kan biraan immoo 8. Kan jalqabaa sekondaatti tokinii 91 hanga 93 uume, daqiiqaa tokkotti gaaffii 26 hanga 27 xumure; kan lammaffaa sekondaatti tokinii 81 hanga 83 uume, daqiiqaa tokkotti gaaffii 22 xumure. Ammoo lamaanuu 12 fudhatu.

Maal dhiisne

Kutaa. Moodeli qoodame tokko kaashii tokko qaba ture kan tokkenoofii miliyoona sadii ol qabu; koppiin lamaan kaashii xixiqqaa qabu, gaaffiin tokko kaashii koppii isaa tajaajiluu qofa fayyadamuu danda'a. Agentonni keenya gaaffii gabaabaa fi giddu-galeessa baay'ee ergu, isaanii fagaatti garuu humni hojii (throughput) caalaa murteessaa ture. Yoo atiscontexts dheeraa muraasa yeroo tokkotti tajaajilaa jirta, qooduun filannoo gaarii ta'uu danda'a. Qoodinsa sanatti hafe, deebisuun script tokko qofa.

Maaltu yeroo jijjiiramaa dogoggoraa ture

1. Sa'aatii kudha tokko malee moodelii, erga sekonndii 30 sekonndii 502. Moodelii adda baafame hojii dhaabuuf dirqame, sababni isaas koppii tokko meeshaalee walfakkaatu irratti hin jirru, waan ta'eef agent keenya sa'aatii kudha tokko ol eegan. Erga koppii jalqabaa ol ka'e, proxy'n "502 no live upstreams" jedhee deebii kennaa ture sekonndii 30 cufaa: backendii isaa akka kufan mallattoo godhe (max_fails=3, fail_timeout=30s), yeroon sun hin fixamne hanga yeroo sun dhumaatti hin yaalle.
2. Maamila prrookisii darbe. Sagantaa hojii koppii keessa tokko, tuuta maqaa maashinii jalqabaa qindeessaa isaa keessa qaba ture, kanaaf guutummaa hojii isaa koppii tokkotti deemu ture yoo koppii biraan humna dabalataa qabaatu. Maamiloonni ammaa hundi prrookisii darbu; tuuta maqaa maashinii isaanii qofaaf qorannoo fayyaa ta'u.
3. Hagaggaawwan ol ka'an. Eegduun saffisa hojii keenya /metrics vLLM karaa proxy'n dubbise. Backends lama yeroo ta'an, dubbii itti fufiinsa qaban irraa gara koppii adda addaatti dhufan, lakkoofsotaan gara garaatti ol fi gadi deeman, eegduun ammoo moodelni nyaata hin arganne jedhee gabaase. Ammoo koppii tokkoon tokkoo isaa kallattiin dubbisee walitti dabala.
4. Eegduu duraa kan koppii haaraa dhaabbisu ture. Qindaa’insa adda addaa eegduu qaba ture kan tajaajila isaa deebisee jalqabsiisu yoo moodeelin deebisuu dhaabe. Tajaajilli haaraan Conflicts= waliin kan duraa ibsa, kanaafuu deebisee jalqabsiisuun koppii haaraa dhaabbisu ture. systemctl disable --now qofaan dhaabuun hin galle, sababni isaas sadarkaa hojii keenya yuunitiiwwan hojii jalqabsiifaman garuu hojii irra hin jirre deebisee jalqabsiisa.
5. Yaadannoo (Memory) meeshaa hojii biraa hojjetu irratti. Meeshaan tokko daataabeesii fi ijaarsa saayitii keenyas hojjeta. vLLM gpu-memory-utilization 0.78 irratti yoo ta’u, 5 GiB qofaaf kan hafeef, gara 0.74 gadi buusnee koppii sana qofa deebisee jalqabsiifne kan biraan hojii fudhate. Meeshaawwan kanneen irratti, qooda yaadannoo (memory) vLLM kennitu kan hafeef kan hafe waliin wal fakkaata.

Yoo meeshaawwan lamaan qabaatte

• Yoo moodeelin fi kaashii (cache) barbaaddu meeshaa tokko irratti gale, koppii tokko tokko meeshaa tokko tokko irratti proxy least-connection duuba taa’i. Moodeela qoodi meeshaan tokko kaashii (cache) barbaaddu qabuu yoo hin dandeenye qofa.
• Client hunda gara proxytti qajeelchi, hojiiwwan batch fi qindaa’insa duraa dabalatee.
• Maayiraawwan (metrics) koppii tokko tokko irraa kallattiin dubbisi.
• Meeshaa tokko tokkoof qooda yaadannoo (memory) isaa kenni, kan biraan meeshaa sana irratti hojjetuun walitti dhufeenya qabaachuu danda’uun.
• Baay’ina gaaffiiwwan koppii tokko tokko yeroo tokkotti tajaajilu qindaa’insa traffic keetiin murteessi: mix keenyaaf, 12 caalaa 8 fooyya’aa ture.
• Jijjiirraan kun koppii tokko jalqabsiisuuf yeroo fudhatus moodeela fudhachuu isaa eegi, kanaaf karoorfami.

Factory Floor proxy fi qindaa’insa jalqabsiisaa meeshaa tokko yookaan lamaan, qorannoo fayyaa (health check) fi qorannoo tajaajila moodeelii (tool-use test) moodeelii jijjiiruu dura gaggeessinu, eegduuwwan (watchdogs) fi itti gaafatamtoota yaadannoo (memory guards) meeshaa sana kan hafeef waliin kufaa baasa.