Dà bhogsa den chlas DGX Spark, aon mhodail: lethbhreac air gach fear a’ roinneadh e

Obrachadh2026-10-31

Airson seachd seachdainean, bha am modail cànan ionadail againn a’ ruith air a roinn thairis air dà inneal NVIDIA GB10 le co-shìnteachd teansair. Air 22 Dàmhair, chuir sinn lethbhreac slàn den mhodail air gach inneal agus proxy as lugha-cheangal air beulaibh nan innealan. Chaidh tro-theachd suas bho mu 180 gu 210 token san diog, agus faodaidh gach inneal ath-thòiseachadh a-nis gun a bhith a’ toirt air falbh a’ mhodail.

Carson a bha sinn air a roinn

Tha 128 GB de chuimhne aig gach inneal a tha an CPU agus an GPU a’ roinn. San t-Sultain, bha am modail a’ freagairt air aon inneal, ach cha robh an tasgadan aige a’ freagairt gu math: cha b’ urrainn don thogail vLLM a chleachd sinn an tasgadan KV den mhodail seo a chumail ann an FP8, mar sin bha an tasgadan ann am BF16, agus bha àite aig aon inneal airson 499,110 token dheth. Tha sin nas lugha na dà iarrtas aig co-theacsa slàn a’ mhodail de 262,144 token. Air a roinn thairis air an dà inneal le co-shìnteachd teansair thairis air an ceangal lìonra dìreach aca, dh’fhàs an tasgadan gu barrachd air trì millean token. Bha sinn air am modail a roinn airson àite, chan ann airson astar.

Dè a dh’atharraich

Tha togail nas ùire 4-bit den aon mhodail (NVFP4, air a dhèanamh le distillation mothachail air quantisation) a’ gabhail mu 71 GiB de chuimhne, agus tha togail vLLM coimhearsnachd airson GB10 (eugr/spark-vllm-b12x) a’ ruith a thasgadain ann an FP8. A-nis tha aon inneal a’ cumail a’ mhodail gu lèir agus tasgadan de 0.76 gu 1.08 millean token, àite airson 2.9 gu 4.1 iarrtas aig co-theacsa slàn, a rèir dè an uiread cuimhne a bheir an t-inneal dha. Tha an dà lethbhreac a’ cleachdadh dì-chòdadh speculative a’ mhodail fhèin (MTP, ceithir token dràibht). Mus do dh’atharraich sinn, rinn sinn deuchainn gairm-inneal againn air an togail ùr: fhuair e sgòr 86, fhuair an togail a chuir e an àite 75.

Na thomhais sinn

Aon leth-bhreac leis fhèin, a rèir an àireamh de iarrtasan a sheirbheicheas aig an aon àm: le iarrtasan goirid, thug 1 iarrtas 36 token san diog, thug 4 82, thug 8 109 agus thug 16 150. Le iarrtasan nas fhaide ar n-àidseant puist-d, thug 4 81, thug 8 113 agus cha do thug 16 ach 87: às dèidh 8 iarrtasan den t-seòrsa sin, bha barrachd a’ dèanamh na rudan nas slaodaiche.

Airson feasgar, ghabh aon leth-bhreac 12 iarrtasan aig an aon àm aig a’ char as motha agus ghabh am fear eile 8. Chruthaich a’ chiad fhear 91 gu 93 token san diog agus chrìochnaich e 26 gu 27 iarrtasan sa mhionaid; chruthaich an dàrna fear 81 gu 83 token san diog agus 22 iarrtas sa mhionaid. Gabhaidh an dithis a-nis 12.

Na dh’fhàg sinn às

Àite. Bha aon tasgadan aig a’ mhodail roinnte le barrachd air trì millean token; tha dà thasgadan nas lugha aig na leth-bhrichean, agus chan urrainn dha iarrtas ach tasgadan an leth-bhreac a fhrithealas a chleachdadh. Bidh ar n-àidseantan a’ cur iarrtasan goirid agus meadhanach gu tric, agus bha toradh nas cudromaiche dhaibh. Ma fhrithealas tu beagan cho-theacsan glè fhada aig an aon àm, dh’fhaodadh roinneadh a bhith fhathast na roghainn nas fheàrr. Chum sinn an suidheachadh roinnte, agus tha atharrachadh air ais na aon sgriobt.

Na chaidh ceàrr rè an atharrachaidh

1. Aon uair deug gun mhodail, agus an uairsin 30 diog de 502s. Bha feum air a’ mhodail sgoilte a stad mus gabhadh leth-bhreac a luchdachadh air na h-innealan ceudna, agus mar sin dh’fheumadh ar n-àidseantan feitheamh mu aon uair deug. Nuair a thàinig a’ chiad leth-bhreac suas, bha am progsaidh fhathast a’ freagairt "502 no live upstreams" airson mu 30 diog a bharrachd: bha e air na backends a chomharrachadh mar fhàilligeadh fhad ‘s a bha iad sìos (max_fails=3, fail_timeout=30s) agus cha do dh’fheuch e iad a-rithist gus an deach an t-àm sin seachad.
2. Cliant a leum thairis air a’ phrogsaidh. Bha seòladh a’ chiad inneil ann an config aon de na gnìomhan batch againn, mar sin chaidh an t-eadar-theangachadh gu lèir gu aon leth-bhreac fhad ‘s a bha comas a bharrachd aig an fhear eile. Thèid gach cliant tro a’ phrogsaidh a-nis; chan eil seòlaidhean nan innealan fhèin ach airson sgrùdaidhean slàinte.
3. Tomhasan a leum. Bha ar monitor toraidh a’ leughadh /metrics vLLM tron phrogsaidh. Le dà backend, thàinig leughaidh leantainneach bho leth-bhreacan eadar-dhealaichte, leum na cunntairean air ais is air adhart, agus dh’aithris am monitor gu robh am modail air a ghearradh dheth. A-nis leughaidh e gach leth-bhreac gu dìreach agus cuiridh e ri chèile iad.
4. Coileanach seann-fhasanta a bha a’ dol a stad an leth-bhreac ùr. Bha coileanach aig an t-suidheachadh sgoilte a bha ag ath-thòiseachadh a sheirbheis nuair a stad am modail a’ freagairt. Tha an t-seirbheis ùr ag ainmeachadh Conflicts= leis an t-seann fhear, agus mar sin bha an t-ath-thòiseachadh sin a’ dol a stad an leth-bhreac ùr. Bha feum air a chur dheth le systemctl disable --now, chan ann dìreach a stad, oir bidh ar n-ìre ops ag ath-thòiseachadh aonadan a tha comasach ach nach eil a’ ruith.
5. Cuimhne air an inneal a nì obair eile. Bidh aon inneal cuideachd a’ ruith ar bunan-dàta agus togail làraich. Le gpu-memory-utilization vLLM aig 0.78, cha robh ach 5 GiB air fhàgail airson gach nì eile, agus mar sin lughdaich sinn e gu 0.74 agus dh’ath-thòisich sinn an leth-bhreac sin a-mhàin fhad ‘s a bha am fear eile a’ giùlan an luchd. Air na h-innealan sin, thig an cuibhreann a bheir thu do vLLM a-mach às an aon chuimhne ris a h-uile càil eile.

Mà tha dhà de na mhaclainnean seo agad

• Mà tha am modail agus an tasgadan a tha thu agad a' freagairt air aon mhachine, ruith lethbhreac air gach fear air cùl proxy as lugha-cheangal. Roinn am modail a-mhàin nuair nach urrainn dha aon mhachine an tasgadan a tha thu agad a chumail.
• Stiùir gach neach-dèiligidh chun a' proxy, a' gabhail a-steach obair-bhaidse agus seann roghainnean.
• Leugh tomhasan bho gach lethbhreac gu dìreach.
• Thoir cuibhreann cuimhne fhèin do gach mhachine, a rèir dè eile a tha a' ruith air.
• Stèidhich cia mheud iarrtas a bhios lethbhreac a' frithealadh aig an aon àm leis an trafaig agad fhèin: airson ar measgachadh, bha 12 nas fheàrr na 8.
• Dùil gum bi an t-atharrachadh a' toirt air falbh a' mhodail cho fad 's a bheir e air lethbhreac tòiseachadh, agus dèan planadh air a shon.

Factory Floor a' toirt seachad am proxy agus na roghainnean tòiseachaidh airson aon no dà mhachine, an sgrùdadh slàinte agus an deuchainn cleachdadh-inneal a ruith sinn mus dèan sinn atharrachadh mhodalan, leis na coileanaich agus na dìonadairean cuimhne airson a' chòrr den mhachine.