Thug ar seic-slàinte ath-thòiseachadh air frithealaiche mhodail fallain ochd tursan ann an aon latha
Obrachadh
Air 22 Iuchar thug coileanach ath-thòiseachadh air ar frithealaiche mhodail ionadail ochd tursan. Cha robh tubaist sam bith air cùl gin de na h-ath-thòiseachaidhean sin. B’ e an t-seic a bha an dùil am modail a chumail suas an rud a bha ga thoirt sìos.
Dè thachair
Rinn am frithealaiche mhodail vLLM air aon inneal NVIDIA GB10 agus thug e a-mach mu 8 tokens san diog airson aon iarrtas. Gach còig mionaidean chuir coileanach iarrtas còmhraidh fìor thuige agus dh’fhuirich e suas ri 45 diog airson an fhreagairt. Bha còig seicean a dh’fhàillig ann an sreath a’ ciallachadh frithealaiche crochte, agus thug an coileanach ath-thòiseachadh air. Thug ath-thòiseachadh am modail air falbh airson beagan mhionaidean fhad ‘s a chaidh mu 19 GB de chuideaman a luchdachadh a-rithist.
An latha sin, chum obair-bhaidse dà gu ceithir iarrtasan trang air an fhrithealaiche airson mionaidean aig an aon àm. Dh’fhuirich iarrtas a’ choileanaich san t-sreath air an cùlaibh, dh’fhalbh an t-àm aige, agus chaidh a chunntadh mar fhàilligeadh. Còig seicean mar sin nas fhaide air adhart, chaidh frithealaiche fallain ath-thòiseachadh. Bha faidhle brataich “trang” againn a bha an coileanach a’ toirt urram dha, ach cha do shuidhich an obair-bhaidse a-riamh e.
Mar a thug aon ath-thòiseachadh meallta gu an ath fhear
Dh’fhàillig gach ath-thòiseachadh air na h-iarrtasan a bha a’ dol air adhart le mearachd 500 (“cannot schedule new futures after shutdown”). Chunntadh dàrna coileanach mearachdan 500 agus thug e ath-thòiseachadh air an fhrithealaiche nuair a bha cus ann, agus mar as motha de mhearachdan a chunnaic e, ’s ann as luaithe a ghnìomhaich e. Mar sin, thug gach ath-thòiseachadh meallta an t-ath fhear gu buil nas luaithe. Gu lèir, bha ceithir coileanaich fa leth comasach air an frithealaiche sin ath-thòiseachadh, air timers 5, 10, 15 agus 30 mionaid.
An riaghailt a thug sinn bhuaithe
Cha bu chòir do sheic-slàinte an rud a tha i a’ dìon a chleachdadh. Is e goireas gann an fhrithealaiche mhodail na slotan aige airson iarrtasan a tha a’ dol air adhart. Is e pàirt den luchd a tha e an dùil a mheasadh seic a ghlacas aon de na slotan sin, no a dh’fhuiricheas airson fear. Thoir seic gu saor, agus ath-thòisich a-mhàin nuair as urrainn dhut sealltainn gu bheil am frithealaiche glaiste.
An t-seic a chuir an àite a’ chiad fhear
Tha vLLM a’ foillseachadh a chunntasan fhèin aig /metrics. Leugh an t-seic ùr iad an toiseach:
- Iarrtasan a’ ruith agus an t-einnsean a’ dèanamh adhartais: fallain agus trang. Cha tèid iarrtas deuchainn a chur.
- Iarrtasan a’ ruith agus gun adhartas eadar dà leughadh: glaiste. Seo an cùis a bheir ath-thòiseachadh fhathast.
- Chan eil dad a’ ruith: neo-ghnìomhach. An uairsin a-mhàin iarraidh an t-seic freagairt ghoirid, a bheir einnsean neo-ghnìomhach sa bhad.
Chunntadh a’ chiad dreach tokens ginealta mar adhartas. Chaidh e seachad air ochd deuchainnean, agus air a’ chiad ruith beò lorg e am frithealaiche trang agus fallain: 2 iarrtasan a’ ruith, 107 tokens ùra eadar an dà leughadh.
Na dh’atharraich sinn bho then
- Ceumannan einnsein, chan e tokens toraidh. Fhad 's a tha vLLM a' leughadh prompt fada, chan eil e a' toirt a-mach tokens toraidh airson greis ach tha e fhathast a' gabhail cheumannan. Le bhith a' cunntadh nan ceumannan (an àireamh de vllm:iteration_tokens_total) tha e a' cur stad air prompt fada bho bhith a' coimhead coltach ri frithealaiche a tha air a bhacadh.
- Dà fheitheamh mus tèid "air a bhacadh" a ràdh, gus nach bi stad goirid air a mheas mar fhàilligeadh.
- Thathar a' glacadh ath-thòiseachadh eadar an dà leughadh leis an àm tòiseachaidh pròiseas anns na tomhasan co-cheangailte; bidh an sgrùdadh an uairsin ag iarraidh freagairt an àite bhith a' dèanamh coimeas eadar cunntairean bho dhà phròiseas eadar-dhealaichte.
- Thathar a' sgrùdadh proxy tro /models a-mhàin. Air cùl proxy le ceangal as lugha, faodaidh gach leughadh de /metrics tighinn bho backend eadar-dhealaichte, mar a lorg sinn nuair a rinn sinn lethbhreac den mhodail a ruith air gach aon de dhà inneal. Thathar a' sgrùdadh nan backends gu dìreach.
Tha an t-eadar-dhealachadh furasta fhaicinn. Mar a bha sinn a' sgrìobhadh an nota seo, bha an dà fhrithealaiche modail againn a' ruith 12 iarrtasan gach fear, an ìre as àirde aca. Bhiodh iarrtas deuchainn air feitheamh san t-sreath. Chomharraich an sgrùdadh ùr an dà chuid mar ghnìomhach agus fallain, aig 126 agus 101 tokens san diog, gun a bhith a' cur fear a-mach.
Factory Floor 1.0.2 a' toirt a-mach an sgrùdadh seo mar models/llm-health.py, le deuchainnean airson frithealaichean gun obair, gnìomhach, air a bhacadh agus ath-thòisichte, frithealaiche gun thomhasan, proxy agus backend marbh.