Tcheke sante nou an te rekòmanse yon sèvè modèl ki an sante 8 fwa nan yon sèl jou
Operasyon
Nan 22 Jiyè, yon siveyans te rekòmanse sèvè modèl lokal nou an 8 fwa. Pa t gen yon aksidan dèyè okenn nan rekòmansman sa yo. Tcheke a ki te dwe kenbe modèl la ap monte se li menm ki t ap desann li.
Sa ki te pase
Sèvè modèl la te kouri vLLM sou yon machin NVIDIA GB10 epi li te pwodui anviwon 8 to pa segonn pou yon sèl demann. Chak 5 minit, yon siveyans te voye yon vrè demann chat ba li epi li t ap tann jiska 45 segonn pou repons lan. Senk tcheke ki echwe youn dèyè lòt vle di sèvè a bloke, epi siveyans lan te rekòmanse l. Yon rekòmansman te retire modèl la pou plizyè minit pandan anviwon 19 GB nan pwa yo te chaje ankò.
Jou sa a, yon travay an mas te kenbe 2 a 4 demann okipe sou sèvè a pandan plizyè minit alafwa. Demann siveyans lan te tann nan liy dèyè yo, li te fini tan li, epi li te konte kòm yon echèk. Senk tcheke konsa apre sa, yon sèvè ki an sante te rekòmanse. Nou te gen yon fichye endikatè "okipe" ke siveyans lan respekte, men travay an mas la pa t janm mete l.
Kijan yon fo rekòmansman te mennen nan pwochen an
Chak rekòmansman te fè demann k ap kouri yo echwe ak yon erè 500 ("pa ka pwograme nouvo futures apre fèmti"). Yon dezyèm siveyans te konte erè 500 yo epi li te rekòmanse sèvè a lè te gen twòp, epi plis erè li te wè, se pi vit li te aji. Se konsa chak fo rekòmansman te fè pwochen an rive pi vit. An tout, kat siveyans separe te ka rekòmanse sèvè sa a, sou detè 5, 10, 15 ak 30 minit.
Règ nou te pran de sa
Yon tcheke sante pa dwe itilize sa l ap gade. Resous ki ra nan yon sèvè modèl se plas li genyen pou demann k ap kouri yo. Yon tcheke ki pran youn nan plas sa yo, oswa ki tann youn, se yon pati nan chaj li dwe evalye a. Tcheke a bon mache, epi rekòmanse sèlman lè ou ka montre ke sèvè a bloke.
Tcheke a ki ranplase l
vLLM pibliye pwòp kontè li yo nan /metrics. Nouvo tcheke a li yo an premye:
- Demann k ap kouri ak motè a k ap fè pwogrè: an sante epi okipe. Pa gen demann tès ki voye.
- Demann k ap kouri ak pa gen pwogrè ant de lekti: bloke. Se ka sa a ki toujou rekòmanse.
- Pa gen anyen k ap kouri: idle. Se sèlman lè sa a tcheke a mande yon repons kout, ke yon motè idle bay touswit.
Premye vèsyon an te konte to jenere yo kòm pwogrè. Li pase 8 tès, epi nan premye kouri dirèk li a, li te jwenn sèvè a okipe epi an sante: 2 demann k ap kouri, 107 nouvo to ant de lekti yo.
Sa nou chanje depi lè sa a
- Pa etap motè, se pa jeton sòti. Pandan vLLM ap li yon long prompt, li pa pwodui okenn jeton sòti pou yon ti tan, men li toujou ap fè etap. Konte etap yo (kantite vllm:iteration_tokens_total) anpeche yon long prompt sanble ak yon sèvè ki bloke.
- De tann anvan "bloke", konsa yon ti poz pa konte kòm yon echèk.
- Yon redemaraj ant de lekti yo detekte pa tan kòmansman pwosesis la nan menm metrik yo; tès la mande yon repons olye li konpare kontè de de pwosesis diferan.
- Yon proxy tcheke sèlman atravè /models. Dèyè yon proxy ki gen mwens koneksyon, chak lekti /metrics ka soti nan yon backend diferan, jan nou te jwenn sa lè nou te kouri yon kopi modèl la sou chak nan de machin yo. Tcheke backend yo dirèkteman.
Diferans lan fasil pou wè. Pandan n ap ekri nòt sa a, toude sèvè modèl nou yo t ap kouri 12 demann chak, limit yo. Yon demann tès ta tann nan liy lan. Nouvo tès la te rapòte toude okipe e an sante, a 126 ak 101 jeton pa segonn, san voye youn.
Factory Floor 1.0.2 voye tès sa a kòm models/llm-health.py, ak tès pou sèvè ki idle, okipe, bloke ak redemare, yon sèvè san metrik, yon proxy ak yon backend mouri.