Lè NVENC pa vle kòmanse: yon GPU plen ak modèl, ak yon motè rann ki retounen nan yon solisyon altènatif
Videyo
Motè rann videyo nou an ap kouri sou menm machin nan ak modèl langaj la ki ekri eskript li yo. Yon aswè, ankodè materyèl la senpleman pa t vle louvri: "CUDA_ERROR_OUT_OF_MEMORY: memwa fini", apre sa "Pa gen okenn aparèy konpetan jwenn".
Sa ki te pase
Machin nan se yon òdinatè tablo NVIDIA GB10, kote CPU a ak GPU a pataje yon sèl pool memwa. Li sèvi ak modèl lokal nou an atravè vLLM, epi Studio rann sou menm machin nan ak ffmpeg, lè l sèvi avèk NVENC lè li ka. Pandan yon esè tès, ankodè a pa t ka kreye kontèks CUDA li a. Echèk la te vini epi ale nan kèk segonn: yon ti pwob NVENC te pase epi rann nan ki te vin apre a te echwe; nan pwochen kouri a, pwob la menm te echwe; nan kouri apre sa a, pwob la ak rann nan toude te pase atravè NVENC.
Poukisa
vLLM rezève yon pati fiks nan memwa GPU a lè li kòmanse, pou modèl la ak kach li a. NVENC bezwen yon ti memwa pa l pou chak kontèks CUDA sesyon an. Lè sèvè modèl la ak lòt travay yo pa kite anyen rete, ankodè a pa ka kòmanse, menm si se yon motè separe sou chip la epi li ta apèn manyen kalkil GPU a.
Koreksyon an: deside nan moman ankodaj la, pa nan pwob la
Yon pwob nan demaraj la di ou NVENC te mache yon moman de sa, pa ke li ap mache pou pwochen fichye a. Se poutèt sa Studio eseye NVENC pou chak rann epi, si ffmpeg echwe, li kouri menm graf filtè a ankò ak libx264. Chèn dirèk la fè yon esè ankodaj demi-segond ak paramèt dirèk li yo anvan chak demaraj epi li itilize libx264 si NVENC echwe ladan l; yon erè NVENC oswa CUDA pandan difizyon a chanje pwochen demaraj la pou libx264. Chak videyo fini anrejistre ki ankodè ki te fè l, konsa yon retou altènatif parèt nan fichye travay la olye pou l pase san remak.
Sa retou altènatif la koute
Mwen pase sa nou te espere. Sou CPU Arm 20-kè menm machin nan, libx264 te rann 12 segonn videyo 1080p, ak mouvman kamera, tit ki kole sou ekran an ak nòmalizasyon volim, nan 7.6 segonn. Pou ti videyo yo fè yon fwa pa jou, CPU a se yon ankodè ki bon nèt. GPU a pi enpòtan pou modèl imaj la pase pou ankodaj la.
Kesyon kle a
Sou yon machin pataje, konsidere kodè GPU a kòm opsyonèl: sèvi avè l lè li disponib, retounen nan altènatif la lè li pa disponib, epi anrejistre ki youn ou te itilize. Menm bagay la aplike pou nenpòt fonksyon GPU ki bezwen pwòp memwa li sou yon machin kote yon sèvè modèl deja pran pifò nan li. Studio vini ak konpòtman sa a aktive pa default.