Nuair nach tòisicheas NVENC: GPU làn mhodalan, agus neach-tarraing a thuiteas air ais
Bidio
Tha an neach-tarraing bhidio againn a’ ruith air an aon inneal ris a’ mhodail cànain a sgrìobhas na sgriobtaichean aige. Aon fheasgar cha do dh’fhosgail an còdaichear bathar-cruaidh idir: "CUDA_ERROR_OUT_OF_MEMORY: cuimhne a-mach", agus an uairsin "Cha deach innealan comasach a lorg".
Dè thachair
’S e deasg NVIDIA GB10 a th’ san inneal, far a bheil an CPU agus an GPU a’ roinn aon phool de chuimhne. Bidh e a’ frithealadh a’ mhodail ionadail againn tro vLLM, agus bidh Studio a’ tarraing air an aon bhogsa le ffmpeg, a’ cleachdadh NVENC nuair as urrainn dha. Rè deuchainn, cha do dh’obraich an còdaichear a cho-theacsa CUDA. Thàinig agus chaidh an t-fàilligeadh taobh a-staigh diogan: chaidh sgrùdadh goirid NVENC seachad agus dh’fhàillig an tarraing dìreach às a dhèidh; air an ath ruith dh’fhàillig an sgrùdadh fhèin; air an ruith às dèidh sin, chaidh an sgrùdadh agus an tarraing le chèile tro NVENC.
Carson
Bidh vLLM a’ glèidheadh cuibhreann shuidhichte de chuimhne a’ GPU nuair a thòisicheas e, airson a’ mhodail agus a chache. Feumaidh NVENC beagan cuimhne fhèin airson co-theacsa CUDA gach seisein. Nuair nach fhàg am frithealaiche modail agus gnìomhan eile dad air fhàgail, cha urrainn don chòdaichear tòiseachadh, ged a tha e na einnsean air leth air a’ chip agus cha bhiodh e cha mhòr a’ beantainn ri àireamhachadh a’ GPU.
An ceartachadh: co-dhùin aig an chòdachadh, chan aig an sgrùdadh
Bidh sgrùdadh aig an toiseach ag innse dhut gun do dh’obraich NVENC mionaid air ais, chan e gun obraich e airson an ath fhaidhle. Mar sin feuchaidh Studio NVENC airson gach tarraing agus, ma dh’fhàillig ffmpeg, ruithidh e an aon ghraf sìoltachain a-rithist le libx264. Bidh an t-sianal beò a’ ruith deuchainn chòdachaidh leth-dhiog le na suidheachaidhean beò aige mus tòisich e gach turas agus cleachdaidh e libx264 ma dh’fhàillig NVENC air; bidh mearachd NVENC no CUDA rè an t-sruthaidh a’ tionndadh an ath thòiseachaidh gu libx264. Bidh gach bhidio crìochnaichte a’ clàradh dè an còdaichear a rinn e, mar sin nochdaidh tuiteam air ais ann am faidhle na gnìomh seach a dhol seachad gun mhothachadh.
Dè a chosgas an tuiteam air ais
Nas lugha na bha sinn an dùil. Air CPU Arm 20-cridhe an aon inneil, tharraing libx264 12 diog de bhidio 1080p, le gluasadan camara, fo-thiotalan losgaidh-steach agus gnàthachadh àirde-fuaime, ann an 7.6 diog. Airson bhideothan goirid a thèid a dhèanamh aon uair san latha, tha an CPU na chòdaichear gu math math. Tha cudrom mòr nas motha aig a’ GPU airson a’ mhodail ìomhaigh na airson a’ chòdachaidh.
An teachdaireachd
Air inneal co-roinnte, làimhsich an còdaichear GPU mar roghainneil: cleachd e nuair a bhios e fosgailte, till air ais nuair nach bi, agus logaich dè an tè a chleachd thu. Tha an aon rud a’ buntainn ri feart sam bith GPU a dh’fheumas a chuimhne fhèin air bogsa far a bheil frithealaiche modail air a’ mhòr-chuid dheth a ghabhail mar-thà. Tha Studio a’ tighinn leis an giùlan seo air a chur air gu bunasach.