Bha an t-inneal GB10 againn a’ cur dheth e fhèin. Bha an log a’ cur a’ choire air a’ chuimhne; bha e na theas
Obrachadh
Chaidh aon de na trì innealan NVIDIA GB10 againn dhan dhorchadas trì tursan ann an ceithir latha san t-Sultain: air 10 Sultain, air 12 Sultain (dh’fhuirich e dheth airson 17 uairean) agus air 13 Sultain, dusan mionaid às dèidh a chur air ais air. Aig gach turas, bha feum air duine gus am putan cumhachd a bhrùthadh.
Coltas air dùnadh teasa
Stad an leabhar-latha siostam gu h-obann, am measg gnìomhachd, gun dùnadh sam bith ann: cha toir dùnadh cumhachd cruaidh ùine do journald am bufair aige a sgrìobhadh. San Iuchar, às dèidh dùnadh coltach ris, thill an gleoc fiù ’s le seann cheann-latha. Agus cha do rinn an coileanach bathar-cruaidh, a bhios ag ath-thòiseachadh inneal a tha crochte, dad sam bith, oir cha robh an t-inneal crochte: bha a’ chumhachd air falbh.
An comharra a bha ceàrr
Bha na loidhnichean mu dheireadh den chridhe mus do bhàsaich e gach turas nan mearachdan cuimhne GPU a-mach à cuimhne (NV_ERR_NO_MEMORY), agus mar sin bha coltas gu robh a’ chuimhne ciontach. Cha robh. Bha na loidhnichean sin dìreach an rud as cumanta a sgrìobhadh an cridhe: 440,580 dhiubh ann an aon thòiseachadh a bha air a bhith a’ ruith airson 19 latha mus do chrìochnaich e. Nuair a nochdas loidhne cho tric sin, bidh i mar an loidhne mu dheireadh mus tachair rud sam bith. Mus cuir thu a’ choire air loidhne loga, cunnt dè cho tric ’s a nochdas i nuair nach eil dad ceàrr.
An comharra a bha ceart
Leis gu bheil an leabhar-latha a’ call a’ mhionaid mu dheireadh aige ann an dùnadh cumhachd, bha sinn air sampalaiche beag a chur ris a bhios a’ sgrìobhadh teòthachd, luchd agus cuimhne gu faidhle gach mionaid agus ga shruthadh chun diosg. Ghlac e gach aon de na còig bàsan bhon Iuchar. Thàinig gach aon aig luchd làn GPU (96%), leis a’ CPU aig 85 gu 97 °C.
Mìnich an t-àm an còrr. Mu thòiseachadh na Sultain, bha sinn air tarraing bhidio a ghluasad chun an inneil seo. Chaidh cumhachd GPU fo luchd làn bho mu 24 W gu 46 W, chaidh teòthachd meadhanach GPU bho 68 gu 86 °C, agus chaidh na mionaidean san t-seachdain leis a’ CPU aig 95 °C no barrachd bho neoni gu 4,283. Dh’fhuirich an dà inneal GB10 eile againn, a bhios a’ ruith a’ mhodail cànain aig an aon luchd 96%, aig 65 gu 81 °C. Bha an tè seo dìreach a’ fuarachadh nas miosa.
A’ chiad càradh: crìoch gleoc GPU
Air GB10, chan urrainn do nvidia-smi crìoch cumhachd a shuidheachadh, ach faodaidh e crìoch a chur air gleoc GPU: nvidia-smi -lgc 0,2000. San Iuchar, thug sin an raon as teotha bho 91 °C gu 77 gu 83 °C taobh a-staigh diogan. Tha dà mhion-fhiosrachadh cudromach:
- Cuir an sàs e mus tòisich na seirbheisean trom. Bha an t-seirbheis crìche againn a’ ruith mu 15 diogan às dèidh tòiseachadh an toiseach, nuair a bha an frithealaiche modail air tòiseachadh a’ luchdachadh aig làn chumhachd, sin an t-àm a bha air an t-inneal a mhilleadh. Ruithidh e a-nis mus tòisich Docker.
- Seall e fo luchd. Leis a’ chrìoch air, tha an gleoc GPU a chaidh aithris fhathast a’ leughadh mu 2,400 MHz nuair a tha an GPU gun obair. Fo luchd, tha e a’ cumail aig 1,976 MHz.
An dàrna ceartachadh: dìonadair teas ann an ceumannan
Cha robh a’ chrìoch gu leòr nuair a ghluais an rendering a-steach, mar sin tha dìonadair a-nis a’ leughadh gach sensor aon uair san diog agus ag obair ann an ceumannan: gleoc GPU nas ìsle bho 89 °C agus fear nas ìsle a-rithist bho 92 °C; bho 94 °C tha an renderer air a chur air stad (SIGSTOP) agus an CPU air a shlaodadh; bho 96 °C tha gach obair GPU air a chur air stad airson nan diogan a bheir e gus fuarachadh. Tha e a’ ceumadh air ais a-mhàin às deidh don inneal a bhith nas fhuaire airson greis. Aig 97 °C airson 20 diog, tha breic mu dheireadh a’ stad seirbheis bhidio gu tur.
Anns na naoi mionaidean aige fo rendering, bha an raon as teotha a’ ruighinn 94 °C le meadhan de 89 °C, an coimeas ri leòinean de 97 °C roimhe. Tha prìs aige: air aon latha ann am meadhan Sultain, chaidh an renderer a chur air stad airson 17% den ùine, agus bha an GPU a’ ruith aig 900 MHz no nas lugha airson a’ mhòr-chuid den latha. Agus chan e leigheas a th’ ann: chuir an t-inneal dheth e fhèin aon uair eile, air 11 Dàmhair, aig 97 gu 98 °C. Tha e air a bhith a’ ruith gun bhriseadh bhon uair sin, 20 latha mar a sgrìobhas sinn seo.
Ceithir mearachdan a rinn sinn air an t-slighe
- Cha do dh’fhuaraich stad aon obair an t-inneal. Chaidh a’ bhreic a chur an gnìomh leis an renderer air a stad mu thràth, oir bha modail ìomhaighean fhathast a’ tarraing agus deug timer air an tòiseachadh san aon mhionaid. Tha an ceum as àirde a-nis a’ cur stad air gach obair GPU trom, chan e an renderer a-mhàin.
- Tha an dìonadair a’ cur stad air obraichean le ainm, agus dh’atharraich na h-ainmean. Dh’fhaodadh dà uair gun robh einnsean ùr air teicheadh bhon stad: modail ìomhaighean le ainm pròiseas ùr san t-Sultain, agus san Dàmhair renderer a tha a’ ruith ann an container an àite mar phàiste den t-seirbheis render. Tha gach atharrachadh einnsein a-nis a’ toirt a-steach sealladh air liosta an dìonadair.
- Cha do dh’èirich greim na breice a-riamh. Chuir e stad air seirbheis bhidio agus dh’fhàg e faidhle greim gus nach toireadh dad ath-thòiseachadh e. Cha do dh’innis dad do dhuine sam bith cuideachd, agus stad an toradh airson trì latha mus do mhothaich sinn. Tha an greim a’ togail fhèin a-nis: còig mionaidean às deidh na breice mu dheireadh, gun bhreic ùr, co-dhiù 30 GB de chuimhne saor agus cuibheasachd deich mionaidean de 93 °C no nas lugha. Cha robh feitheamh ris an inneal fuarachadh gu bhith ag obair a-riamh: bha e a’ cuibheasachadh 88 °C le agus gun rendering.
- Rinn an t-alarm fuaim aig teòthachd àbhaisteach na h-inneil. Bha an stairsneach rabhaidh aig 88 °C, a bha cuibheasach na h-inneil seo. Thar latha, chuir e seachad 32% den ùine aig 90 °C no barrachd, 8% aig 93 °C no barrachd agus 3% aig 95 °C no barrachd, agus cha do ràinig e 97 °C a-riamh. Ghluais sinn an t-alarm gu 97 °C, an àrd-ùrlar far an do dh’fhàillig e gu fìrinneach, agus stad na puist-d alarman.
An teachdaireachd
Chum an bathar-bog an t-inneal seo beò, ach bha an t-adhbhar fiosaigeach: bha fuarachadh na h-inneil seo dà no trì uiread nas miosa na na bràithrean aice. Ma chuireas inneal GB10 dheth e fhèin fo luchd, thoir sùil air sruth-adhair an toiseach. An uairsin cuir crìoch air gleoc a’ GPU mus tòisich na seirbheisean agad, cuir stad air na h-obrachan trom mus ruig an t-inneal a chrìoch, agus suidhich alarman bho na teòthachdan aig a bheil e ag obair gu fìrinneach.
Tha Factory Floor a’ toirt a-steach dìonadair teas den t-seòrsa seo: leughaidh e an fheadhainn as teotha de na sensaran GPU agus raon-teas, cuiridh e stad air na h-obrachan trom a dh’ainmicheas tu aig teòthachd shuidhichte (92 °C mar bhun-roghainn) agus ath-thòisichidh e iad a-mhàin fo theòthachd nas ìsle (84 °C), le dìonadairean cuimhne agus diosg ri thaobh.