Machin GB10 nou an te kontinye tete tèt li. Jounal la te akize memwa a; se te chalè a
Operasyon
Youn nan twa machin NVIDIA GB10 nou yo te etenn twa fwa nan kat jou nan mwa septanm: 10 septanm, 12 septanm (li te rete etenn pandan 17 èdtan) ak 13 septanm, douz minit apre yo te limen l ankò. Chak fwa, li te bezwen yon moun peze bouton limen an.
Ki jan yon etennman akòz chalè sanble
Jounal sistèm nan te senpleman sispann, nan mitan aktivite a, san okenn etennman ladan l: yon koupe kouran fòse pa bay journald tan pou l ekri tampon li. Nan mwa Jiyè, apre yon etennman sanble, revèy la te menm retounen ak yon ansyen dat. Epi siveyans materyèl la, ki rekòmanse yon machin ki bloke, pa t fè anyen, paske machin nan pa t bloke: kouran an te disparèt.
Endis la ki te move
Dènye liy kernel yo anvan chak lanmò te erè memwa GPU (NV_ERR_NO_MEMORY), konsa memwa a te sanble koupab. Li pa t ye. Liy sa yo te senpleman bagay ki pi komen kernel la te ekri: 440,580 nan yon sèl demaraj ki te kouri pandan 19 jou anvan li te fini. Lè yon liy parèt souvan konsa, li pral dènye liy anvan nenpòt bagay. Anvan ou akize yon liy jounal, konte konbyen fwa li parèt lè anyen pa mal.
Endis la ki te kòrèk
Paske jounal la pèdi dènye minit li yo nan yon koupe kouran, nou te ajoute yon ti echantiyonè ki ekri tanperati, chaj ak memwa nan yon fichye chak minit epi vide l sou disk la. Li te pran tout senk lanmò depi Jiyè. Chak youn te rive nan chaj GPU konplè (96%), ak CPU a ant 85 ak 97 °C.
Kalkil tan an te eksplike rès la. Anviwon kòmansman mwa septanm, nou te deplase rann videyo sou machin sa a. Pisans GPU li anba chaj konplè te pase soti nan apeprè 24 W rive nan 46 W, tanperati GPU medyan li te pase soti nan 68 rive nan 86 °C, epi minit pa semèn kote CPU a te 95 °C oswa plis te pase soti nan zewo rive nan 4,283. De lòt machin GB10 nou yo, ki kouri modèl lang nan nan menm chaj 96% la, te rete ant 65 ak 81 °C. Sa a senpleman te refwadi pi mal.
Premye reparasyon an: yon plafon pou revèy GPU a
Sou GB10, nvidia-smi pa ka mete yon limit pisans, men li ka plafone revèy GPU a: nvidia-smi -lgc 0,2000. Nan Jiyè, sa te fè zòn ki pi cho a pase soti nan 91 °C rive nan 77 a 83 °C nan kèk segonn. De detay enpòtan:
- Aplike l anvan sèvis lou yo kòmanse. Sèvis plafon nou an te kouri anviwon 15 segonn apre demaraj la, lè sèvè modèl la te deja kòmanse chaje a pisans konplè, ki se moman ki te fè machin nan krache. Kounye a, li kouri anvan Docker kòmanse.
- Tcheke l anba chaj. Ak plafon an aktive, revèy GPU a toujou afiche apeprè 2,400 MHz lè GPU a pa ap travay. Anba chaj, li rete nan 1,976 MHz.
Dezyèm korèksyon an: yon gadyen sekirite kont chalè ki aji pa etap
Plafon an pa t ase lè travay rann imaj yo te kòmanse, kidonk kounye a yon gadyen sekirite li chak sansè chak segonn epi li aji pa etap: yon revèy GPU ki pi ba depi 89 °C ak yon lòt ki pi ba toujou depi 92 °C; depi 94 °C, motè rann imaj la mete sou poz (SIGSTOP) epi CPU a ralanti; depi 96 °C, tout travay GPU yo mete sou poz pandan segonn li pran pou refwadi. Li retabli nivo yo sèlman apre machin nan rete pi frèt pandan yon ti tan. Nan 97 °C pandan 20 segonn, yon fren dènye rekou sispann sèvis videyo a nèt.
Nan premye nèf minit li yo anba travay rann imaj, zòn ki pi cho a te rive nan 94 °C ak yon medyàn 89 °C, konpare ak platò 97 °C anvan sa. Sa gen yon pri: yon jou nan mitan septanm, motè rann imaj la te sou poz pandan 17% tan an, epi GPU a te kouri a 900 MHz oswa mwens pou pifò jounen an. Epi li pa yon remèd: machin nan te etenn tèt li yon lòt fwa ankò, 11 oktòb, nan 97 a 98 °C. Li kouri san entèripsyon depi lè sa a, 20 jou lè n ap ekri sa a.
Kat erè nou te fè nan wout la
- Mete yon sèl travay sou poz pa t refwadi machin nan. Fren an te deklanche lè motè rann imaj la te deja sou poz, paske yon modèl imaj te toujou ap desine epi yon douzèn detè te kòmanse nan menm minit la. Etap ki pi wo a kounye a mete tout travay GPU lou yo sou poz, pa sèlman motè rann imaj la.
- Gadyen sekirite a mete travay yo sou poz pa non yo, epi non yo te chanje. De fwa yon nouvo motè te ka chape anba poz la: yon modèl imaj ak yon nouvo non pwosesis nan septanm, epi nan oktòb yon motè rann imaj ki kouri nan yon kontènè olye ke li se yon pitit sèvis rann imaj la. Chak chanjman motè kounye a gen ladan l yon tcheke sou lis gadyen sekirite a.
- Ken fren an pa t janm leve. Li te sispann sèvis videyo a epi li te kite yon fichye ken pou anyen pa te ka rekòmanse l. Anyen pa t avèti moun nonplis, epi pwodiksyon an te sispann pandan twa jou anvan nou te remake sa. Ken an kounye a leve tèt li: senk minit apre dènye fren an, san okenn nouvo fren, omwen 30 GB memwa lib epi yon mwayèn dis minit nan 93 °C oswa mwens. Tann machin nan refwadi pa t janm pral mache: li te gen yon mwayèn 88 °C ak oswa san travay rann imaj.
- Alèm nan te sonnen nan tanperati nòmal machin nan. Sèy alèt la te 88 °C, sa ki te mwayèn machin sa a. Nan yon jou, li te pase 32% nan tan an nan 90 °C oswa plis, 8% nan 93 °C oswa plis ak 3% nan 95 °C oswa plis, epi li pa t janm rive 97 °C. Nou te deplase alèm nan nan 97 °C, platò kote li te reyèlman mouri a, epi imèl alèm yo te sispann.
Kesyon kle a
Lojisyèl te kenbe machin sa a vivan, men kòz la te fizik: refwadisman li a te de a twa fwa pi mal pase sa frè li yo. Si yon machin GB10 tèt li etenn anba chaj, tcheke koule lè a an premye. Apre sa, mete yon plafon sou revèy GPU a anvan sèvis ou yo kòmanse, mete travay lou yo nan poz anvan machin nan rive nan limit li, epi mete alèm yo dapre tanperati li reyèlman mache a.
Factory Floor genyen yon gadyen sekirite chalè konsa: li li pi wo a nan sansè GPU yo ak sansè zòn tèmik yo, li mete travay lou ou deziyen yo nan poz nan yon tanperati espesifye (92 °C pa defo) epi li rekòmanse yo sèlman anba yon tanperati ki pi ba (84 °C), ak gadyen sekirite memwa ak disk bò kote l.