A GB10 gépünk folyamatosan kikapcsolta magát. A napló a memóriát hibáztatta; a hőség volt az ok.
Üzemeltetés
A három NVIDIA GB10 gépünk egyike szeptemberben négyszer négy nap alatt elsötétült: szeptember 10-én, szeptember 12-én (17 órán át ki volt kapcsolva) és szeptember 13-án, tizenkét perccel a bekapcsolása után. Minden alkalommal szükség volt egy emberre, aki megnyomja a bekapcsoló gombot.
Így néz ki egy hőmiatti leállás
A rendszer naplója egyszerűen megállt tevékenység közben, leállítási bejegyzés nélkül: a hirtelen áramszünet nem hagy időt a journald-nak, hogy kiírja a pufferét. Júliusban egy hasonló leállás után az óra még régi dátummal tért vissza. Az hardveres őrszem, amely újraindítja a megakadt gépet, semmit nem tett, mert a gép nem akadt meg: az áram megszűnt.
A rossz nyom
Az utolsó kernel-sorok minden egyes leállás előtt GPU memóriahiába ütközési hibák voltak (NV_ERR_NO_MEMORY), így a memória tűnt bűnösnek. Nem az volt. Ezek a sorok egyszerűen a leggyakoribbak voltak, amelyeket a kernel írt: 440 580 darab egyetlen, 19 napos üzemidőt követően lezárult bootolás során. Amikor egy sor ilyen gyakran jelenik meg, az lesz az utolsó sor bármi előtt. Mielőtt egy naplósort hibáztatna, számolja meg, milyen gyakran jelenik meg, amikor semmi sem romlik el.
A helyes nyom
Mivel a napló elveszíti az utolsó perceket áramszünet esetén, hozzáadtunk egy kis mintavevőt, amely percenként hőmérsékleteket, terhelést és memóriát ír egy fájlba, és lemezre ment. Ez mind az öt július óta bekövetkezett leállást rögzítette. Mindegyik teljes GPU terhelésnél (96%) történt, a CPU 85 és 97 °C közötti hőmérsékleten.
Az időzítés megmagyarázta a többit. Szeptember eleje körül videorenderelést költöztettünk erre a gépre. A GPU teljes terhelés melletti fogyasztása kb. 24 W-ról 46 W-ra nőtt, a GPU hőmérséklet mediánja 68-ról 86 °C-ra, és a CPU 95 °C vagy afölötti hőmérsékletű hetenkénti percek száma nulláról 4 283-ra. A másik két GB10 gépünk, amelyek a nyelvi modellt ugyanazon 96%-os terhelés mellett futtatják, 65 és 81 °C között maradt. Ez egyszerűen rosszabbul hűlt.
Az első javítás: GPU órajelkorlát
GB10-en az nvidia-smi nem tud teljesítménykorlátot beállítani, de korlátozhatja a GPU órajelét: nvidia-smi -lgc 0,2000. Júliusban ez másodpercek alatt 91 °C-ról 77–83 °C-ra csökkentette a legmelegebb zónát. Két részlet számít:
- Alkalmazza, mielőtt a nehéz szolgáltatások elindulnak. A korlát-szolgáltatásunk először kb. 15 másodperccel a bootolás után futott, amikor a modellszerver már teljes erővel töltődött, ami az a pillanat volt, amely a gépet összeomlasztotta. Most a Docker indulása előtt fut.
- Tesztelje terhelés alatt. A korlátozás bekapcsolt állapotában a jelentett GPU-óra frekvenciája üresjáratban is kb. 2 400 MHz. Terhelés alatt 1 976 MHz-en marad.
A második javítás: lépcsőzetes hőmérsékleti biztonsági korlát
A korlátozás nem volt elég, amikor a renderelés beindult, ezért a biztonsági korlát most másodpercenként leolvassa az összes érzékelőt, és lépcsőzetesen avatkozik be: alacsonyabb GPU-óra 89 °C-tól, még alacsonyabb 92 °C-tól; 94 °C-tól a renderelő szünetel (SIGSTOP), és a CPU lassul; 96 °C-tól minden GPU-feladat szünetel annyi másodpercre, amíg a gép le nem hűl. Csak akkor lép vissza, ha a gép egy ideig hűvösebb maradt. 97 °C-on 20 másodpercig egy végső vészfék teljesen leállítja a videószolgáltatást.
Az első kilenc perc alatt renderelés közben a legmelegebb zóna 94 °C-os csúcsot ért el 89 °C-os mediánnal, a korábbi 97 °C-os platókhoz képest. Ez ára van: szeptember közepén egy napon a renderelő az idő 17%-ában szünetelt, és a GPU a nap nagy részében 900 MHz-en vagy kevesebben futott. És ez nem csodaszer: a gép október 11-én még egyszer kikapcsolta magát 97–98 °C-on. Azóta megszakítás nélkül fut, 20 napja, ahogy ezt írjuk.
Négy hiba, amit útközben elkövettünk
- Egy feladat szüneteltetése nem hűtötte le a gépet. A vészfék akkor lépett, amikor a renderelő már szünetelt, mert egy képmegjelenítő modell még rajzolt, és egy tucat időzítő indult ugyanabban a percben. A felső lépcső most minden nehéz GPU-feladatot szüneteltet, nem csak a renderelőt.
- A biztonsági korlát név szerint szünetelteti a feladatokat, és a nevek változtak. Kétszer is előfordult, hogy egy új motor elkerülte a szüneteltetést: szeptemberben egy képmegjelenítő modell új folyamatnévvel, októberben pedig egy renderelő, amely konténerben fut a renderelő szolgáltatás gyermekfolyamata helyett. Minden motorkicseréléshez most tartozik a biztonsági korlát listájának átnézése is.
- A vészfék tartása sosem oldódott fel. Leállította a videószolgáltatást, és egy tartási fájlt hagyott maga után, hogy semmi ne indítsa újra. Senkit nem figyelmeztetett, és a kimenet három napig állt, mire észrevettük. A tartás most magától feloldódik: az utolsó vészfék után öt perccel, újabb vészfék nélkül, legalább 30 GB szabad memóriával és 93 °C-os vagy alacsonyabb tízperces átlaggal. Arra várni, hogy a gép lehűljön, sosem működött volna: rendereléssel és anélkül is 88 °C-os átlagot ért el.
- A riasztás a gép normál hőmérsékleténél szólalt meg. A figyelmeztetési küszöb 88 °C volt, ami e gép átlaga. Egy nap alatt az idő 32%-át töltötte 90 °C-on vagy afölött, 8%-át 93 °C-on vagy afölött és 3%-át 95 °C-on vagy afölött, és sosem érte el a 97 °C-ot. A riasztást átállítottuk 97 °C-ra, arra a szintre, ahol tényleg leállt, és a riasztó e-mailek megszűntek.
A tanulság
A szoftver életben tartotta ezt a gépet, de az ok fizikai volt: a hűtése két-háromszor rosszabb volt a testvéreinél. Ha egy GB10 gép terhelés alatt kikapcsolja magát, először a légáramlást ellenőrizze. Ezután korlátozza a GPU órajelet a szolgáltatások indítása előtt, szüneteltesse a nehéz feladatokat, mielőtt a gép eléri a határát, és állítsa be a riasztásokat a ténylegesen futtatott hőmérsékletekből.
A Factory Floor tartalmaz egy ilyen hőbiztonsági korlátot: kiolvassa a GPU és a hőzóna-érzékelők legmelegebb értékét, egy beállított hőmérsékleten (alapértelmezetten 92 °C) szünetelteti az Ön által megadott nehéz feladatokat, és csak egy alacsonyabb hőmérséklet alatt (84 °C) folytatja őket, mellette memóriavédelemmel és lemezvédővel.