Mashiiniin keenya GB10 ofumaan of dhaama ture. Galmi (log) yaadannoo (memory) komachaa ture; haalli ho'aa ture.
Hojii
Mashiinonni keenya sadii NVIDIA GB10 keessaa tokko, Sadaasa (September) keessatti guyyaa afur keessatti yeroo sadii dhaamee ture: Sadaasa 10, Sadaasa 12 (sa'aatii 17f dhaamee ture) fi Sadaasa 13, daqiiqaa 12 booda yeroo itti deebi'ee baname. Yeroo hunda namni tokko qabxii humna (power button) dhaquu qaba ture.
Dhaabbii ho'aa akkamitti akka mul'atu
Galmni sirnicha (system journal) gidduu hojii, dhaabbii tokko malee, dhaamee ture: dhaabbii humna cimaa (hard power-off) journald buufata (buffer) isaa barreessuuf yeroo hin kennu. Adoolessa (July) keessatti, dhaabbii walfakkaataa booda, sa'aatiin guyyaa darbe deebitee mul'atte. Eegduun (watchdog) meeshaa, mashiina dhaame deebisuuf hojjetu, waan hin hojjenneef mashiinni dhaamee hin turre: humni (power) badee ture.
Ibsa dogoggoraa ture
Sararawwan kernel dhuma irratti argaman duratti du'uu tokkoon tokkoon isaa dogoggora yaadannoo GPU (NV_ERR_NO_MEMORY) ture, kanaaf yaadannoon (memory) komatamaa ture. Akka ta'e hin turre. Sararawni sunni kanneen kernel baay'ee barreessu ture: 440,580 keessaa tokko boot tokko keessatti kan guyyaa 19 hojjetee booda dhaame. Sararri yeroo baay'ee yoo mul'atu, sarara dhuma irratti argamu ta'a. Sarara galmii (log) komachuu dura, yeroo homaa hin dogoggorre yeroo baay'ee akka mul'atu lakkaa'i.
Ibsa sirrii ture
Sababni galmni (journal) daqiiqaa dhuma isaa dhabuuf, yeroo humni bade, saampileera xiqqaa kan ho'ina, ba'aa (load) fi yaadannoo (memory) daqiiqaa tokkoon tokkoon isaa fayilii keessatti barreessu fi gara diskitti (disk) deebisu (flush) nu dabalamee ture. Du'uu shanuu Adoolessa (July) booda argate. Tokkoon tokkoon isaa ba'aa GPU guutuu (96%) irratti, CPU 85 hanga 97 °C irratti argame.
Yeroon (timing) kan hafe ibse. Jalqaba Sadaasa (September) naannoo, hojii hojii viidiyoo (video rendering) gara mashiina kanaatti nu geessise. Humni GPU isaa ba'aa guutuu irratti W 24 hanga W 46tti, ho'ina GPU giddu-galeessa (median) °C 68 hanga °C 86tti, fi daqiiqaa torban keessatti CPU °C 95 yookaan ol irratti argamu tokko hanga 4,283tti dabale. Mashiinonni keenya lamaan GB10 kanneen biroo, kanneen moodela afaanii (language model) ba'aa 96% walfakkaatu irratti hojjetan, °C 65 hanga °C 81tti turan. Kunniin qofa qorra (cooling) gadhee qabu.
Furamaa jalqabaa: daangaa sa'aatii GPU (GPU clock cap)
GB10 irratti, nvidia-smi daangaa humna (power limit) hin qabsiisu, garuu sa'aatii GPU (GPU clock) daangessuu danda'a: nvidia-smi -lgc 0,2000. Adoolessa (July) keessatti, kun naannoo ho'aa 91 °C hanga °C 77 hanga °C 83tti sekoondii keessatti buuse. Qajeelfama lamaan murteessaa dha:
- Sagantaa hojii cimaa (heavy services) jalqabuu dura itti hojiirra oolchi. Tajaajilli (service) daangaa keenya jalqaba boot booda sekoondii 15 naannoo hojjetee ture, yeroo tajaajilli moodela (model server) humna guutuu irratti fe'uu (loading) jalqabe, kunis yeroo mashiina dhaamsu ture. Amma Docker jalqabuu dura hojjeta.
- Jabaachaa jiruutti qoradhu. Daangaan yoo baname, sa'aatiin GPU gabaafame yeroo GPU ofuma hojjechuu dhaabe irratti hanga 2,400 MHzitti agarsiisa. Jabaachaa jiruutti 1,976 MHztti dhaabbata.
Furamaa lammaffaa: eegduu ho'aa kutaalee keessatti
Daangaan kun hojii hojjechuu (rendering) erga jalqabee booda gahaa hin turre; kanaafuu, amma itti gaafatamaan sensara hunda sekonda tokkotti yeroo tokko dubbisa, hojii isaa immoo sadarkaan sadarkaan hojjeta: sa'aatii GPU 89 °C irraa gad buusa, 92 °C irraa immoo irra deebi'ee gad buusa; 94 °C irraa jalqabee renderer (SIGSTOP) dhaabbata, CPU immoo suuta ta'a; 96 °C irraa jalqabee hojii GPU hundi qorraan gadi bu'uuf yeroo isaa fudhatutti dhaabbatu. Mootoraan yeroo muraasaaf qorraan gadi bu'ee booda qofa sadarkaa isaa ol deebisa. 97 °Ctti sekonda 20f, hidhaa dhuma irratti argamu tajaajila viidiyoo guutummaatti dhaaba.
Yeroo jalqabaa daqiiqaa 9 hojii rendering jalatti, naannoo baay'ee ho'aa qilleensa 94 °C gahee isaa gahe, giddu-galeessaan 89 °C ture, duraan garuu 97 °C gahee isaa gahee ture. Kanatti darbuu jira: guyyaa tokko giddu-galeessa Fulbaanaatti rendereriin yeroo 17% dhaabbate, GPU'n guyyaa guutuu keessa caalaa 900 MHz yookiin gadiitti hojjeche. Kunis qorannoo miti: meeqaanni yeroo tokko deebisee of dhaabe, Onkololeessa 11tti, qilleensa 97 hanga 98 °Ctti. Ergasii booda yeroo hunda malee hojjeche, guyyaa 20 yeroo kana barreessinu.
Dogoggora afur kan karaa irratti hojjanne
- Hojii tokko dhaabuun meeshaa qabbaneessuu hin dandeenye. Harkifni (brake) renderer dhaabamee jiruun walitti dhufe, sababni isaas moodeeli suuraa ammallee hojjechaa ture, sa'aatiwwan kudha lama immoo daqiiqaa tokkotti jalqaban. Tarkaanfiin ol'aanaa amma hojii GPU ulfaataa hunda dhaaba, renderer qofa miti.
- Eegduun hojiiwwan maqaan isaanii dhaabsista, maqaawwanis jijjiiraman. Yeroo lamaan injiniin haaraan dhaabbii kana caaluu danda'a ture: moodeelii suuraa yeroo Fulbaanaatti maqaa piroosesii haaraa qabu, fi yeroo Onkoloolessaatti renderiin konteeynerii keessatti hojjetu malee daa'imman tajaajila renderii ta'ee hin hojjenne. Jijjiirama injinii hundi amma ilaalcha galmee eegduu keessatti dabalata.
- Harkifni harkisaa hin kaafamne. Tajaajila viidiyoo dhaabe, faayilii harkisaa immoo kaa'e waan hin jalqabsiifneef. Namni tokkollee hin beeksisne, bu'aa hojii immoo guyyaa sadii dura hin argamne. Harkisni amma ofumaan ka'a: daqiiqaa shan booda harkisa dhumaatiin, harkisa haaraan yoo hin jiraanne, yoo xiqqaate GB 30 yaadannoo bilisa ta'e, fi giddugaleessa daqiiqaa kudhaan 93 °C yookiin gadi ta'e. Maashiin qabbanaa'uu eeguu hojii hin turre: giddugaleessa 88 °C ture hojii viidiyoo waliin fi malee.
- Beellamni yeroo ho’i meeshaa kanaa idilee ta’etti dhaga’ame. Daangaan ibsaa 88 °C ture, kunis ho’i meeshaa kanaa giddu-galeessa ture. Guyyaa tokko keessatti, 32% yeroo isaa 90 °C yookiin olitti, 8% 93 °C yookiin olitti, fi 3% 95 °C yookiin olitti dabarsee jiraate, 97 °C hin geenye. Beellama gara 97 °Citti geessine, kunis sadarkaa ho’i isaa itti dhaabbatu (plateau) fi meeshaan itti du’e, erga beellama e-mailii dhaabbate.
Qoodama (Takeaway)
Sagantaan meeshaa kana lubbuu isaa eegale, garuu sababni isaa qaamaa ture: qorraansaa kan obboloota isaa irraa dachaa lama hanga sadii hammaataa ture. Meeshaan GB10 ho’i cimaa jala ofumaan yoo dhaame, jalqaba qilleensa seenu qori. Erga sa’aatii GPU (GPU clock) dura sagantaa kee jalqabsiisuuf daangessi, hojii ulfaataa meeshaan daangaa isaa ga’uu dura dhaabi, fi beellama ho’i meeshaan itti hojjetu irraa qindeessi.
Factory Floor keessatti itti gaafatamaa ho’ii akkanaa jira: sensorii GPU fi thermal-zone kanneen ho’aa guddaa qaban dubbisa, hojii ulfaataa kanneen ati filatte ho’i daangaa tokkotti (92 °C akka filannoo) ga’een dhaaba, ho’i gadi bu’ee (84 °C) qofa deebisee jalqabsiisa, waliin itti gaafatamtoota yaadannoo (memory) fi diskii waliin.