የ GB10 ማሽናችን ራሱን ማጥፋት ቀጠለ። ሎጉ የማህደረ ትውስታን (memory) ተጠያቂ አደረገው፤ ችግሩ ግን ሙቀት ነበር

ኦፕስ2026-10-31

ከሦስቱ NVIDIA GB10 ማሽኖቻችን አንዱ በሴፕቴምበር በአራት ቀናት ውስጥ ሦስት ጊዜ ጠፋ፡ በሴፕቴምበር 10፣ በሴፕቴምበር 12 (ለ17 ሰዓታት ጠፍቶ ቆየ) እና በሴፕቴምበር 13፣ እንደገና ከተበራ በኋላ በአሥራ ሁለት ደቂቃዎች። በእያንዳንዱ ጊዜ የኃይል ቁልፉን (power button) እንዲጫኑ ሰው ያስፈልግ ነበር።

የሙቀት መቆሚያ (heat shutdown) እንዴት እንደሚታይ

የስርዓት ጁርናሉ (system journal) በእንቅስቃሴ መካከል ያለ ምንም የመቆሚያ መረጃ ቆሟል፤ ጠንካራ የኃይል መቆሚያ (hard power-off) ለ journald የባፈሩን (buffer) መረጃ ለመጻፍ ጊዜ አይሰጠውም። በጁላይ በተመሳሳይ መቆሚያ በኋላ፣ ሰዓቱ እንኳን የድሮ ቀን ሆኖ ተመልሷል። እና የሃርድዌር የክትትል ስርዓት (hardware watchdog) የተቆለፈ ማሽን እንደገና እንዲነሳ የሚያደርገው ምንም አልሠራም፣ ምክንያቱም ማሽኑ አልተቆለፈም፡ ኃይሉ ጠፍቷል።

የተሳሳተው ምልክት

ከእያንዳንዱ መቆሚያ በፊት የነበሩት የመጨረሻዎቹ የካነል (kernel) መስመሮች የ GPU የማህደረ ትውስታ ችግሮች (NV_ERR_NO_MEMORY) ነበሩ፣ ስለዚህ ማህደረ ትውስታ ተጠያቂ ሆኖ ታይቷል። እንዲህ አይደለም። እነዚያ መስመሮች ካነሉ የጻፋቸው በጣም የተለመዱ ነገሮች ናቸው፡ ከ19 ቀናት በፊት በተጀመረ እና በተጨረሰ አንድ የማስነሻ (boot) ውስጥ 440,580 ጊዜ ተጽፈዋል። አንድ መስመር በዚህ ያህል ብዙ ጊዜ ሲታይ፣ ከማንኛውም ነገር በፊት የመጨረሻው መስመር ይሆናል። ከአንድ የሎግ መስመር ላይ ከመጠየቅዎ በፊት፣ ምንም ችግር ሳይከሰት ስንት ጊዜ እንደሚታይ ይቆጥሩ።

ትክክለኛው ምልክት

በኃይል መቆሚያ ጁርናሉ የመጨረሻዎቹን ደቂቃዎች ስለሚያጣ፣ የሙቀት መጠን፣ ጫና (load) እና ማህደረ ትውስታ በየደቂቃው ወደ ፋይል ጽፎ ወደ ዲስክ የሚያስቀምጥ ትንሽ ሳምፕለር (sampler) ጨምረን ነበር። ከጁላይ ጀምሮ የነበሩትን አምስቱንም መቆሚያዎች አግኝቷል። እያንዳንዱ የመጣው በሙሉ የ GPU ጫና (96%) ላይ ሲሆን፣ CPU ደግሞ በ85 እስከ 97 °C ላይ ነበር።

የጊዜው አወዛጋብ ቀሪዎቹን ሁኔታዎች አብራራል። በሴፕቴምበር መጀመሪያ አካባቢ የቪዲዮ ማቅረብ (video rendering) ወደዚህ ማሽን ዛዝመን ነበር። በሙሉ ጫና ላይ ያለው የ GPU ኃይል ከ24 W ወደ 46 W፣ የመካከለኛው የ GPU ሙቀት ከ68 ወደ 86 °C፣ እና CPU በ95 °C ወይም ከዚያ በላይ ለሚሆንበት በሳምንት ደቂቃዎች ከምንም ወደ 4,283 ጨምረዋል። ሌሎቹ ሁለቱ GB10 ማሽኖቻችን የቋንቋ ሞዴሉን በተመሳሳይ 96% ጫና ላይ የሚያሄዱት፣ በ65 እስከ 81 °C ላይ ቆይተዋል። ይህ ግን በቂ ማቀዝቀዝ አልነበረበትም።

የመጀመሪያው ጥገና፡ የ GPU ሰዓት ገደብ

በ GB10 ላይ፣ nvidia-smi የኃይል ገደብ ማስቀመጥ አይችልም፣ ነገር ግን የ GPU ሰዓት (clock) ሊገድብ ይችላል፡ nvidia-smi -lgc 0,2000። በጁላይ ይህ በሰከንዶች ውስጥ ከፍተኛውን የሙቀት ክልል ከ91 °C ወደ 77 እስከ 83 °C አሳርፎታል። ሁለት ዝርዝሮች አስፈላጊ ናቸው፡

• ከከባድ አገልግሎቶች መጀመር በፊት ይተግብሩት። የገደብ አገልግሎታችን በመጀመሪያ ከማስነሻ በኋላ በ15 ሰከንዶች ገደማ ሲሠራ ነበር፣ በዚያን ጊዜ የሞዴል ሰርቨሩ በሙሉ ኃይል መጫን ጀምሮ ነበር፣ ይህም ማሽኑን ያጠፋው ቅጽበት ነው። አሁን ግን Docker ከመጀመሩ በፊት ይሠራል።
• በጫና ስር ይፈትሹት። ገደቡ ሲከፈት፣ ጂፒዩ (GPU) ሲያርፍ የተዘገበው የጂፒዩ ሰዓት አሁንም በግምት 2,400 MHz ያነባል። በጫና ስር ግን በ1,976 MHz ላይ ይቆያል።

ሁለተኛው ጥገና፡ በደረጃ የሚሄድ የሙቀት መከላከያ

ገደቡ ራስ በራሱ በቂ አልነበረም፣ ስለዚህ አሁን የሙቀት መከላከያው በየሰከንዱ ሁሉንም ሴንሰሮች ያነባል እና በደረጃ ይሠራል፡ ከ89 °C ጀምሮ የጂፒዩ ሰዓት ይቀንሳል፣ ከ92 °C ጀምሮ እንደገና ይቀንሳል፤ ከ94 °C ጀምሮ ራንደሩ (renderer) ይቆማል (SIGSTOP) እና ሲፒዩ (CPU) ይዘገያል፤ ከ96 °C ጀምሮ ሁሉም የጂፒዩ ሥራዎች ለሚቀዘቅዙበት ሰከንዶች ይቆማሉ። ማሽኑ ለተወሰነ ጊዜ ቀዝቃዛ ሆኖ ከቆየ በኋላ ብቻ ወደ ኋላ ይመለሳል። በ97 °C ለ20 ሰከንዶች፣ የመጨረሻው የማቆሚያ መንገድ የቪዲዮ አገልግሎቱን ሙሉ በሙሉ ያቆማል።

በመጀመሪያዎቹ ዘጠኝ ደቂቃዎች በራንደሪንግ ሥራ ላይ ሳለ፣ ሙቀቱ ከፍተኛው ወደ 94 °C ደርሶ መካከለኛው 89 °C ነበር፣ ከዚህ በፊት ግን በ97 °C ላይ ይቆይ ነበር። ዋጋ አለው፡ በመካከለኛው ሴፕቴምበር በአንድ ቀን ራንደሩ ለ17% ጊዜ ቆሟል፣ ጂፒዩውም ለቀኑ አብዛኛው ጊዜ በ900 MHz ወይም ከዚያ በታች ሠርቷል። እንዲሁም ሙሉ መፍትሄ አይደለም፡ ማሽኑ በጥቅምት 11 ቀን በ97 እስከ 98 °C ላይ ራሱን አጥፍቷል። ከዚያን ጊዜ ጀምሮ ያለ ማቆም ሠርቷል፣ ይህን ስንጽፍበት ጊዜ 20 ቀናት ሆነዋል።

በመንገድ ላይ የሠራናቸው አራት ስህተቶች

• አንድን ሥራ ማቆም ማሽኑን አቀዘቅዞትም። ራንደሩ ቀድሞ ቆሞ ሳለ ማቆሚያው ተነሳ፣ ምክንያቱም የምስል ሞዴል አሁንም እየሳለ ስለነበር እና በአንድ ደቂቃ ውስጥ አስር ጊዜ ሰሌዳዎች (timers) ስለጀመሩ። ከፍተኛው ደረጃ አሁን ሁሉንም ከባድ የጂፒዩ ሥራዎች ያቆማል፣ ራንደሩን ብቻ አይደለም።
• የሙቀት መከላከያው ሥራዎችን በስማቸው ያቆማል፣ ስሞቹም ተቀይረዋል። ሁለት ጊዜ አዲስ ሞተር ከማቆሙ ሊድን ነበር፡ በሴፕቴምበር አዲስ የሂደት ስም ያለው የምስል ሞዴል፣ እና በጥቅምት ራንደሩ እንደ የራንደር አገልግሎት ልጅ ሳይሆን በኮንቴይነር (container) ውስጥ የሚሠራ ሆኖ ተገኝቷል። አሁን እያንዳንዱ የሞተር ለውጥ የሙቀት መከላከያውን ዝርዝር መመርመርን ያካትታል።
• የማቆሚያው መያዣ (hold) ፈጽሞ አልተለቀቀም። የቪዲዮ አገልግሎቱን አቆመ እና ማንም እንዳይጀምረው የመያዣ ፋይል ተተው። ማንም ማንም ሰው አላስጠነቀቀም፣ እኛ ከተገነዘብን በፊት ምርቱ ለሦስት ቀናት ቆሟል። መያዣው አሁን ራሱን ይለቃል፡ ከመጨረሻው ማቆሚያ በኋላ በአምስት ደቂቃዎች፣ አዲስ ማቆሚያ ከሌለ፣ ቢያንስ 30 GB ማህደረ ትውስታ (memory) ነፃ ሆኖ እና የአስር ደቂቃ አማካይ ሙቀት 93 °C ወይም ከዚያ በታች ሲሆን። ማሽኑ እንዲቀዘቅዝ መጠበቅ ፈጽሞ አይሰራም ነበር፡ በራንደሪንግ ሥራ ላይ ሳለም ሆነ ሳይሆን አማካዩ 88 °C ነበር።
• ማንቂያው የማሽኑ መደበኛ የሙቀት መጠን ላይ ደረሰ። የማንቂያው ደረጃ 88 °C ነበር፣ ይህም የዚህ ማሽን አማካይ የሙቀት መጠን ነበር። በአንድ ቀን ውስጥ፣ 32% ጊዜውን በ90 °C ወይም ከዚያ በላይ፣ 8% በ93 °C ወይም ከዚያ በላይ እና 3% በ95 °C ወይም ከዚያ በላይ አሳለፈ፣ ነገር ግን ለ97 °C አልደረሰም። ማንቂያውን ወደ 97 °C አዛወርነው፣ ይህም ማሽኑ በእውነት ያቆመበት የሙቀት መጠን ነው፣ እና የማንቂያ ኢሜይሎች ቆሙ።

ዋናው ማስተዋል

ሶፍትዌሩ ይህን ማሽን ሕያው አድርጎት ቢያስቆየውም፣ ምክንያቱ ፊዚካዊ ነበር፡ የማቀዝቀዣው ሥርዓት ከሌሎች ወንድሞቹ ማሽኖች ጋር ሲነጻጸር ከሁለት እስከ ሶስት እጥፍ ደካማ ነበር። አንድ GB10 ማሽን በብዛት ሥራ ሲሰራ ራሱን ካጠፋ፣ መጀመሪያ የአየር ፍሰቱን ይፈትሹ። ከዚያም አገልግሎቶችዎ ከመጀመራቸው በፊት የGPU ሰዓትን ይገድቡ፣ ማሽኑ ወሰኑ ከመድረሱ በፊት ከባድ ሥራዎችን ያቁሙ፣ እና ማሽኑ በእውነት የሚሰራባቸውን የሙቀት መጠኖች መሠረት በማድረግ ማንቂያዎችን ያስቀምጡ።

Factory Floor እንደዚህ ዓይነት የሙቀት የደህንነት ገደብ ያካትታል፡ ከፍተኛውን የGPU እና የሙቀት-ዞን ሴንሰሮችን ያነባል፣ በተወሰነ የሙቀት መጠን (በነባሪ 92 °C) የገለጹትን ከባድ ሥራዎች ያቁማል፣ እና እነሱን ወደ ታችኛው የሙቀት መጠን (84 °C) ከወረዱ በኋላ ብቻ ያስጀምራል፣ ከጎኑም የማህደረ ትውስታ እና የዲስክ የደህንነት ገደቦች አሉት።