ម៉ាស៊ីន GB10 របស់យើងបានបិទខ្លួនឯងជាបន្តបន្ទាប់។ កំណត់ហេតុបានចោទប្រកាន់ថាបញ្ហាស្ថិតនៅលើអនុស្សាវរីយ៍ ប៉ុន្តែវាគឺជាកម្ដៅ។

ប្រតិបត្តិការ2026-10-31

ម៉ាស៊ីន NVIDIA GB10 មួយក្នុងចំណោមបីរបស់យើងបានរលត់អស់បីដងក្នុងរយៈពេលបួនថ្ងៃនៅខែកញ្ញា៖ នៅថ្ងៃទី 10 ខែកញ្ញា នៅថ្ងៃទី 12 ខែកញ្ញា (វាបានបិទអស់រយៈពេល 17 ម៉ោង) និងនៅថ្ងៃទី 13 ខែកញ្ញា ដប់ពីរនាទីបន្ទាប់ពីវាត្រូវបានបើកឡើងវិញ។ រាល់ពេលវាត្រូវការមនុស្សម្នាក់ដើម្បីចុចប៊ូតុងបើកម៉ាស៊ីន។

ការបិទដោយសារកម្ដៅមានលក្ខណៈដូចម្ដេច

កំណត់ហេតុប្រព័ន្ធបានឈប់ភ្លាមៗនៅកណ្ដាលសកម្មភាព ដោយគ្មានការបិទប្រព័ន្ធក្នុងនោះទេ៖ ការបិទថាមពលភ្លាមៗមិនផ្ដល់ពេលវេលាគ្រប់គ្រាន់ដល់ journald ដើម្បីសរសេរបាហ្វែររបស់វាទេ។ នៅខែកក្កដា បន្ទាប់ពីការបិទដូចគ្នា ម៉ោងនៅលើម៉ាស៊ីនបានត្រឡប់មកវិញជាមួយកាលបរិច្ឆេទចាស់។ ហើយម៉ាស៊ីនត្រួតពិនិត្យ (watchdog) ផ្នែករឹង ដែលធ្វើការចាប់ផ្ដើមឡើងវិញនូវម៉ាស៊ីនដែលជាប់ មិនបានធ្វើអ្វីទាំងអស់ ព្រោះម៉ាស៊ីនមិនបានជាប់ទេ៖ ថាមពលបានអស់។

សញ្ញាណាមួយដែលខុស

បន្ទាត់ចុងក្រោយរបស់ kernel មុនពេលម៉ាស៊ីននីមួយៗឈប់ដំណើរការ គឺជាកំហុសអនុស្សាវរីយ៍ GPU (NV_ERR_NO_MEMORY) ដូច្នេះអនុស្សាវរីយ៍ហាក់ដូចជាមានកំហុស។ វាមិនមែនជាបញ្ហាទេ។ បន្ទាត់ទាំងនោះគ្រាន់តែជាអ្វីដែល kernel សរសេរញឹកញាប់បំផុត៖ 440,580 បន្ទាត់ក្នុងការចាប់ផ្ដើមម្ដងដែលបានដំណើរការអស់រយៈពេល 19 ថ្ងៃមុនពេលវាឈប់។ នៅពេលដែលបន្ទាត់មួយលេចឡើងញឹកញាប់បែបនេះ វានឹងក្លាយជាបន្ទាត់ចុងក្រោយមុនពេលមានអ្វីមួយកើតឡើង។ មុននឹងចោទប្រកាន់បន្ទាត់កំណត់ហេតុមួយ សូមរាប់មើលថាតើវាលេចឡើងញឹកញាប់ប៉ុន្មាននៅពេលដែលគ្មានអ្វីខុសកើតឡើង។

សញ្ញាណាមួយដែលត្រឹមត្រូវ

ដោយសារកំណត់ហេតុបាត់បង់នាទីចុងក្រោយរបស់វានៅពេលបិទថាមពល យើងបានបន្ថែមកម្មវិធីសាកល្បងតូចមួយដែលសរសេរសីតុណ្ហភាព បន្ទុក និងអនុស្សាវរីយ៍ទៅក្នុងឯកសាររៀងរាល់មួយនាទី ហើយរក្សាទុកវាទៅក្នុងថាស។ វាបានចាប់យកការឈប់ដំណើរការទាំងប្រាំដងតាំងពីខែកក្កដាមក។ រាល់ការឈប់មួយបានកើតឡើងនៅពេលបន្ទុក GPU ពេញលេញ (96%) ដោយ CPU នៅ 85 ទៅ 97 °C។

ពេលវេលាបានពន្យល់ពីអ្វីដែលនៅសល់។ ប្រហែលជាចុងខែកញ្ញា យើងបានផ្លាស់ប្ដូរការបង្កើតវីដេអូមកលើម៉ាស៊ីននេះ។ ថាមពល GPU របស់វាក្រោមបន្ទុកពេញលេញបានកើនឡើងពីប្រហែល 24 W ទៅ 46 W សីតុណ្ហភាព GPU មធ្យមបានកើនឡើងពី 68 ទៅ 86 °C និងនាទីក្នុងមួយសប្ដាហ៍ដែល CPU នៅ 95 °C ឬខ្ពស់ជាងនេះបានកើនឡើងពីគ្មានទៅ 4,283។ ម៉ាស៊ីន GB10 ទាំងពីរទៀតរបស់យើង ដែលដំណើរការគំរូភាសានៅបន្ទុក 96% ដូចគ្នា នៅតែស្ថិតនៅ 65 ទៅ 81 °C។ ម៉ាស៊ីននេះគ្រាន់តែត្រជាក់មិនសូវបានល្អ។

ការជួសជុលដំបូង៖ ការកំណត់កម្រិតនាឡិកា GPU

នៅលើ GB10 nvidia-smi មិនអាចកំណត់ដែនកំណត់ថាមពលបានទេ ប៉ុន្តែវាអាចកំណត់កម្រិតនាឡិកា GPU បាន៖ nvidia-smi -lgc 0,2000។ នៅខែកក្កដា វាបានបន្ថយតំបន់ក្ដៅបំផុតពី 91 °C ទៅ 77 ទៅ 83 °C ក្នុងរយៈពេលប៉ុន្មានវិនាទី។ ព័ត៌មានលម្អិតពីរមានសារៈសំខាន់៖

• អនុវត្តវាមុនពេលសេវាកម្មធ្ងន់ៗចាប់ផ្ដើម។ សេវាកម្មកំណត់កម្រិតរបស់យើងដំបូងបានដំណើរការប្រហែល 15 វិនាទីបន្ទាប់ពីចាប់ផ្ដើមម៉ាស៊ីន ពេលដែលម៉ាស៊ីនបម្រើគំរូបានចាប់ផ្ដើមផ្ទុកនៅថាមពលពេញលេញរួចទៅហើយ ដែលជាពេលវេលាដែលធ្វើឱ្យម៉ាស៊ីនបានរលំ។ ឥឡូវនេះវាដំណើរការមុនពេល Docker ចាប់ផ្ដើម។
• ពិនិត្យមើលវាពេលមានបន្ទុកធ្ងន់។ ពេលបិទកំណត់កម្រិត ម៉ាស៊ីននៅតែរាយការណ៍ថា GPU clock ប្រហែល 2,400 MHz ពេល GPU មិនដំណើរការ។ ពេលមានបន្ទុកធ្ងន់ វានៅតែរក្សាបាន 1,976 MHz។

ការដោះស្រាយទីពីរ៖ ប្រព័ន្ធការពារកម្ដៅជាជំហានៗ

ការកំណត់កម្រិតមិនគ្រប់គ្រាន់ទេ ពេលការបង្កើតរូបភាពចូលមក ដូច្នេះឥឡូវនេះប្រព័ន្ធការពារមួយអានឧបករណ៍ចាប់សញ្ញាទាំងអស់រៀងរាល់ 1 វិនាទី ហើយធ្វើសកម្មភាពជាជំហានៗ៖ បន្ថយ GPU clock ចាប់ពី 89 °C ហើយបន្ថយម្ដងទៀតចាប់ពី 92 °C; ចាប់ពី 94 °C កម្មវិធីបង្កើតរូបភាពត្រូវបានផ្អាក (SIGSTOP) ហើយ CPU ត្រូវបានបន្ថយល្បឿន; ចាប់ពី 96 °C កិច្ចការ GPU ទាំងអស់ត្រូវបានផ្អាកអស់រយៈពេលប៉ុន្មានវិនាទីដែលត្រូវការដើម្បីឱ្យត្រជាក់។ វាត្រឡប់មកវិញជាជំហានៗ លុះត្រាតែម៉ាស៊ីនបាននៅត្រជាក់អស់រយៈពេលមួយរយៈ។ នៅ 97 °C រយៈពេល 20 វិនាទី ហ្វ្រាំងបន្ទាន់ចុងក្រោយបិទសេវាកម្មវីដេអូទាំងស្រុង។

ក្នុងរយៈពេល 9 នាទីដំបូងរបស់វាពេលបង្កើតរូបភាព តំបន់ក្ដៅបំផុតឡើងដល់កំពូល 94 °C ជាមួយតម្លៃមធ្យម 89 °C បើធៀបនឹងកម្រិត 97 °C ពីមុន។ វាមានតម្លៃត្រូវបង់៖ នៅថ្ងៃមួយក្នុងចំណោមថ្ងៃកណ្ដាលខែកញ្ញា កម្មវិធីបង្កើតរូបភាពត្រូវបានផ្អាកអស់ 17% នៃពេលវេលា ហើយ GPU ដំណើរការនៅ 900 MHz ឬតិចជាងនេះសម្រាប់ពេលភាគច្រើននៃថ្ងៃ។ ហើយវាមិនមែនជាការព្យាបាលទេ៖ ម៉ាស៊ីនបានបិទខ្លួនឯងម្ដងទៀត នៅថ្ងៃទី 11 ខែតុលា នៅ 97 ទៅ 98 °C។ វាបានដំណើរការដោយគ្មានផ្អាកតាំងពីពេលនោះមក 20 ថ្ងៃ ពេលយើងសរសេរអត្ថបទនេះ។

កំហុស 4 យើងបានធ្វើតាមផ្លូវ

• ការផ្អាកកិច្ចការមួយមិនបានធ្វើឱ្យម៉ាស៊ីនត្រជាក់ទេ។ ហ្វ្រាំងបានដំណើរការពេលកម្មវិធីបង្កើតរូបភាពត្រូវបានផ្អាករួចទៅហើយ ព្រោះគំរូរូបភាពមួយនៅតែបន្តគូរ ហើយម៉ោងកំណត់ជាច្រើនបានចាប់ផ្ដើមក្នុងនាទីតែមួយ។ ជំហានខ្ពស់បំផុតឥឡូវនេះផ្អាកកិច្ចការ GPU ធ្ងន់ៗទាំងអស់ មិនមែនគ្រាន់តែកម្មវិធីបង្កើតរូបភាពទេ។
• ប្រព័ន្ធការពារផ្អាកកិច្ចការតាមឈ្មោះ ហើយឈ្មោះបានផ្លាស់ប្ដូរ។ ពីរដង គ្រឿងចក្រថ្មីមួយនឹងបានរួចផុតពីការផ្អាក៖ គំរូរូបភាពមួយមានឈ្មោះដំណើរការថ្មីនៅខែកញ្ញា ហើយនៅខែតុលា កម្មវិធីបង្កើតរូបភាពមួយដំណើរការក្នុង container ជំនួសឱ្យការដំណើរការជាប្រព័ន្ធរងរបស់សេវាកម្មបង្កើតរូបភាព។ ការផ្លាស់ប្ដូរគ្រឿងចក្រនីមួយៗឥឡូវនេះរួមបញ្ចូលការពិនិត្យមើលបញ្ជីរបស់ប្រព័ន្ធការពារ។
• ការកាន់កាប់របស់ហ្វ្រាំងមិនដែលបានដោះលែងទេ។ វាបានបិទសេវាកម្មវីដេអូ ហើយបានទុកឯកសារកាន់កាប់មួយដើម្បីកុំឱ្យអ្វីៗចាប់ផ្ដើមឡើងវិញ។ គ្មានអ្វីបានជូនដំណឹងដល់នរណាម្នាក់ដែរ ហើយការបញ្ចេញលទ្ធផលបានឈប់អស់រយៈពេល 3 ថ្ងៃ មុនពេលយើងបានចាប់អារម្មណ៍។ ការកាន់កាប់ឥឡូវនេះដោះលែងខ្លួនឯង៖ 5 នាទីបន្ទាប់ពីហ្វ្រាំងចុងក្រោយ ដោយគ្មានហ្វ្រាំងថ្មី យ៉ាងហោចណាស់មានអនុស្សាវរីយ៍ 30 GB ទំនេរ និងមធ្យមភាគ 10 នាទី 93 °C ឬតិចជាងនេះ។ ការរង់ចាំឱ្យម៉ាស៊ីនត្រជាក់មិនដែលនឹងដំណើរការទេ៖ វាមានមធ្យមភាគ 88 °C ទាំងពេលមាន និងគ្មានការបង្កើតរូបភាព។
• សញ្ញាជូនដំណឹងបានលេចឡើងនៅសីតុណ្ហភាពធម្មតារបស់ម៉ាស៊ីន។ កម្រិតជូនដំណឹងគឺ 88 °C ដែលជាសីតុណ្ហភាពមធ្យមរបស់ម៉ាស៊ីននេះ។ ក្នុងរយៈពេលមួយថ្ងៃ វាបានចំណាយពេល 32% នៅសីតុណ្ហភាព 90 °C ឬខ្ពស់ជាងនេះ 8% នៅ 93 °C ឬខ្ពស់ជាងនេះ និង 3% នៅ 95 °C ឬខ្ពស់ជាងនេះ ហើយមិនដែលឈានដល់ 97 °C ទេ។ យើងបានផ្លាស់ប្តូរសញ្ញាជូនដំណឹងទៅ 97 °C ដែលជាចំណុចកំពូលដែលវាពិតជាបានស្លាប់ ហើយអ៊ីមែលជូនដំណឹងក៏បានឈប់។

ចំណុចសំខាន់

កម្មវិធីបានរក្សាម៉ាស៊ីននេះឱ្យដំណើរការ ប៉ុន្តែមូលហេតុគឺជារឿងរូបវន្ត៖ ប្រព័ន្ធស្អំរបស់វាអាក្រក់ជាងម៉ាស៊ីនដូចគ្នាពីរទៅបីដង។ ប្រសិនបើម៉ាស៊ីន GB10 បិទខ្លួនឯងនៅពេលមានបន្ទុក សូមពិនិត្យមើលការហូរចេញនៃខ្យល់ជាមុនសិន។ បន្ទាប់មក កំណត់កម្រិតម៉ោង GPU មុនពេលសេវាកម្មរបស់អ្នកចាប់ផ្តើម ផ្អាកការងារធ្ងន់ៗមុនពេលម៉ាស៊ីនឈានដល់កម្រិតកំណត់របស់វា និងកំណត់សញ្ញាជូនដំណឹងពីសីតុណ្ហភាពដែលវាពិតជាដំណើរការ។

Factory Floor រួមបញ្ចូលប្រព័ន្ធការពារកម្ដៅប្រភេទនេះ៖ វាអានសីតុណ្ហភាពខ្ពស់បំផុតពីឧបករណ៍ចាប់សញ្ញា GPU និងតំបន់កម្ដៅ ផ្អាកការងារធ្ងន់ៗដែលអ្នកបានកំណត់ឈ្មោះនៅសីតុណ្ហភាពកំណត់ (92 °C តាមលំនាំដើម) និងបន្តវាឡើងវិញតែនៅពេលសីតុណ្ហភាពទាបជាងនេះ (84 °C) ដោយមានប្រព័ន្ធការពារអនុស្សាវរីយ៍ និងថាសនៅក្បែរវា។