ನಮ್ಮ GB10 ಯಂತ್ರವು ತಾನೇ ತಾನಾಗಿ ಆಫ್ ಆಗುತ್ತಿತ್ತು. ಲಾಗ್‌ನಲ್ಲಿ ಮೆಮೊರಿ ದೋಷ ಎಂದು ತೋರಿಸಿತ್ತು; ಆದರೆ ನಿಜವಾದ ಕಾರಣ ಶಾಖವಾಗಿತ್ತು

ಆಪ್ಸ್2026-10-31

ನಮ್ಮ ಮೂರು NVIDIA GB10 ಯಂತ್ರಗಳಲ್ಲಿ ಒಂದು ಸೆಪ್ಟೆಂಬರ್‌ನಲ್ಲಿ ನಾಲ್ಕು ದಿನಗಳಲ್ಲಿ ಮೂರು ಬಾರಿ ಆಫ್ ಆಯಿತು: 10 ಸೆಪ್ಟೆಂಬರ್‌ನಲ್ಲಿ, 12 ಸೆಪ್ಟೆಂಬರ್‌ನಲ್ಲಿ (ಅದು 17 ಗಂಟೆಗಳ ಕಾಲ ಆಫ್ ಆಗಿತ್ತು) ಮತ್ತು 13 ಸೆಪ್ಟೆಂಬರ್‌ನಲ್ಲಿ, ಅದನ್ನು ಆನ್ ಮಾಡಿದ 12 ನಿಮಿಷಗಳ ನಂತರ. ಪ್ರತಿ ಬಾರಿಯೂ ಪವರ್ ಬಟನ್ ಒತ್ತಲು ಒಬ್ಬ ವ್ಯಕ್ತಿ ಬೇಕಾಗಿತ್ತು.

ಶಾಖದ ಕಾರಣದಿಂದ ಆಗುವ ಶಟ್‌ಡೌನ್ ಹೇಗಿರುತ್ತದೆ

ಸಿಸ್ಟಮ್ ಜರ್ನಲ್ ಚಟುವಟಿಕೆಯ ಮಧ್ಯೆಯೇ ನಿಂತುಹೋಯಿತು, ಅದರಲ್ಲಿ ಶಟ್‌ಡೌನ್ ದಾಖಲಾಗಿರಲಿಲ್ಲ: ಹಾರ್ಡ್ ಪವರ್-ಆಫ್ ಆದಾಗ journald ತನ್ನ ಬಫರ್ ಅನ್ನು ಬರೆಯಲು ಸಮಯ ಸಿಗುವುದಿಲ್ಲ. ಜುಲೈನಲ್ಲಿ, ಇದೇ ರೀತಿಯ ಶಟ್‌ಡೌನ್ ನಂತರ, ಗಡಿಯಾರ ಹಳೆಯ ದಿನಾಂಕದೊಂದಿಗೆ ಹಿಂತಿರುಗಿತ್ತು. ಮತ್ತು ಹ್ಯಾಂಗ್ ಆದ ಯಂತ್ರವನ್ನು ರೀಬೂಟ್ ಮಾಡುವ ಹಾರ್ಡ್‌ವೇರ್ ವಾಚ್‌ಡಾಗ್, ಯಾವುದೇ ಕ್ರಮ ಕೈಗೊಳ್ಳಲಿಲ್ಲ, ಏಕೆಂದರೆ ಯಂತ್ರ ಹ್ಯಾಂಗ್ ಆಗಿರಲಿಲ್ಲ: ಪವರ್ ಇರಲಿಲ್ಲ.

ತಪ್ಪಾದ ಸುಳಿವು

ಪ್ರತಿ ಸಾವಿನ ನಂತರ ಕೊನೆಯ ಕರ್ನಲ್ ಸಾಲುಗಳು GPU ಔಟ್-ಆಫ್-ಮೆಮೊರಿ ದೋಷಗಳಾಗಿದ್ದವು (NV_ERR_NO_MEMORY), ಆದ್ದರಿಂದ ಮೆಮೊರಿ ತಪ್ಪಿತಸ್ಥ ಎಂದು ತೋರಿತ್ತು. ಆದರೆ ಹಾಗಲ್ಲ. ಆ ಸಾಲುಗಳು ಕರ್ನಲ್ ಬರೆದ ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ವಿಷಯಗಳಾಗಿದ್ದವು: ಕೊನೆಗೊಳ್ಳುವ ಮೊದಲು 19 ದಿನಗಳ ಕಾಲ ನಡೆದ ಒಂದೇ ಬೂಟ್‌ನಲ್ಲಿ ಅವುಗಳಲ್ಲಿ 440,580 ಇದ್ದವು. ಒಂದು ಸಾಲು ಆಗಾಗ್ಗೆ ಕಾಣಿಸಿಕೊಂಡರೆ, ಯಾವುದೇ ತೊಂದರೆ ಇಲ್ಲದಿದ್ದರೂ ಅದು ಕೊನೆಯ ಸಾಲಾಗಿರುತ್ತದೆ. ಒಂದು ಲಾಗ್ ಸಾಲನ್ನು ದೂಷಿಸುವ ಮೊದಲು, ಯಾವುದೇ ತೊಂದರೆ ಇಲ್ಲದಿದ್ದಾಗ ಅದು ಎಷ್ಟು ಬಾರಿ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ ಎಂದು ಎಣಿಸಿ.

ಸರಿಯಾದ ಸುಳಿವು

ಪವರ್-ಆಫ್ ಆದಾಗ ಜರ್ನಲ್ ಕೊನೆಯ ಕೆಲವು ನಿಮಿಷಗಳನ್ನು ಕಳೆದುಕೊಳ್ಳುವುದರಿಂದ, ನಾವು ಪ್ರತಿ ನಿಮಿಷಕ್ಕೂ ತಾಪಮಾನ, ಲೋಡ್ ಮತ್ತು ಮೆಮೊರಿಯನ್ನು ಒಂದು ಫೈಲ್‌ಗೆ ಬರೆದು, ಅದನ್ನು ಡಿಸ್ಕ್‌ಗೆ ಫ್ಲಶ್ ಮಾಡುವ ಒಂದು ಸಣ್ಣ ಸ್ಯಾಂಪ್ಲರ್ ಅನ್ನು ಸೇರಿಸಿದ್ದೆವು. ಜುಲೈನಿಂದ ಆದ ಐದು ಸಾವುಗಳನ್ನೂ ಅದು ಹಿಡಿದಿಟ್ಟುಕೊಂಡಿತು. ಪ್ರತಿಯೊಂದೂ ಪೂರ್ಣ GPU ಲೋಡ್‌ನಲ್ಲಿ (96%) ಬಂತು, CPU 85 ರಿಂದ 97 °C ನಲ್ಲಿತ್ತು.

ಸಮಯದ ವಿವರಣೆ ಉಳಿದ ಭಾಗವನ್ನು ವಿವರಿಸಿತು. ಸೆಪ್ಟೆಂಬರ್ ಆರಂಭದ ಸುಮಾರಿಗೆ ನಾವು ಈ ಯಂತ್ರಕ್ಕೆ ವೀಡಿಯೊ ರೆಂಡರಿಂಗ್ ಅನ್ನು ವರ್ಗಾಯಿಸಿದ್ದೆವು. ಪೂರ್ಣ ಲೋಡ್‌ನಲ್ಲಿ ಅದರ GPU ಪವರ್ ಸುಮಾರು 24 W ನಿಂದ 46 W ಗೆ, ಅದರ ಮಧ್ಯಮ GPU ತಾಪಮಾನ 68 ರಿಂದ 86 °C ಗೆ, ಮತ್ತು CPU 95 °C ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೆಚ್ಚು ಇರುವ ವಾರದ ನಿಮಿಷಗಳು ಶೂನ್ಯದಿಂದ 4,283 ಕ್ಕೆ ಹೋದವು. ಅದೇ 96% ಲೋಡ್‌ನಲ್ಲಿ ಭಾಷಾ ಮಾದರಿಯನ್ನು ನಡೆಸುವ ನಮ್ಮ ಇತರ ಎರಡು GB10 ಯಂತ್ರಗಳು 65 ರಿಂದ 81 °C ನಲ್ಲಿ ಉಳಿದವು. ಇದು ಕೇವಲ ಕೆಟ್ಟ ರೀತಿಯಲ್ಲಿ ತಂಪಾಗುತ್ತಿತ್ತು.

ಮೊದಲ ಪರಿಹಾರ: GPU ಕ್ಲಾಕ್ ಕ್ಯಾಪ್

GB10 ನಲ್ಲಿ, nvidia-smi ಪವರ್ ಲಿಮಿಟ್ ಅನ್ನು ಹೊಂದಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ, ಆದರೆ ಅದು GPU ಕ್ಲಾಕ್ ಅನ್ನು ಕ್ಯಾಪ್ ಮಾಡಬಹುದು: nvidia-smi -lgc 0,2000. ಜುಲೈನಲ್ಲಿ, ಇದು ಕೆಲವೇ ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಅತ್ಯಂತ ಬಿಸಿಯಾದ ವಲಯವನ್ನು 91 °C ನಿಂದ 77 ರಿಂದ 83 °C ಗೆ ಇಳಿಸಿತು. ಎರಡು ವಿವರಗಳು ಮುಖ್ಯ:

• ಭಾರೀ ಸೇವೆಗಳು ಪ್ರಾರಂಭವಾಗುವ ಮೊದಲು ಅದನ್ನು ಅನ್ವಯಿಸಿ. ನಮ್ಮ ಕ್ಯಾಪ್ ಸೇವೆ ಮೊದಲು ಬೂಟ್ ಆದ ಸುಮಾರು 15 ಸೆಕೆಂಡುಗಳ ನಂತರ ನಡೆಯುತ್ತಿತ್ತು, ಆಗ ಮಾದರಿ ಸರ್ವರ್ ಈಗಾಗಲೇ ಪೂರ್ಣ ಪವರ್‌ನಲ್ಲಿ ಲೋಡ್ ಆಗಲು ಪ್ರಾರಂಭಿಸಿತ್ತು, ಇದು ಯಂತ್ರವನ್ನು ಕ್ರ್ಯಾಶ್ ಮಾಡಿದ್ದ ಕ್ಷಣವಾಗಿತ್ತು. ಈಗ ಅದು Docker ಪ್ರಾರಂಭವಾಗುವ ಮೊದಲು ನಡೆಯುತ್ತದೆ.
• ಲೋಡ್‌ನಲ್ಲಿ ಪರಿಶೀಲಿಸಿ. ಕ್ಯಾಪ್ ಆನ್ ಆಗಿದ್ದರೂ, GPU ನಿಷ್ಕ್ರಿಯವಾಗಿದ್ದಾಗ ವರದಿ ಮಾಡಲಾದ GPU ಕ್ಲಾಕ್ ಸುಮಾರು 2,400 MHz ಅನ್ನು ತೋರಿಸುತ್ತದೆ. ಲೋಡ್‌ನಲ್ಲಿ ಅದು 1,976 MHz ನಲ್ಲಿ ಸ್ಥಿರವಾಗಿರುತ್ತದೆ.

ಎರಡನೇ ಪರಿಹಾರ: ಹಂತಗಳಲ್ಲಿ ಉಷ್ಣ ಗಾರ್ಡ್

ರೆಂಡರಿಂಗ್ ಪ್ರಾರಂಭವಾದ ನಂತರ ಕ್ಯಾಪ್ ಸಾಕಾಗಲಿಲ್ಲ, ಆದ್ದರಿಂದ ಈಗ ಗಾರ್ಡ್ ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ಎಲ್ಲಾ ಸೆನ್ಸಾರ್‌ಗಳನ್ನು ಓದುತ್ತದೆ ಮತ್ತು ಹಂತಗಳಲ್ಲಿ ಕ್ರಮ ಕೈಗೊಳ್ಳುತ್ತದೆ: 89 °C ನಿಂದ GPU ಕ್ಲಾಕ್ ಕಡಿಮೆಯಾಗುತ್ತದೆ ಮತ್ತು 92 °C ನಿಂದ ಇನ್ನೊಮ್ಮೆ ಕಡಿಮೆಯಾಗುತ್ತದೆ; 94 °C ನಿಂದ ರೆಂಡರರ್ ಅನ್ನು ತಾತ್ಕಾಲಿಕವಾಗಿ ನಿಲ್ಲಿಸಲಾಗುತ್ತದೆ (SIGSTOP) ಮತ್ತು CPU ವೇಗ ಕಡಿಮೆಯಾಗುತ್ತದೆ; 96 °C ನಿಂದ ತಂಪಾಗಲು ಬೇಕಾದ ಸೆಕೆಂಡುಗಳವರೆಗೆ ಪ್ರತಿ GPU ಕೆಲಸವನ್ನು ತಾತ್ಕಾಲಿಕವಾಗಿ ನಿಲ್ಲಿಸಲಾಗುತ್ತದೆ. ಯಂತ್ರವು ಸ್ವಲ್ಪ ಸಮಯ ತಂಪಾಗಿದ್ದ ನಂತರ ಮಾತ್ರ ಅದು ಹಿಂದಕ್ಕೆ ಹೋಗುತ್ತದೆ. 97 °C ನಲ್ಲಿ 20 ಸೆಕೆಂಡುಗಳ ಕಾಲ, ಅಂತಿಮ ಬ್ರೇಕ್ ವೀಡಿಯೊ ಸೇವೆಯನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ನಿಲ್ಲಿಸುತ್ತದೆ.

ರೆಂಡರಿಂಗ್‌ನಲ್ಲಿ ಮೊದಲ ಒಂಬತ್ತು ನಿಮಿಷಗಳಲ್ಲಿ, ಅತ್ಯಂತ ಬಿಸಿಯಾದ ವಲಯವು 94 °C ನಲ್ಲಿ ಗರಿಷ್ಠ ಮಟ್ಟವನ್ನು ತಲುಪಿತು ಮತ್ತು ಮಧ್ಯಮ ಮಟ್ಟ 89 °C ಆಗಿತ್ತು, ಇದಕ್ಕೂ ಮೊದಲು 97 °C ನಲ್ಲಿ ಸ್ಥಿರವಾಗಿತ್ತು. ಇದಕ್ಕೆ ಬೆಲೆ ಇದೆ: ಸೆಪ್ಟೆಂಬರ್ ಮಧ್ಯಭಾಗದ ಒಂದು ದಿನ ರೆಂಡರರ್ ಅನ್ನು 17% ಸಮಯ ತಾತ್ಕಾಲಿಕವಾಗಿ ನಿಲ್ಲಿಸಲಾಗಿತ್ತು ಮತ್ತು GPU ದಿನದ ಹೆಚ್ಚಿನ ಸಮಯ 900 MHz ಅಥವಾ ಅದಕ್ಕಿಂತ ಕಡಿಮೆಯಲ್ಲಿ ನಡೆಯಿತು. ಮತ್ತು ಇದು ಪರಿಹಾರವಲ್ಲ: 11 ಅಕ್ಟೋಬರ್‌ನಲ್ಲಿ 97 ರಿಂದ 98 °C ನಲ್ಲಿ ಯಂತ್ರವು ತಾನೇ ಒಮ್ಮೆ ಆಫ್ ಆಯಿತು. ನಾವು ಇದನ್ನು ಬರೆಯುವ ಈ ಕ್ಷಣದವರೆಗೆ, ಅದು 20 ದಿನಗಳಿಂದ ವಿರಾಮವಿಲ್ಲದೆ ನಡೆಯುತ್ತಿದೆ.

ನಾವು ಪ್ರಯಾಣದಲ್ಲಿ ಮಾಡಿದ ನಾಲ್ಕು ತಪ್ಪುಗಳು

• ಒಂದು ಕೆಲಸವನ್ನು ತಾತ್ಕಾಲಿಕವಾಗಿ ನಿಲ್ಲಿಸುವುದರಿಂದ ಯಂತ್ರ ತಂಪಾಗಲಿಲ್ಲ. ರೆಂಡರರ್ ಈಗಾಗಲೇ ತಾತ್ಕಾಲಿಕವಾಗಿ ನಿಂತಿದ್ದಾಗಲೇ ಬ್ರೇಕ್ ಕಾರ್ಯಗತಗೊಂಡಿತು, ಏಕೆಂದರೆ ಒಂದು ಇಮೇಜ್ ಮಾದರಿ ಇನ್ನೂ ಚಿತ್ರಿಸುತ್ತಿತ್ತು ಮತ್ತು ಒಂದೇ ನಿಮಿಷದಲ್ಲಿ ಹಲವು ಟೈಮರ್‌ಗಳು ಪ್ರಾರಂಭವಾದವು. ಮೇಲಿನ ಹಂತ ಈಗ ಕೇವಲ ರೆಂಡರರ್ ಅಲ್ಲ, ಪ್ರತಿ ಭಾರೀ GPU ಕೆಲಸವನ್ನು ತಾತ್ಕಾಲಿಕವಾಗಿ ನಿಲ್ಲಿಸುತ್ತದೆ.
• ಗಾರ್ಡ್ ಕೆಲಸಗಳನ್ನು ಹೆಸರಿನ ಪ್ರಕಾರ ತಾತ್ಕಾಲಿಕವಾಗಿ ನಿಲ್ಲಿಸುತ್ತದೆ ಮತ್ತು ಹೆಸರುಗಳು ಬದಲಾದವು. ಎರಡು ಬಾರಿ ಹೊಸ ಎಂಜಿನ್ ತಾತ್ಕಾಲಿಕ ನಿಲ್ಲಿಸುವಿಕೆಯಿಂದ ತಪ್ಪಿಸಿಕೊಳ್ಳುತ್ತಿತ್ತು: ಸೆಪ್ಟೆಂಬರ್‌ನಲ್ಲಿ ಹೊಸ ಪ್ರಾಸೆಸ್ ಹೆಸರು ಹೊಂದಿದ್ದ ಇಮೇಜ್ ಮಾದರಿ ಮತ್ತು ಅಕ್ಟೋಬರ್‌ನಲ್ಲಿ ರೆಂಡರ್ ಸೇವೆಯ ಮಕ್ಕಳಾಗಿ (child) ಅಲ್ಲ, ಕಂಟೇನರ್‌ನಲ್ಲಿ ನಡೆಯುವ ರೆಂಡರರ್. ಈಗ ಪ್ರತಿ ಎಂಜಿನ್ ಬದಲಾವಣೆಯಲ್ಲಿ ಗಾರ್ಡ್‌ನ ಪಟ್ಟಿಯನ್ನು ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.
• ಬ್ರೇಕ್‌ನ ಹೋಲ್ಡ್ ಎಂದಿಗೂ ತೆರೆಯಲಿಲ್ಲ. ಅದು ವೀಡಿಯೊ ಸೇವೆಯನ್ನು ನಿಲ್ಲಿಸಿತು ಮತ್ತು ಯಾವುದೂ ಅದನ್ನು ಮರುಪ್ರಾರಂಭಿಸದಂತೆ ಒಂದು ಹೋಲ್ಡ್ ಫೈಲ್ ಅನ್ನು ಬಿಟ್ಟಿತು. ಯಾರಿಗೂ ಎಚ್ಚರಿಕೆ ಸಹ ನೀಡಲಾಗಲಿಲ್ಲ ಮತ್ತು ನಾವು ಗಮನಿಸುವ ಮೊದಲು ಔಟ್‌ಪುಟ್ ಮೂರು ದಿನಗಳ ಕಾಲ ನಿಂತುಹೋಯಿತು. ಈಗ ಹೋಲ್ಡ್ ತಾನೇ ತೆರೆಯುತ್ತದೆ: ಕೊನೆಯ ಬ್ರೇಕ್‌ನ ಐದು ನಿಮಿಷಗಳ ನಂತರ, ಹೊಸ ಬ್ರೇಕ್ ಇಲ್ಲದಿದ್ದರೆ, ಕನಿಷ್ಠ 30 GB ಮೆಮೊರಿ ಖಾಲಿ ಇದ್ದರೆ ಮತ್ತು ಹತ್ತು ನಿಮಿಷಗಳ ಸರಾಸರಿ 93 °C ಅಥವಾ ಅದಕ್ಕಿಂತ ಕಡಿಮೆ ಇದ್ದರೆ. ಯಂತ್ರ ತಂಪಾಗುವವರೆಗೆ ಕಾಯುವುದು ಎಂದಿಗೂ ಕೆಲಸ ಮಾಡುವುದಿಲ್ಲ: ರೆಂಡರಿಂಗ್ ಇದ್ದರೂ ಇಲ್ಲದಿದ್ದರೂ ಅದು ಸರಾಸರಿ 88 °C ನಲ್ಲಿತ್ತು.
• ಎಚ್ಚರಿಕೆ ಗಂಟೆ ಯಂತ್ರದ ಸಾಮಾನ್ಯ ತಾಪಮಾನದಲ್ಲಿ ಬಾರಿಸಿತು. ಎಚ್ಚರಿಕೆ ಮಿತಿ 88 °C ಆಗಿತ್ತು, ಇದು ಈ ಯಂತ್ರದ ಸರಾಸರಿ ತಾಪಮಾನವಾಗಿತ್ತು. ಒಂದು ದಿನದಲ್ಲಿ, ಅದು 32% ಸಮಯವನ್ನು 90 °C ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೆಚ್ಚು ತಾಪಮಾನದಲ್ಲಿ, 8% ಸಮಯವನ್ನು 93 °C ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೆಚ್ಚು ತಾಪಮಾನದಲ್ಲಿ ಮತ್ತು 3% ಸಮಯವನ್ನು 95 °C ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೆಚ್ಚು ತಾಪಮಾನದಲ್ಲಿ ಕಳೆಯಿತು, ಆದರೆ ಎಂದಿಗೂ 97 °C ತಲುಪಲಿಲ್ಲ. ನಾವು ಎಚ್ಚರಿಕೆಯನ್ನು 97 °C ಗೆ ಬದಲಾಯಿಸಿದೆವು, ಅದು ನಿಜವಾಗಿಯೂ ಸ್ಥಗಿತಗೊಂಡ ಸ್ಥಿರ ಮಟ್ಟವಾಗಿದೆ, ಮತ್ತು ಎಚ್ಚರಿಕೆ ಇಮೇಲ್‌ಗಳು ನಿಂತವು.

ಮುಖ್ಯ ಅಂಶ

ಸಾಫ್ಟ್‌ವೇರ್ ಈ ಯಂತ್ರವನ್ನು ಜೀವಂತವಾಗಿ ಇಟ್ಟಿತು, ಆದರೆ ಕಾರಣ ಭೌತಿಕವಾಗಿತ್ತು: ಅದರ ತಂಪಾಗಿಸುವಿಕೆ ಅದರ ಸಹೋದರ ಯಂತ್ರಗಳಿಗಿಂತ ಎರಡು ಮೂರು ಪಟ್ಟು ಕೆಟ್ಟದಾಗಿತ್ತು. ಒಂದು GB10 ಯಂತ್ರ ಲೋಡ್ ಅಡಿಯಲ್ಲಿ ತಾನೇ ಆಫ್ ಆದರೆ, ಮೊದಲು ಗಾಳಿಯ ಹರಿವನ್ನು ಪರಿಶೀಲಿಸಿ. ನಂತರ ನಿಮ್ಮ ಸೇವೆಗಳು ಪ್ರಾರಂಭವಾಗುವ ಮೊದಲು GPU ಕ್ಲಾಕ್ ಅನ್ನು ಮಿತಿಗೊಳಿಸಿ, ಯಂತ್ರ ತನ್ನ ಮಿತಿಯನ್ನು ತಲುಪುವ ಮೊದಲು ಭಾರೀ ಕೆಲಸಗಳನ್ನು ತಾತ್ಕಾಲಿಕವಾಗಿ ನಿಲ್ಲಿಸಿ, ಮತ್ತು ಅದು ನಿಜವಾಗಿಯೂ ನಡೆಯುವ ತಾಪಮಾನಗಳಿಂದ ಎಚ್ಚರಿಕೆಗಳನ್ನು ಹೊಂದಿಸಿ.

Factory Floor ಈ ರೀತಿಯ ಒಂದು ಉಷ್ಣ ಗಾರ್ಡ್ ಅನ್ನು ಒಳಗೊಂಡಿದೆ: ಇದು GPU ಮತ್ತು ಥರ್ಮಲ್-ಜೋನ್ ಸೆನ್ಸರ್‌ಗಳಲ್ಲಿ ಅತ್ಯಂತ ಬಿಸಿಯಾದದ್ದನ್ನು ಓದುತ್ತದೆ, ನಿಮ್ಮ ನಿಗದಿತ ತಾಪಮಾನದಲ್ಲಿ (ಡಿಫಾಲ್ಟ್ 92 °C) ನೀವು ಹೆಸರಿಸಿದ ಭಾರೀ ಕೆಲಸಗಳನ್ನು ತಾತ್ಕಾಲಿಕವಾಗಿ ನಿಲ್ಲಿಸುತ್ತದೆ ಮತ್ತು ಕಡಿಮೆ ತಾಪಮಾನದಲ್ಲಿ (84 °C) ಮಾತ್ರ ಅವುಗಳನ್ನು ಮರುಪ್ರಾರಂಭಿಸುತ್ತದೆ, ಜೊತೆಗೆ ಮೆಮೊರಿ ಮತ್ತು ಡಿಸ್ಕ್ ಗಾರ್ಡ್‌ಗಳೂ ಇವೆ.