스왑 공간이 가득 차면 CPU가 과열되고 PC가 종료됩니다.

이것은 반드시 Linux 문제는 아니지만 어쨌든 여기에 묻습니다. 제가 사용하는 워크스테이션은 주로 딥러닝과 머신러닝 모델을 훈련하는 데 사용됩니다. CPU와 GPU 모두에서 훈련 코드를 실행합니다.

CPU: AMD Ryzen 9 5950X 16코어 프로세서

그래픽 카드: NVIDIA GeForce RTX 3090

운영 체제: 우분투 22.04 LTS

내가 사용하는 라이브러리(PyTorch, XGBoost, LightGBM 등)는 데이터를 로드하기 위해 스왑 메모리를 많이 사용합니다. 대용량 데이터 세트를 처리할 때 스왑 메모리가 천천히 누적되어 한도(2GB)를 초과합니다. 이런 일이 발생하면 모든 코어가 미쳐가고 CPU가 과열됩니다. 워크스테이션은 몇 초 후에 자동으로 종료됩니다.

저는 데이터 과학자이지만 하드웨어에는 능숙하지 않습니다. 내 워크스테이션이 계속 종료되는 이유를 알아내는 데 몇 주가 걸렸습니다. 더 이상 작업을 완료할 수 없기 때문에 이런 일이 발생하지 않도록 방지할 방법을 찾아야 합니다. 어떤 제안이 있나요?

좀 더 자세히 말씀드리자면, 3~4개월 전에는 이런 일이 일어나지 않았습니다. 최근에 시작했어요.

편집하다: nvidia-smi 및 센서 출력을 추가하여 두 모델(UNet 및 YOLOv6)을 동시에 교육합니다.

엔비디아-SMI

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 510.73.05    Driver Version: 510.73.05    CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:0A:00.0 Off |                  N/A |
|100%   79C    P2   338W / 350W |  14171MiB / 24576MiB |    100%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1361      G   /usr/lib/xorg/Xorg                 56MiB |
|    0   N/A  N/A      1568      G   /usr/bin/gnome-shell               10MiB |
|    0   N/A  N/A     27955      C   python                           2743MiB |
|    0   N/A  N/A     31692      C   python                          11355MiB |
+-----------------------------------------------------------------------------+

감지기

nvme-pci-0300
Adapter: PCI adapter
Composite:    +74.8°C  (low  = -273.1°C, high = +84.8°C)
                       (crit = +84.8°C)
Sensor 1:     +74.8°C  (low  = -273.1°C, high = +65261.8°C)
Sensor 2:     +74.8°C  (low  = -273.1°C, high = +65261.8°C)

iwlwifi_1-virtual-0
Adapter: Virtual device
temp1:        +57.0°C  

k10temp-pci-00c3
Adapter: PCI adapter
Tctl:         +87.8°C  
Tccd1:        +89.2°C  
Tccd2:        +79.5°C