정상적인 CPU 온도에도 불구하고 Kythe 코드 인덱싱 프로세스가 제한됨

Question

Kythe 실행과 관련 없는 차이점 중 하나는 Kythe가 컴파일 단위당 약 300MB ~ 2.5GB의 인덱스를 생성할 수 있다는 것입니다. 따라서 Kythe가 쓸 수 있는 임시 파일을 생성한 다음 파일을 삭제하는 작은 Python 래퍼에서 Kythe를 실행합니다.

결과적으로 이것은 매우 관련이 있습니다. Kythe의 높은 디스크 출력을 시뮬레이션하는 더미 스크립트를 생성하고 비슷한 제한이 발생하는지 확인하면 이것이 문제를 일으키는지 쉽게 확인할 수 있습니다. 다음은 예제 스크립트입니다:

#!/usr/bin/env python3

import sys
import tempfile
import time
import os
import random
from datetime import timedelta
from datetime import datetime

output_fd, output_file = tempfile.mkstemp(prefix="entries-")

size_100M = random.randint(5, 15)

start = datetime.now()

# Kythe can end up writing about 500MB - 1.5GB in a span of 5-15s.
# We mimic that workload by writing 1M every 0.01s, and just wasting
# some CPU if we're done writing early.

dummyvec = list(range(1024))

for i in range(size_100M * 100):
    iter_start = datetime.now()
    iter_end = iter_start + timedelta(milliseconds=10)
    os.write(output_fd, os.urandom(1024 * 1024))
    while datetime.now() < iter_end:
        # Waste CPU
        for i in range(len(dummyvec)):
            dummyvec[i] = (dummyvec[i] + 1) % 1024

end = datetime.now()
delta = end - start

output_size = os.stat(output_file).st_size
print("Wrote {} bytes in {} sec".format(output_size, delta.seconds))

os.remove(output_file)

스크립트를 다시 실행할 수 있습니다 parallel.

parallel high_output.py ::: kythe-v0.0.60-output/*.kzip

15초보다 긴 타이밍이 표시되기 시작하면 제한이 발생하고 있음을 확인할 수 있습니다.

parallel명령이 한동안 실행된 후 20~25초보다 긴 시간이 표시되기 시작하는 것으로 나타났습니다 .

CPU 온도뿐만 아니라 다른 온도도 살펴보는 것도 중요합니다. 예를 들어 lm-sensorsUbuntu에서 이 패키지를 사용하여 다양한 센서의 온도를 볼 수 있습니다.

# Re-run sensors from lm-sensors every 2 seconds
watch -n 2 sensors

문제는 NVMe 드라이브의 온도였습니다.

nvme-pci-0400                                                                                                  
Adapter: PCI adapter                                                                                           
Composite:    +55.9°C  (low  = -273.1°C, high = +81.8°C)                                                       
                       (crit = +84.8°C)                                                                        
Sensor 1:     +55.9°C  (low  = -273.1°C, high = +65261.8°C)                                                    
Sensor 2:     +87.8°C  (low  = -273.1°C, high = +65261.8°C)

최고 속도에서 Kythe는 궁극적으로 컴파일 단위당 100MB/s의 출력을 쓸 수 있습니다. 나쁘지는 않지만 프로세스가 32개 있다는 것은 3.2GB/s의 출력을 의미하는데, 제 경우에는 NVMe를 압도해 과열을 일으키는 것 같았습니다. NVMe 드라이브가 과열되면 Linux는 실행 중인 모든 프로세스를 제한하는 것처럼 보입니다(브라우저 속도 저하를 설명).

특히 Kythe의 경우 이를 기반으로Google 그룹스 주제--experimental_dynamic_claim_cache, Kythe 에는 백그라운드에서 memcached를 활용하여 디스크 출력을 줄이는 데 도움이 될 수 있는 플래그가 있습니다 .

Answer 1