wget의 미러 기능을 사용하여 동적 사이트를 정적 사이트로 변환하려고 합니다. 이게 잘 되는 것 같았는데, 페이지가 너무 많고 용량이 너무 큰 사이트라서, 명령어를 실행 screen하고 며칠 동안 놔두었습니다. 일일 점검을 하던 중 메모리를 너무 많이 소모하여 함수가 종료되는 것을 발견했습니다.
다음 명령을 실행한 후:
wget -r -mirror --tries=1 --wait=1 --html-extension -o log http://mysite.tld
나는 다음과 같은 오류를 보았습니다 /var/log/messages.
kernel: Out of memory: Kill process 10645 (wget) score 367 or sacrifice child
kernel: Killed process 10645 (wget), UID 0, total-vm:3154656kB, anon-rss:624672kB, file-rss:0kB, shmem-rss:0kB
4GB RAM 및 4vCPU(vps를 호스팅하는 사이트)를 갖춘 centos7 VPS에서 명령을 시작했는데 최대 2일 안에 사용 가능한 모든 메모리가 포화된 것처럼 보였습니다.
실행된 명령의 메모리 소비를 제한하거나 사망 시 종료된 지점에서 다시 시작하도록 할 수 있는 방법이 있습니까?