다운로드 중입니다많은내 연구 데이터입니다. 우리 캠퍼스의 슈퍼컴퓨터에 데이터를 다운로드하고 있는데, 매 시간마다 데이터 다운로드가 중단됩니다. OS가 파이프라인을 일시 중지하면 다운로드한 파일을 나타내는 텍스트 파일의 모든 줄을 삭제해야 합니다. 어렵지는 않지만 짜증나고 하고 싶지 않습니다. 이것이 내가 모든 것을 다운로드하는 방법입니다
cat subset.txt | tr -d '\r' | xargs -P 4 -n 1 curl -LJO -s -n --globoff -c ~/.urs_cookies -b ~/.urs_cookies
각 URL은 나에게 전달되며 curl4 xargs개의 병렬 다운로드를 제공합니다. 전체 파이프라인을 일시 중지하고 나중에 파이프라인을 재개할 수 있는 방법이 있습니까?
답변1
넌 할 수 curl있어병렬 다운로드옵션이 있습니다 -Z. 당신은해야합니다버전 7.66.0 이상이를 위해 7.66 이후 버전에서는 더 많은 병렬 처리 관련 플래그를 추가했다는 점에 유의하세요.
가장 간단한 명령은 다음과 같습니다.
curl --config myconfig.txt -Z ...
myconfig.txt이 형식의 URL 목록이 있습니다(출력 이름 바꾸기, 다운로드 재개 등과 같은 다른 플래그를 추가할 수 있음) .
url = "http://example.com/a"
url = "http://example.com/j"
구성 파일에서 자세한 정보를 찾을 수 있습니다.그들의 웹사이트에서.