☰

병렬로 데이터 다운로드 [닫기]

tag-icon • tag-icon parallelism
병렬로 데이터 다운로드 [닫기]

20G의 데이터를 다운로드하려면 ftp를 사용해야 합니다. 이 작업을 병렬로 수행할 수 있습니까(gnu?) 다음은 일부 데이터에 대한 링크입니다.

 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030893/ERR030893.fastq.gz 
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_1.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_2.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030894/ERR030894.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_1.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_2.fastq.gz

감사해요,

답변1

는 모르겠지만 parallel병렬 다운로드를 위한 훌륭한 도구가 이라는 것은 알고 있습니다 aria2c.

다음은 FTP/HTTP 섹션에서 발췌한 것입니다.그 매뉴얼:

  • -s,--split=[N]

  • 연결을 사용하여 파일을 다운로드하십시오 N. N여러 개의 URI가 제공되면 첫 N번째 URI가 사용되고 나머지 URI는 백업에 사용됩니다. 보다 적은 수의 URI가 제공되면 이러한 URI는 동시에 총 연결 수를 설정하는 N데 필요한 만큼 사용됩니다 . N동일한 호스트에 대한 연결 수는 --max-connection-per-server이 옵션에 의해 제한됩니다. --min-split-size옵션 도 참조하세요

  • 기본값: 5

관련 정보