☰

wget을 사용하여 여러 URL 데이터를 다운로드할 때 발생하는 문제

tag-icon • tag-icon linux bash shell wget url
wget을 사용하여 여러 URL 데이터를 다운로드할 때 발생하는 문제

텍스트 파일이 있습니다 download.txt. 여기서는 8개 파일의 URL만 표시합니다. 내 원본 파일에는 900개의 다운로드 URL이 있습니다.

https://www.web.org/download/OE056783
https://www.web.org/download/OE078945
https://www.web.org/download/OE023456
https://www.web.org/download/OE098745
https://www.web.org/download/OE090123
https://www.web.org/download/OE067453
https://www.web.org/download/OE089234
https://www.web.org/download/OE012345

다운로드 데이터를 사용해 보려고 합니다 wget -i download.txt. 그러나 문제가 있습니다.

다음 오류가 표시됩니다.

--2020-07-13 16:53:04--  https://www.web.org/download/OED056783
Resolving www.web.org (www.web.org)... 202.127.3.168
Connecting to www.web.org (www.web.org)|202.127.3.168|:443... connected.
HTTP request sent, awaiting response... 200
Length: 2876489216 (2.7G) [application/x-download]
Saving to: ‘OED056783’

 0% [>                                                                                                                                                          ] 19,365,497  6.76KB/s   in 7m 32s

2020-07-13 17:00:39 (41.8 KB/s) - Read error at byte 19365497/2876489216 (Connection reset by peer).
  1. 여기서 무엇이 잘못되었을 수 있습니까?
  2. 각 파일을 한 번에 다운로드 할 wget -i download.txt수 있습니다. 900개의 파일 다운로드가 더 빨리 완료되도록 한 번에 10/20개의 파일을 다운로드하는 방법이 있습니까?

관련 정보