lftp를 통해 원격 서버에 파일을 병렬로 다운로드하고 다음 명령을 사용했습니다.
lftp ftp:*url*
cd into directory
mirror --parallel=10
12개의 디렉토리로 나누어진 총 365개의 파일을 다운로드했습니다. 이 명령을 사용하면 몇 시간이 걸리며 이는 큰 문제는 아니지만 병렬로 다운로드하는 파일이 많을수록 속도가 빨라질 것이라고 생각했습니다. 분명히, 365개의 파일을 모두 병렬로 다운로드하면 시스템에 과부하가 걸릴 것으로 예상되므로 수익이 감소하는 지점이 있어야 합니다. (각 파일당 1GB가 조금 넘습니다). 또한 병렬로 다운로드하는 파일 수를 늘리면 waiting to reconnect....trying in 30s시스템에 과도한 부담을 주고 있다고 믿기 때문에 점점 더 많은 메시지 등을 받게 됩니다.
파일을 병렬로 다운로드하는 효율적인 방법에 대한 아이디어가 있는 사람이 있습니까? 미리 감사드립니다
답변1
병렬 실행이 많을수록 송신자에 대한 로드가 커집니다.
서버에 1000개의 TCP 연결이 있고 대역폭이 제한되어 있는 경우, 1개의 연결이 있으면 서버 대역폭의 0.1%를 얻게 됩니다.
10개의 연결이 있으면 서버 대역폭의 1%를 얻게 됩니다.
일반적으로 내 조언은 다음과 같습니다.
- 서두르지 않는다면: 단일 연결을 사용하세요
- 서버를 통제하면 원하는 것은 무엇이든 할 수 있습니다
- 바쁘고 서버를 제어할 수 없는 경우 주의하십시오. 일부는 문제 없이 수천 개의 병렬 요청을 수락합니다. 다른 사람들은 100에서 막힐 것입니다. 10개의 추가 병렬 요청을 추가하면 서버에 부담을 줄 수 있습니다.
귀하의 경우 첫 번째 상황에 있는 것 같습니다. 서두르지 않으므로 단일 연결을 사용해야 합니다. "연결이 거부되었습니다"는 서버 과부하를 나타내는 신호이기도 합니다. 2개 이상의 연결을 사용하려면 서버를 소유한 사람에게 문의하는 것이 좋습니다.