wget 미러 웹사이트를 더 빠르게 얻는 방법은 무엇입니까?

이런 스크립트가 있습니다 theripper.sh(저장소 링크wget), 이는 aria2c스파이더와 멀티스레드 다운로더의 사용을 결합합니다.

그러나 간단한 대답은 를 사용하는 것입니다 wget2.환매 계약이를 복제하여 빌드하거나 쉽게 사용할 수 있습니다 sudo apt install wget2. 사용법은 거의 동일 wget하지만 작업을 수행할 수 있는 더 많은 옵션이 제공됩니다.

--max-threads         Max. concurrent download threads.
                          (default: 5)

웹사이트를 미러링하려면 다음을 사용할 수 있습니다.웹 크롤러. wget( -m플래그 포함)이 나열되어 있지만 wget병렬 다운로드용은 아닙니다. aria2반면 웹사이트는 크롤링할 수 없지만 URL 목록은 다운로드됩니다. 처음에는 URL 목록을 알고 있어야 합니다.

두 가지를 모두 수행할 수 있는 도구가 필요합니다.이 질문에는사용하는 것이 좋습니다httrack: 8개의 httrack url거울을 동시에 연결합니다.url