☰

wget이 재귀 모드에서 작동하지 않습니다

tag-icon • tag-icon wget
wget이 재귀 모드에서 작동하지 않습니다

GNU Wget 1.16 built on linux-gnueabihf존재하다Raspberry Pi 3

wget이 첫 번째 색인뿐만 아니라 전체 사이트(링크를 따라가며 로봇처럼 작동)를 가져오도록 하려면 어떻게 해야 합니까?

나는 시도했다:

wget -r http://aol.com
wget -r -l0 http://aol.com
wget -r -m -l0 http://aol.com

모든 명령은 같은 방식으로 끝납니다.

--2017-11-29 08:05:42--  http://aol.com/
Resolving aol.com (aol.com)... 149.174.149.73, 64.12.249.135, 149.174.110.105, ...
Connecting to aol.com (aol.com)|149.174.149.73|:80... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: https://www.aol.com/ [following]
--2017-11-29 08:05:42--  https://www.aol.com/
Resolving www.aol.com (www.aol.com)... 34.233.220.13, 34.235.7.32, 52.6.64.98, ...
Connecting to www.aol.com (www.aol.com)|34.233.220.13|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Last-modified header missing -- time-stamps turned off.
--2017-11-29 08:05:44--  https://www.aol.com/
Reusing existing connection to www.aol.com:443.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘aol.com/index.html’

aol.com/index.html                                              [  <=>                                                                                                                                      ] 359.95K   751KB/s   in 0.5s

2017-11-29 08:05:45 (751 KB/s) - ‘aol.com/index.html’ saved [368585]

FINISHED --2017-11-29 08:05:45--
Total wall clock time: 2.8s
Downloaded: 1 files, 360K in 0.5s (751 KB/s)

내가 뭘 잘못했나요?

답변1

aol.com/index.html모든 링크가 다른 호스트를 가리키기 때문에 문제가 발생합니다 . 모든 호스트에서 반복적으로 다운로드하려면 이 옵션을 추가할 수 있습니다 --span-hosts. 모든 AOL 호스트를 허용하려면 옵션을 추가하는 것이 나에게 맞는 것 같았습니다 --span-hosts '*.aol.com'.

wget --span-hosts '*.aol.com' -r http://www.aol.com

링크를 나열할 수 있습니다.

grep -Po '(?<=href=")[^"]*' aol.com/index.html

대부분이 www.aol.com을 가리키는 것을 볼 수 있으므로 전화를 걸어도 됩니다.

wget -r http://www.aol.com

답변2

다음 명령을 사용하면 wget웹사이트에 링크된 모든 페이지를 재귀적으로 다운로드할 수 있습니다.

wget -r $(curl http://aol.com | grep -Po '(?<=href=")[^"]*')

예시 웹사이트를 원하는 웹사이트로 바꾸세요. 이것은 다음과 같습니다Deapth for search in a graph

작업 방식 curl을 얻을 것입니다 . 일치하여 모든 링크를 찾기 위해 index.html파이프됩니다 . 입력 결과는 변수로 제공됩니다. 변수에서 하나씩 링크를 가져옵니다.grephrefwgetwget

관련 정보