"$wget -A.pdf -r site.com" 문제 해결

"$wget -A.pdf -r site.com" 문제 해결

명령을 사용하여 작업 파일을 가져오려고 하는데 어떤 이유로 해당 파일이 반환되지 않습니다. 이유를 아시나요?

$ wget -A.pdf -r -nd https://noppa.aalto.fi/noppa/kurssi/mat-2.3152/viikkoharjoitukset/

내 목표는 모든 작업을 다운로드하고 병합한 pdftk다음 일부 프로그램을 사용하여 검색하는 것입니다. 하지만 이 작업을 완료할 때까지는 계속할 수 없습니다(Firefox DownloadThemAll -플러그인을 다시 사용하지 않고는). 왜 아이디어가 작동하지 않습니까? 시스템 관리자가 wgets에 대해 일부 금지를 설정했습니까? 아니면 왜 실패합니까?

이 robots.txt 파일만 얻습니다.

$ cat robots.txt 
User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /
Disallow: /cgi-bin/

답변1

문제는 robots.txt.Wget에 있습니다.

User-agent: *
Disallow: /

Tell wget을 사용하여 파일을 무시할 수 있습니다 robots.txt.

wget -A.pdf -r -nd -e robots=off  https://noppa.aalto.fi/noppa/kurssi/mat-2.3152/viikkoharjoitukset/

작동합니다.

관련 정보