명령을 사용하여 작업 파일을 가져오려고 하는데 어떤 이유로 해당 파일이 반환되지 않습니다. 이유를 아시나요?
$ wget -A.pdf -r -nd https://noppa.aalto.fi/noppa/kurssi/mat-2.3152/viikkoharjoitukset/
내 목표는 모든 작업을 다운로드하고 병합한 pdftk
다음 일부 프로그램을 사용하여 검색하는 것입니다. 하지만 이 작업을 완료할 때까지는 계속할 수 없습니다(Firefox DownloadThemAll -플러그인을 다시 사용하지 않고는). 왜 아이디어가 작동하지 않습니까? 시스템 관리자가 wgets에 대해 일부 금지를 설정했습니까? 아니면 왜 실패합니까?
이 robots.txt 파일만 얻습니다.
$ cat robots.txt
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Disallow: /cgi-bin/
답변1
문제는 robots.txt
.Wget에 있습니다.
User-agent: *
Disallow: /
Tell wget을 사용하여 파일을 무시할 수 있습니다 robots.txt
.
wget -A.pdf -r -nd -e robots=off https://noppa.aalto.fi/noppa/kurssi/mat-2.3152/viikkoharjoitukset/
작동합니다.