나는 다음 명령을 실행하고 있습니다.
wget -r --wait=2 --random-wait -P ./pdfs -A pdf -e robots=off https://www.<somesite>/documents
이 명령은 모든 PDF를 재귀적으로 다운로드하기 위해 다른 웹사이트에서 실행되었지만 필요한 웹사이트에서는 아무 것도 얻지 못했습니다. 자세한 오류 로그를 통해 문제를 정확히 찾아낼 수 있습니다. /document/latest로 리디렉션된 후 중단됩니다.
Deciding whether to enqueue "https://www.<somesite>/document/latest"
https://www.<somesite>/document/latest (latest) does not match acc/rej rules.
Decided NOT to load it.
보안 리디렉션으로 인해 손상된 것인지, 아니면 후행 백슬래시가 없기 때문에 /latest를 파일로 간주하여 손상된 것인지 확실하지 않습니다. 지금까지 제가 시도한 것은 가능한 한 많은 옵션을 제거하고 봇을 무시할 수 있는 항목을 추가하는 것이었습니다. -A pdf를 제거할 수 없습니다. 그러면 정크로 과부하가 걸리기 때문입니다. 여기서 무엇이 잘못되었으며 어떻게 해결합니까? 매우 감사합니다!