많은 이미지가 포함된 웹 포럼에서 스레드를 다운로드하기 위해 wget을 사용하려고 합니다. 이미지는 별도의 도메인에서 호스팅되므로 -H 플래그를 사용하여 이미지를 다운로드할 수 있습니다. 내가 사용하는 전체 wget 명령은 다음과 같습니다.
wget -p -H -erobots=off https://example.com/
사용해보면 메인 이미지를 제외한 거의 모든 것이 다운로드 됩니다. 다음은 내가 시도하고 있는 스레드 중 하나의 예입니다.다운로드.
내가 뭘 잘못했나요?
답변1
이는 사이트별 문제입니다. 달리기
wget -H -p -r --user-agent="Mozilla/5.0" -nd --accept jpg,png https://suzuki88.mforos.com/194412/11461305-brico-con-mi-nuevo-suzuki-en-proceso-de-transformacion-muchas-fotos/
다음 내용이 포함된 robots.txt.* 파일 목록을 알려주세요.
User-agent: *
Disallow:
이는 기본적으로 웹사이트가 귀하를 웹사이트의 일부 보안 허점을 패치하려는 봇으로 생각한다는 것을 의미합니다. 규칙은 *(모든) 로봇이 사이트의 어떤 부분에도 접근하는 것을 거부하는 것입니다.