예를 들어 -http://aok.heavengames.com/cgi-bin/aokcgi/display.cgi?action=t&fn=22.
robots.txt의 한계를 극복할 수 있는 방법을 찾았지만, 그래도 아무 것도 읽을 수 없는 바이너리 파일만 다운로드할 뿐입니다.
답변1
wget --user-agent=Mozilla \
"http://aok.heavengames.com/cgi-bin/aokcgi/display.cgi?action=t&fn=22"
답변2
~에서wget 매뉴얼gnu.org에서
현재 수행 중인 작업을 알고 있고 실제로 로봇 제외를 끄고 싶다면 .wgetrc에서 로봇 변수를 "off"로 설정하세요. "wget -e robots=off url..."과 같이 -e 스위치를 사용하여 명령줄에서 동일한 효과를 얻을 수 있습니다.
답변3
--user-agent | robots=off를 사용해 여러 번 시도한 후에도 출력이 없었고 출력의 16진수 덤프를 확인하는 데 성공했습니다.
성공했습니다. 아래 예제를 사용하여 파일 출력을 HTML 형식으로 보냅니다.
이 시도:
wget --user-agent=Mozilla \ -e robots=off "http://aok.heavengames.com/cgi-bin/aokcgi/display.cgi?action=t&fn=22" -O -O cgi-converted-to-htmlfile.html
참고로이것--user-agent=Mozilla \ -e 로봇=꺼짐 모두 같은 줄에
옵션-e 로봇=꺼짐 존중 서버 robots.txt를 비활성화합니다.
옵션-O cgi-converted-to-htmlfile.html html 파일 형식의 파일을 filename으로 출력합니다.
cgi-변환-to-htmlfile.html
행운을 빌며 이것이 당신이 원하는 것이기를 바랍니다.