한 친구가 나에게 자신의 웹사이트를 약간만 변경해 달라고 요청했습니다. 저는 HTML과 CSS에 익숙하지만 프로세스 속도를 높이기 위한 초기 방법으로 wget을 선택했습니다.
현재는 색인 페이지만 다운로드됩니다(이 사이트의 경우:http://www.controlreps.com/).
이것은 또한 스크립트입니다:
wget --wait=2 --level=inf --limit-rate=20K --recursive --page-requisites --user-agent=Mozilla --no-parent --convert-links --adjust-extension --no-clobber -e robots=off https://examples.com
또한 이 스크립트를 다른 사이트에서 성공적으로 구현할 수 있었다는 점도 주목해야 합니다. 그렇다면 이 사이트를 차단하는 뭔가가 있는 걸까요? 도움을 주시면 감사하겠습니다. 감사합니다!