☰

wget/curl이 웹페이지의 모든 소스 코드를 다운로드할 수 없는 이유는 무엇입니까?

tag-icon • tag-icon curl wget
wget/curl이 웹페이지의 모든 소스 코드를 다운로드할 수 없는 이유는 무엇입니까?

이 청원 페이지의 1198페이지 서명을 다운로드해 보았습니다.http://www.musikskatt.se/(하단) 그러나 컬과 wget 모두 생성된 파일에서 서명이 비어 있는 div를 남겨 둡니다.

이 문제를 어떻게 해결할 수 있나요?

(모두 다운로드하려면 grep을 사용하여 특정 이름 등을 검색하세요)

답변1

브라우저의 개발자 도구에서 데이터가 어떻게 수신되는지 확인할 수 있습니다. 즉, 통과XHR게시 대상http://www.musikskatt.se/Home/LoadData매개변수를 사용하면 { 'pageNumber': '1'}이를 얻을 수 있습니다.

당신은 또한 볼 수 있습니다아약스.

답변2

비활성화하는 경우브라우저에서 페이지를 새로 고치면 이름이 렌더링되지 않는 것을 볼 수 있습니다.

이것은 가능한 라이브러리를 갖춘 프로그래밍 언어의 작업이 아닙니다 wget.curljavascript

또는 결국 어떤 요청이 호출되었는지 알아내려고 시도할 수도 있습니다.curl, 브라우저 개발 도구, 네트워크 탭을 탐색하여 이 작업을 수행합니다.

답변3

디렉터리 목록에서 파일을 다운로드하려면 -r(재귀)을 사용하세요.

wget -r www.example.com

관련 정보