전체 HTML 소스 코드를 다운로드하고 싶습니다.엑스웹페이지가 말려 있지만X링크페이지의 HTML 소스 코드 일부를 반환합니다.스크롤이 필요함더보기. 컬은 "아래로 스크롤"을 넘어서는 것 같지 않습니다.
지금까지는 이 작업을 수동으로만 수행할 수 있습니다.
1) 원하는 웹 사이트로 이동합니다.
2) 브라우저 콘솔에서 다음 명령을 실행하여 자동 스크롤합니다(각 개체 로드).
var scroll = setInterval(function(){ window.scrollBy(0,1000); }, 2000);
3) 검사한 요소에서 전체 HTML 소스 코드를 복사합니다.
따라서 문제는 curl위 단계와 동일한 결과를 얻기 위해 터미널에 출력하기 전에 전체 웹 페이지 콘텐츠를 가져오도록(모든 개체가 로드될 때까지 스크롤) 명령을 어떻게 실행할 수 있느냐는 것입니다. 함께가 아니라면 curl어쩌면 wget?
답변1
curl본격적인 브라우저는 아니며 내가 아는 한 JavaScript 실행을 지원하지 않습니다. HTTP/FTP를 사용하여 파일을 가져오는 것이 전부입니다. 기본 HTTP 요청에 도달할 수 없는 스크립트나 기타 도구에 의존하는 기능을 테스트하려면 Selenium과 같은 보다 심층적인 테스트 제품군을 살펴보는 것이 좋습니다.
답변2
이를 수행하는 유일한 방법은 실행하려면 Javascript가 필요하므로 웹 브라우저를 에뮬레이트하는 것입니다. Selenium을 사용하여 이 작업을 수행할 수 있어야 하지만 Python을 사용하여 프로그래밍이 필요할 것입니다.
셀레늄 링크:https://www.seleniumhq.org/