☰

wget을 사용하여 웹페이지에서 참조하는 문서 다운로드

tag-icon • tag-icon wget json
wget을 사용하여 웹페이지에서 참조하는 문서 다운로드

웹페이지에서 가리키는 모든 문서를 다운로드하기 위해 wget을 사용하고 싶습니다.

wget을 실행하면 웹페이지가 링크되는 모든 것이 아니라 웹페이지만 다운로드됩니다.

wget --content-disposition -v -S -r -nc -np -Kk -px --ignore-length \
     --content-disposition --proxy-user "XYZ" --proxy-passwd "PASS" \
     --no-check-certificate --load-cookies=cookies.txt --keep-session-cookies \
     'https://www.website.com/link/live?func=lab&objId=174914395&objAction=browse&viewType=1'

Wget은 한 페이지만 다운로드합니다. 즉, https://www.website.com/link/live?func=lab&objId=174914395&objAction=browse&viewType=1페이지에는 다음이 포함됩니다.

DataStringToVariables( '( {"currentPageNum":1,"totalPages":1,"totalCount":21,"dbTimeTaken":0,"timeTaken":1,"haveBigImages":"fa lse1","myrows":[{"dataId":"177020845","type2":"184","typeName":"Document","name":"Action_Mar_JKill%2Exls", etc.

xls, docs, pdf 등이 많이 있지만 wget은 이를 다운로드하지 않습니다. 어떻게 다운로드할 수 있나요?

답변1

귀하의 질문을 이해했는지 잘 모르겠지만 어쨌든 답변해 드리겠습니다.

URL에서 얻는 내용은 다음과 같습니다.JSONP, 그러나 JSONP는 wget에서 전혀 처리되지 않습니다. wget매뉴얼 페이지에 설명된 대로 다운로더만 있으면 됩니다 wget.

GNU Wget은 웹에서 비대화형 파일 다운로드를 위한 무료 유틸리티입니다.

wget수신된 데이터의 구문 분석은 지원되지 않습니다. 데이터를 구문 분석하려면 다른 프로그래밍 언어를 사용하여 여기에서 수신된 데이터를 가져와 처리하세요.

일종의 쉘 스크립트를 작성한다고 가정하면 다음을 사용할 수도 있습니다.제삭데이터를 검색합니다. 바라보다이 답변예를 들어.

JSON(P)을 구문 분석한 후 확장자가 .JSON(P) 데이터에 나열된 파일을 다운로드할 수 있습니다 wget.

관련 정보