이 웹페이지를 스크랩하려고 하는데 사용자/비밀번호가 필요한 로그인 양식 뒤에 있습니다.
저는 Firefox 디버그 모드를 사용하여 HTTP 요청을 찾습니다. 자격 증명을 입력하면 set-cookie응답 헤더를 반환하는 POST 요청이 발생합니다. 그런 다음 이 쿠키는 GET(사용자/비밀번호 대신) 최종적으로 실제 페이지에 액세스하는 데 사용됩니다. 쿠키에는 만료일이 있습니다.
나는 1- 컬 POST를 통해 해당 쿠키를 가져와서 에 덤프하고 2- 옵션과 함께 cookie.txt다시 컬 GET을 사용해야 한다고 가정합니다.-b cookie.txt아니요사용자/패스를 전달해야 합니다.)
set-cookie명령줄을 통해 curl가져오고 싶습니다 (1단계). POST의 명령으로
Firefox가 수행하는 작업을 복제하려고 합니다 . Copy as cURL이것은 컬 요청을 형성합니다(스위치 내부에 user/pass가 있고 --data-rawa 내부에 short가 있음). 문제는 헤더를 반환하지만 쿠키가 존재하지 않는다는 것입니다. 다운로드한 웹사이트(HTML)는 뭔가 잘못되었음을 보여줍니다. 이제, Forming 후 , , 와 같은 필드가 로그인 페이지마다 변경되는 것 같아서 스크립팅을 통해 채워넣었지만 문제가 해결되지 않았습니다.ASP.NET_SessionId-H 'Cookie: ...--data-raw__VIEWSTATE__VIEWSTATEGENERATOR__EVENTVALIDATIONGET
Firefox에서 복사한 컬 명령을 사용하고 있습니다 -c cookie.txt -D - -v. 헤더에 쿠키를 인쇄하지 않거나 쿠키를 파일에 덤프하지 않습니다.