몇 가지 사항을 명확히 하기 위해 2022년 11월 13일(DD-MM-YYYY)에 수정되었습니다.
저는 CloudFlare로 보호되는 웹사이트의 텍스트 콘텐츠를 간단히 읽고 싶습니다.예, 저는 이 보호 기능이 스팸 봇이 해를 끼치는 것을 방지하는 데 유용하다는 것을 알고 있습니다. 하지만 난 혼자야내 인간성을 증명할 기회조차 얻지 못한 것 같았습니다. 내가 원하는 것은 텍스트 브라우저로 웹사이트를 읽는 것뿐입니다. 인간이 할 수 있는 것처럼 일부 정보를 저장하는 것이 더 나을 것입니다.
나는 문명인처럼 단순히 웹사이트의 텍스트 내용을 읽는 것이 잘못되거나 심지어 불법이라고 생각하지 않습니다.그것이 애초에 웹사이트가 정보를 제공하는 이유가 아닐까요?
안녕하세요 스택익스체인지 커뮤니티입니다!
코딩하는 동안 몇 시간 동안 조사하고 다양한 작업을 시도한 후... 이제 가장 좋은 방법은 여기에서 찾을 수 있는 Linux 및 프로그래밍 전문가에게 문의하는 것입니다.
그래서,내 작업은 실제로 매우 간단합니다.. (예: 일괄 처리)를 실행하고 싶습니다.스크립트, 웹사이트를 방문하고HTML 출력 저장텍스트 파일로.
문제가 있는웹사이트 정보: 예CloudFlare로 보호됨;자바스크립트필요,린스는 지원하지 않습니다).
따라서 저는 Java나 Linux를 어떤 방식으로든(예: 일괄 처리) 사용하여 간단한 솔루션을 개발하고 싶습니다. 그래야만 해최대한 가볍게-거긴 내 집이야두통시작된 것 같습니다.
다양한 프로그래밍 언어에 대한 모든 헤드리스(텍스트) 브라우저를 요약하는 것을 목표로 하는 온라인 목록을 github에서 발견했습니다. 불행하게도 대부분은 약 20개의 종속성을 사용해야 하는데, 제 생각에는 이는 적절하지도 실현 가능하지도 않습니다.
또한 StackOverflow에 대해 조사하는 동안 상당히 비슷한 질문을 발견했습니다. 이 솔루션처럼:컬이나 wget을 사용하여 URL을 다운로드할 수 없지만 브라우저에서는 작동합니다.
따라서 컬을 사용하고 일부 시작 매개변수를 전달한 다음 이를 사용하여 JavaScript/CloudFlare 장애물을 극복하는 솔루션이 있는 것 같습니다.
그러나 이 코드를 작동시킬 수 없을 것 같습니다.
이것은 또한 내 문제를 꽤 잘 요약한 것 같지만 불행히도 나에게는 대답이 없습니다.JS를 지원하는 브라우저를 사용하여 웹 페이지를 저장하기 위한 명령줄 도구
다음에 볼 위치에 대한 조언을 줄 수 있는 사람이 있나요?
내 작은 프로젝트는 중요합니다. 가능한 한 가볍고 인간의 사용자 상호 작용이 필요하지 않습니다!
친애하는 커뮤니티 여러분, 어떤 방식으로든 저를 도와주셔서 정말 감사합니다! 안부 인사 - 전문가 여러분의 의견을 기다리겠습니다 :-)