wget으로 크롤링된 링크의 리퍼러를 얻거나 찾을 수 있는 방법이 있습니까?
링크가 400 오류를 반환한다고 가정합니다. wget은 오류 URL의 리퍼러가 아닌 400 오류가 발생한 URL만 표시합니다. 가능하다면 Linux의 wget과 유사한 유틸리티를 제공하거나 이를 수행하기 위한 wget 옵션을 제공하십시오.
답변1
리퍼러는 요청 헤더의 일부로 전달됩니다. .을 사용하여 디버깅을 켜면 Wget이 이를 인쇄합니다 -d. 그런 다음 grep을 사용하여 "리퍼러"를 찾습니다(디버그 출력이 stderr에 기록될 수 있음에 유의).