파일을 중복 다운로드하지 않고 wget 참조를 로컬 복사본으로 만듭니다.

파일을 중복 다운로드하지 않고 wget 참조를 로컬 복사본으로 만듭니다.

메시지 게시판을 보관하고 싶습니다. 매개변수( --page-requisites, --span-hosts및 )와 함께 wget을 사용하여 이를 수행합니다 --convert-links.--no-clobber

문제는 --convert-links비활성화된 을 사용하는 것입니다 --no-clobber. 각 테마 페이지에 대해 wget은 사이트 스킨, 스크립트 및 아이콘을 다시 다운로드합니다(업데이트된 상태를 유지하기 위해).

wget이 이미 로컬에 존재하는 파일을 다운로드하고, 파일을 로컬 복사본에 연결하고, 파일 시스템에 아직 존재하지 않는 파일만 다운로드하는 것을 방지하는 방법이 있습니까?

답변1

해당 스위치를 포함하면 타임스탬프를 강제로 사용 -N하게 될 것이라고 생각합니다.wget

   -N
   --timestamping
       Turn on time-stamping.

이 스위치를 사용하면 wget로컬에 아직 존재하지 않는 파일만 다운로드됩니다.

robots.txt아직 로컬에 존재하지 않는 파일을 다운로드합니다.

$ wget -N http://google.com/robots.txt
--2014-06-15 21:18:16--  http://google.com/robots.txt
Resolving google.com (google.com)... 173.194.41.9, 173.194.41.14, 173.194.41.0, ...
Connecting to google.com (google.com)|173.194.41.9|:80... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: http://www.google.com/robots.txt [following]
--2014-06-15 21:18:17--  http://www.google.com/robots.txt
Resolving www.google.com (www.google.com)... 173.194.46.83, 173.194.46.84, 173.194.46.80, ...
Connecting to www.google.com (www.google.com)|173.194.46.83|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/plain]
Saving to: ‘robots.txt’

    [ <=>                                                                                                                                 ] 7,608       --.-K/s   in 0s      

2014-06-15 21:18:17 (359 MB/s) - ‘robots.txt’ saved [7608]

로컬 파일을 사용하여 다시 시도해 보세요 robots.txt.

$ wget -N http://google.com/robots.txt
--2014-06-15 21:18:19--  http://google.com/robots.txt
Resolving google.com (google.com)... 173.194.41.8, 173.194.41.9, 173.194.41.14, ...
Connecting to google.com (google.com)|173.194.41.8|:80... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: http://www.google.com/robots.txt [following]
--2014-06-15 21:18:19--  http://www.google.com/robots.txt
Resolving www.google.com (www.google.com)... 173.194.46.82, 173.194.46.83, 173.194.46.84, ...
Connecting to www.google.com (www.google.com)|173.194.46.82|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/plain]
Server file no newer than local file ‘robots.txt’ -- not retrieving.

두 번째부터는 wget파일이 다시 검색되지 않습니다.

관련 정보