다운로드하려는 URL 목록이 포함된 텍스트 파일이 있습니다. 다음 URL을 다운로드하기 전에 wget이 기다리기를 원합니다. 나는 그것을 사용하고 있다
cat urls.txt | xargs -n1 -i wget --wait=30 {}
그러나 URL 사이에는 대기가 없습니다. wget의 --wait 옵션을 사용할 수 있나요? 다른 옵션?
답변1
이는 각 URL에 대해 wget이 new로 호출되기 때문입니다. 이 -i
옵션을 사용하여 다음에 대한 URL 목록을 제공합니다 wget
.
$ wget -i urls.txt --wait=30
매뉴얼에서:
-i file
--input-file=file
Read URLs from a local or external file. If - is specified as file,
URLs are read from the standard input. (Use ./- to read from a file
literally named -.) If this function is used, no URLs need be present
on the command line. If there are URLs both on the command line and in
an input file, those on the command lines will be the first ones to be
retrieved. If --force-html is not specified, then file should consist
of a series of URLs, one per line.
However, if you specify --force-html, the document will be regarded as
html. In that case you may have problems with relative links, which
you can solve either by adding "<base href="url">" to the documents or
by specifying --base=url on the command line.
If the file is an external one, the document will be automatically
treated as html if the Content-Type matches text/html. Furthermore,
the file's location will be implicitly used as base href if none was
specified.