최대 100개의 URL을 포함하는 텍스트 파일이 있습니다. 다음을 사용하여 페이지 소스를 얻을 수 있습니다.
cat /path/to/url.txt|xargs curl -o /path/to/output.txt
output.txt이렇게 하면 모든 URL에 대한 페이지 소스가 다운로드되지만(명령줄에서 볼 수 있듯이) 목록 상단에 있는 URL에 대한 페이지 소스 만 저장됩니다 .
각 URL의 페이지 소스를 동일한 텍스트 파일이나 필요한 경우 별도의 텍스트 파일에 어떻게 저장합니까?
감사해요,
답변1
GNU Parallel을 사용하면 여러 URL을 병렬로 가져올 수 있으며 출력 혼합에 대해 걱정할 필요가 없습니다.
cat /path/to/url.txt | parallel curl > /path/to/output.txt
답변2
for i in $(cat urls.txt); do curl "$i" >> output.txt; done
답변3
한 줄에 간단한 URL 목록을 사용하면 작업을 수행하고 모든 것을 단일 파일로 출력해야 합니다.
while read in; do xargs curl -K "$in" >> /path/to/output.txt; done < /path/to/url.txt