나는 많은 수(1000개 이상)의 URL이 포함된 파일을 처리하기 위해 xargs
+를 사용하고 있습니다.curl
파일이 files.txt
좀 그렇네요
...
https://some.image.jpg?{foo}.{bar}
...
나는 뛰고있어
xargs -n 1 curl -o "#1.#2" < files.txt
이는 some.image.jpg
파일에 올바르게 다운로드되지만 foo.bar
처음 40개 정도의 URL에 대해서만, 때로는 더 많거나 때로는 더 적습니다. 그러면 오류와 함께 종료됩니다
curl: (6) Could not resolve host: h
깨진 URL 앞의 목록에서 모든 URL을 제거하고 다시 실행하면 이번에는 URL(현재 첫 번째 URL)이 작동하지만 이제는 다시는 중단되지 않습니다. 80(각각 40), 동일한 오류가 발생했습니다.
따라서 URL에는 문제가 없으며, 수동 다운로드에도 문제가 없습니다.
저는 GOW(https://github.com/bmatzelle/gow/wiki) Windows에서.
답변1
문제는 xargs
for 루프를 사용하여 원활하게 작동하기 때문에 발생하는 것 같습니다.
FOR /F %i IN (files.txt) DO curl -o "#1.#2" %i