URL 목록을 컬링하고 싶습니다(예:https://example.com/sitemap.xml
이 목표에 가장 가까운 것은
xargs curl --referer https://mywebsite.ca --user-agent "It me yo" < listofurls.txt > /dev/null
잘 작동하고 필요한 URL에 액세스할 수 있지만 로컬 파일 이외의 다른 항목은 사용할 수 없는 것 같습니다. 또한 이미 존재하고 자체적으로 유지 관리되는 목록(sitemap.xml)을 활용하고 싶습니다.