적절한 시간 내에 주어진 URL에서 모든 링크를 추출하는 방법

지정된 URL에서 링크를 추출하여 파일로 리디렉션하려고 합니다.

처음에는 를 사용해 보았지만 --spider이것이 내 코드입니다.

wget --spider --force-html -m http://file/path 2>&1 | grep '^--' | awk '{ print $3 }'| grep -v '\.\(css\|js\|png\|gif\|jpg\|ico\|txt\)$'| sort | uniq > links.txt

페이지가 너무 많지 않은 URL을 전달하면 제대로 작동하지만 URL이 더 복잡하면 정말 좋은 시간이 걸립니다.

나는 몇 가지 조사를 했고 프로세스 자체를 종료하기 전에 처리된 출력을 인쇄하는 방법을 찾으려고 노력했지만 timeout -s KILL 30어떤 방법도 찾을 수 없었습니다.

그렇다면 적절한 시간 내에 링크를 얻을 수 있는 방법이 있습니까? 아니면 적어도 프로세스를 중단하기 전에 얻은 출력을 인쇄하시겠습니까?

감사해요.