☰

대기열 wget 스크립트

tag-icon • tag-icon ssh wget
대기열 wget 스크립트

wget 스크립트를 작성할 수 있는 PHP 웹사이트 크롤러가 있습니다.

crontab 이 명령은 폴더를 열고 PHP를 통해 모든 파일을 빌드하는 데 사용됩니다.

cd /home/sen/public_html/akwam/orders/
for i in *
do
      sh /home/sen/public_html/akwam/orders/"$i"
    rm -rf /home/sen/public_html/akwam/orders/"$i"
done

php는 폴더에 .txt로 끝나는 파일을 생성한 다음 ssh를 사용하여 실행합니다.

  $ddd = " wget -b -nc --no-check-certificate   $newcommand  \"$url\"  -q -o  /dev/null      ";


  file_put_contents( './orders/' . $t . '.txt', $ddd );

동시에 URL이 넘치지 않도록 wget 스크립트를 대기열에 추가하는 방법이 있습니까(높은 로드)

답변1

대기열처럼 작동하게 만드는 방법을 찾았습니다.

먼저 -bwget 명령에서 제거

두 번째 개선 사항 sh 스크립트가 하나씩 실행되지 않습니다.

모든 것을 한 줄씩 파일로 수집합니다.

do
      cat /home/sen/public_html/akwam/orders/"$i" >>  /plex/final.txt
         echo >> /plex/final.txt
      rm -rf /home/sen/public_html/akwam/orders/"$i"
done

관련 정보