항상 "x" 인스턴스를 병렬로 실행하려는 스크립트가 있습니다.
코드는 다음과 같습니다.
for A in
do
for B in
do
(script1.sh $A $B;script2.sh $A $B) &
done #B
done #A
스크립트 자체는 데이터베이스 쿼리를 실행하므로 병렬로 실행하면 이점이 있습니다. 문제는
1) "대기"가 작동하지 않습니다(모든 백그라운드 작업을 완료하고 새 작업을 시작하기 때문입니다(스레드 카운터를 포함하더라도). 이는 많은 시간을 낭비합니다.
2) 병렬로 수행하는 방법을 모르겠습니다. 다른 매개변수를 사용하지 않고 동일한 스크립트를 여러 번 실행하는 예만 찾았습니다.
3) 대체 솔루션은 다음과 같습니다.
for A in
do
for B in
do
while threadcount>X
do
sleep 60
done
(script1.sh $A $B;script2.sh $A $B) &
done #B
done #A
그러나 나는 신뢰할 수 있는 스레드 수를 얻는 방법을 실제로 알아내지 못했습니다.
올바른 방향으로의 몇 가지 조언을 환영합니다.
병렬성을 사용하고 싶지만 문서에 나와 있는 대로 작동하지 않습니다.
그래요
parallel echo ::: A B C ::: D E F
(문서에서) 그것은 나에게 말한다
parallel: Input is read from the terminal. Only experts do this on purpose. Press CTRL-D to exit.
이것은 매뉴얼 페이지의 가장 간단한 예일 뿐입니다.
답변1
GNU Parallel을 사용하면 다음과 같습니다:
parallel script1.sh {}';' script2.sh {} ::: a b c ::: d e f
CPU당 하나의 작업을 생성합니다.
GNU Parallel은 동일한 컴퓨터 또는 SSH를 통해 액세스할 수 있는 여러 컴퓨터에서 작업을 병렬로 쉽게 실행할 수 있게 해주는 범용 병렬 처리기입니다. 종종 for루프를 대체할 수 있습니다.
4개의 CPU에서 32개의 서로 다른 작업을 실행하려는 경우 병렬화하는 간단한 방법은 각 CPU에서 8개의 작업을 실행하는 것입니다.
대신, GNU Parallel은 작업이 완료되면 새로운 프로세스를 생성하여 CPU를 활성 상태로 유지하여 시간을 절약합니다.
설치하다
배포판에 GNU Parallel이 패키지되어 있지 않으면 루트 액세스 없이 개인 설치를 수행할 수 있습니다. 이 작업은 10초 안에 완료할 수 있습니다.
(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash
다른 설치 옵션은 다음을 참조하세요.http://git.savannah.gnu.org/cgit/parallel.git/tree/README
더 알아보기
더 많은 예시 보기:http://www.gnu.org/software/parallel/man.html
소개 비디오 보기:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
이 튜토리얼을 살펴보세요:http://www.gnu.org/software/parallel/parallel_tutorial.html
지원을 받으려면 이메일 목록에 가입하세요.https://lists.gnu.org/mailman/listinfo/parallel
답변2
나는 xargs를 사용하여 이 작업을 수행할 수 있다고 생각합니다.
for A in a b c
do
for B in d e f
do
echo $A $B; done; done | xargs -I {} -P4 bash -c "script1.sh {}; script2.sh {}"
-P4는 4개의 인스턴스를 병렬로 실행하는 것을 의미하며 이에 대한 값을 지정해야 합니다.