☰

Bash 스크립트의 병렬성

tag-icon • tag-icon shell-script parallelism
Bash 스크립트의 병렬성

n개의 진술 s1, s2, s3,..., sn을 고려해 보겠습니다. 각 문에는 무한한 실행 단계가 있으며 모든 문을 병렬로 실행하고 싶습니다.

내 쉘 스크립트는 다음과 같습니다

s1 
s2 
s3
.
.
.
sn

인터리빙이 발생하도록 코드를 어떻게 변경합니까?

답변1

각 명령문을 백그라운드에서 실행하도록 요구하면 원하는 결과를 얻을 수 있는 것처럼 들립니다.

s1 &
s2 &
...
sn &
wait

(이 wait명령을 사용하면 모든 백그라운드 작업이 완료될 때까지 스크립트가 포그라운드에서 실행됩니다.)

더 많은 제어가 필요하면 GNU 병렬 처리를 사용하는 것이 좋습니다.

답변2

GNU Parallel은 이를 위해 탄생했습니다:

cat file_with_commands | parallel

기본적으로 각 CPU 코어는 하나의 작업을 실행합니다. 핵심 그 이상을 원한다면:

parallel -j200 < file_with_commands

명령이 매우 유사한 경우:

parallel s{} ::: {1..100}

병렬로 실행 됩니다 s1....s2s100

GNU Parallel은 동일한 컴퓨터 또는 SSH를 통해 액세스할 수 있는 여러 컴퓨터에서 작업을 병렬로 쉽게 실행할 수 있게 해주는 범용 병렬 처리기입니다.

4개의 CPU에서 32개의 서로 다른 작업을 실행하려는 경우 병렬화하는 간단한 방법은 각 CPU에서 8개의 작업을 실행하는 것입니다.

간단한 스케줄링

대신, GNU Parallel은 작업이 완료되면 새로운 프로세스를 생성하여 CPU를 활성 상태로 유지하여 시간을 절약합니다.

GNU 병렬 스케줄링

설치하다

보안상의 이유로 패키지 관리자를 사용하여 GNU Parallel을 설치해야 하지만 GNU Parallel이 배포용으로 패키지되어 있지 않은 경우 루트 액세스가 필요하지 않은 개인 설치를 수행할 수 있습니다. 이 작업은 10초 안에 완료할 수 있습니다.

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

다른 설치 옵션은 다음을 참조하세요.http://git.savannah.gnu.org/cgit/parallel.git/tree/README

더 알아보기

더 많은 예시 보기:http://www.gnu.org/software/parallel/man.html

소개 비디오 보기:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

이 튜토리얼을 살펴보세요:http://www.gnu.org/software/parallel/parallel_tutorial.html

지원을 받으려면 이메일 목록에 가입하세요.https://lists.gnu.org/mailman/listinfo/parallel

관련 정보