☰

패턴과 일치하는 여러 파일에 대해 병렬로 명령 실행

tag-icon • tag-icon command-line parallelism
패턴과 일치하는 여러 파일에 대해 병렬로 명령 실행

파일 경로인 단일 인수를 허용하는 명령이 있다고 가정해 보겠습니다.

mycommand myfile.txt

이제 여러 파일, 특히 패턴과 일치하는 파일에서 이 명령을 병렬로 실행하고 싶습니다 myfile*.

이것을 달성하는 쉬운 방법이 있습니까?

답변1

xargs프로세스 교체를 지원하는 GNU 및 셸 사용

xargs -r -0 -P4 -n1 -a <(printf '%s\0' myfile*) mycommand

mycommand최대 4초 동안 병렬로 실행할 수 있습니다.

표준 입력을 사용하지 않는 경우 mycommand다음과 같이 할 수도 있습니다.

printf '%s\0' myfile* | xargs -r -0 -P4 -n1 mycommand

xargs이는 최신 BSD 에도 적용됩니다 .

파일을 재귀적으로 검색하려면 myfile*명령 printf을 다음으로 바꾸세요.

find . -name 'myfile*' -type f -print0

( -type f일반 파일에서만 작동합니다. 해당하는 glob의 경우 필요합니다 zsh. printf '%s\0' myfile*(.))

답변2

루프를 사용하십시오.

for f in myfile*; do
  mycommand "$f" &
done

wait

또는 사용GNU 병렬.

답변3

GNU Parallel을 사용하면 다음과 같습니다:

parallel mycommand ::: myfile*

각 코어는 하나의 작업을 실행합니다.

GNU Parallel은 동일한 컴퓨터 또는 SSH를 통해 액세스할 수 있는 여러 컴퓨터에서 작업을 병렬로 쉽게 실행할 수 있게 해주는 범용 병렬 처리기입니다. 종종 for루프를 대체할 수 있습니다.

4개의 CPU에서 32개의 서로 다른 작업을 실행하려는 경우 병렬화하는 간단한 방법은 각 CPU에서 8개의 작업을 실행하는 것입니다.

간단한 스케줄링

대신, GNU Parallel은 작업이 완료되면 새로운 프로세스를 생성하여 CPU를 활성 상태로 유지하여 시간을 절약합니다.

GNU 병렬 스케줄링

설치하다

배포판에 GNU Parallel이 패키지되어 있지 않으면 루트 액세스 없이 개인 설치를 수행할 수 있습니다. 이 작업은 10초 안에 완료할 수 있습니다.

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

다른 설치 옵션은 다음을 참조하세요.http://git.savannah.gnu.org/cgit/parallel.git/tree/README

더 알아보기

더 많은 예시 보기:http://www.gnu.org/software/parallel/man.html

소개 비디오 보기:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

이 튜토리얼을 살펴보세요:http://www.gnu.org/software/parallel/parallel_tutorial.html

지원을 받으려면 이메일 목록에 가입하세요.https://lists.gnu.org/mailman/listinfo/parallel

관련 정보