☰

스크립트는 어떻게 동시에 여러 프로세스를 실행할 수 있나요?

tag-icon • tag-icon scripting
스크립트는 어떻게 동시에 여러 프로세스를 실행할 수 있나요?

내 코드에서 여러 프로세스를 동시에 실행하고 싶습니다. 이것아래 예코드와 소스는 다음과 같습니다.스택익스체인지(유닉스&리눅스)웹사이트.

> #!/bin/bash
> for i in $(cat lis.txt); do
>      echo "$i"
>      wait
>      mkdir "$i"
>  done

이 간단한 코드는 텍스트 파일에 포함된 이름 목록에서 디렉터리 목록을 생성하도록 설계되었습니다. 코드를 실행하면 폴더가 하나씩 생성됩니다. 모든 폴더를 동시에 생성하려면, 즉 모든 작업을 동시에 수행하려면 이 코드를 어떻게 수정해야 합니까?

답변1

스크립트는 의 각 줄에 대한 디렉터리를 생성합니다 list.txt. 공백을 처리할 수 있지만 다른 이상한 문자(예: \r or\t` 등은 처리할 수 없지만 여기서는 문제가 되지 않습니다):

#!/usr/bin/env bash
while IFS= read -r dir
do
  mkdir -- "$dir" &
done < list.txt

&스크립트가 완료될 때까지 기다리지 않고 즉시 계속되도록 작업을 백그라운드로 보냅니다 mkdir. 이는 거의 확실하게 감지할 수 없지만 mkdir다른 작업에서는 중요할 수 있습니다.

나중에 참고할 수 있도록 임의의 문자를 처리할 수 있어야 하는 경우 대신 를 사용하세요 read -r. 또한 더 복잡한 병렬화 작업에 대해서는 다음을 확인하세요.GNU 병렬.

답변2

GNU Parallel이 있는 경우 다음 중 하나를 수행할 수 있습니다.

parallel mkdir :::: list.txt
parallel -a list.txt mkdir
cat list.txt | parallel mkdir

모든 새 컴퓨터에는 다중 코어가 있지만 대부분의 프로그램은 본질적으로 직렬이므로 다중 코어를 사용하지 않습니다. 그러나 많은 작업은 매우 병렬화 가능합니다.

  • 여러 파일에서 동일한 프로그램 실행
  • 파일의 각 줄에 대해 동일한 프로그램을 실행합니다.
  • 파일의 각 블록에 대해 동일한 프로그램을 실행합니다.

GNU Parallel은 동일한 컴퓨터 또는 SSH를 통해 액세스할 수 있는 여러 컴퓨터에서 작업을 병렬로 쉽게 실행할 수 있게 해주는 범용 병렬 처리기입니다.

4개의 CPU에서 32개의 서로 다른 작업을 실행하려는 경우 병렬화하는 간단한 방법은 각 CPU에서 8개의 작업을 실행하는 것입니다.

간단한 스케줄링

대신, GNU Parallel은 작업이 완료되면 새로운 프로세스를 생성하여 CPU를 활성 상태로 유지하여 시간을 절약합니다.

GNU 병렬 스케줄링

설치하다

배포판에 GNU Parallel이 패키지되어 있지 않으면 루트 액세스 없이 개인 설치를 수행할 수 있습니다. 이 작업은 10초 안에 완료할 수 있습니다.

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

다른 설치 옵션은 다음을 참조하세요.http://git.savannah.gnu.org/cgit/parallel.git/tree/README

더 알아보기

더 많은 예시 보기:http://www.gnu.org/software/parallel/man.html

소개 비디오 보기:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

이 튜토리얼을 살펴보세요:http://www.gnu.org/software/parallel/parallel_tutorial.html

지원을 받으려면 이메일 목록에 가입하세요.https://lists.gnu.org/mailman/listinfo/parallel

관련 정보