내 12코어 컴퓨터의 파일에서 실행될 150개의 CLI 명령 모음이 있습니다. 백그라운드에서 150개의 작업을 모두 실행하면 시스템이 정체되며, 경험상 12~18개의 작업을 실행하는 것이 최적이라는 것을 알았습니다.
과거에는 150개의 명령을 12개 또는 13개의 배치 파일로 분할하고 각각을 실행하기 위해 분할 명령을 사용했습니다. 그러나 일부 배치 파일은 다른 배치 파일보다 먼저 완료되고 나머지 9개 또는 8개 코어는 유휴 상태인 반면 완료하는 데 시간이 더 오래 걸리는 3~4개의 배치 파일이 생성됩니다.
내 목표는 150개의 CLI 명령이 모두 실행될 때까지 12개의 코어를 모두 계속 실행하는 것입니다.
각 프로세서가 150개의 CLI 명령 목록에서 작업을 가져오고, 해당 명령을 실행 중인 것으로 표시하고, 나머지 11개의 프로세서가 150개의 프로세서가 모두 완료될 때까지 자체 항목을 가져오도록 할 수 있습니까? 프로세서는 서로 넘어지지 않습니다. 동일한 CLI 명령을 가져오시겠습니까? 작성된 파일은 고유해야 합니다.
이를 수행하는 쉬운 방법이 있습니까?
답변1
GNU Parallel을 사용하면 다음과 같습니다:
cat 150commands.txt | parallel
각 코어는 하나의 작업을 실행합니다.
GNU Parallel은 동일한 컴퓨터 또는 SSH를 통해 액세스할 수 있는 여러 컴퓨터에서 작업을 병렬로 쉽게 실행할 수 있게 해주는 범용 병렬 처리기입니다. 종종 for루프를 대체할 수 있습니다.
4개의 CPU에서 32개의 서로 다른 작업을 실행하려는 경우 병렬화하는 간단한 방법은 각 CPU에서 8개의 작업을 실행하는 것입니다.
대신, GNU Parallel은 작업이 완료되면 새로운 프로세스를 생성하여 CPU를 활성 상태로 유지하여 시간을 절약합니다.
설치하다
배포판에 GNU Parallel이 패키지되어 있지 않으면 루트 액세스 없이 개인 설치를 수행할 수 있습니다. 이 작업은 10초 안에 완료할 수 있습니다.
(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash
다른 설치 옵션은 다음을 참조하세요.http://git.savannah.gnu.org/cgit/parallel.git/tree/README
더 알아보기
더 많은 예시 보기:http://www.gnu.org/software/parallel/man.html
소개 비디오 보기:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
이 튜토리얼을 살펴보세요:http://www.gnu.org/software/parallel/parallel_tutorial.html
지원을 받으려면 이메일 목록에 가입하세요.https://lists.gnu.org/mailman/listinfo/parallel