명령을 실행 중입니다(정확하게 말하면 pngQuant:https://github.com/pornel/png퀀트) 터미널 창에서. 4개의 터미널 창을 열고 각 창에서 pngQuant 명령을 실행하면 동시에 4배 더 빠르고 효과적으로 4배 많은 이미지를 압축할 수 있다는 것을 알았습니다.
그래서 저는 이 접근 방식을 사용하고 압축하려는 이미지 부분을 각 pngqunat 프로세스에 할당하여 여러 스레드에서 여러 프로세스를 효과적으로 생성했습니다.
제가 했던 이러한 트릭을 수행하지 않고도 여러 스레드에서 명령을 실행할 수 있습니까? 내가 말하고 싶은 것은 "이러한 모든 이미지에 대해 pngQuant 압축을 실행하고 사용 가능한 모든 스레드를 사용하라"는 것입니다.
답변1
moreutilsparallel과 GNUparallel 모두 이 작업을 수행합니다. moreutils와 병행하여 다음과 같습니다.
parallel -j "$(nproc)" pngquant [pngquant-options] -- *.png
nprocavailable-processors() pngQuants를 즉시 실행 하기 위해 사용 가능한 프로세서(스레드) 수를 -j "$(nproc)"각 단일 PNG 파일을 전달하여 출력합니다. 시작 오버헤드가 너무 높으면 다음 -n옵션을 사용하여 더 많은 PNG 파일을 각 실행에 동시에 전달할 수 있습니다. -n 2두 개의 PNG가 각 pngQuant에 전달됩니다.
답변2
GNU 사용 xargs:
find . -type f -name '*.png' -print0 | xargs -r0 -n10 -P "$(nproc)" pngquant
( pngquant호출당 최대 10개의 파일을 압축하여 "$(nproc)" 최대(시스템의 프로세서 수)만큼 동시에 실행)
답변3
GNU Parallel을 사용하면 다음과 같습니다:
parallel pngquant --my-options ::: *.png
또는:
ls | grep \\.png | parallel pngquant --my-options
기본적으로 각 CPU 코어는 하나의 작업을 실행합니다. 귀하의 경우 코어에 있는 작업보다 하나 더 많은 작업을 실행하고 싶을 수도 있습니다.
ls | grep \\.png | parallel -j+1 pngquant --my-options
pngquant데이터를 읽고 쓰는 데 시간이 걸리기 때문입니다 . 이 시간 동안 디스크를 기다리고 CPU를 거의 사용하지 않으므로 유휴 CPU 시간이 있을 수 있습니다. 확실히 알 수 있는 유일한 방법은 어느 것이 더 빠른지 측정하고 확인하는 것입니다.
GNU Parallel은 동일한 컴퓨터 또는 SSH를 통해 액세스할 수 있는 여러 컴퓨터에서 작업을 병렬로 쉽게 실행할 수 있게 해주는 범용 병렬 처리기입니다.
4개의 CPU에서 32개의 서로 다른 작업을 실행하려는 경우 병렬화하는 간단한 방법은 각 CPU에서 8개의 작업을 실행하는 것입니다.
대신, GNU Parallel은 작업이 완료되면 새로운 프로세스를 생성하여 CPU를 활성 상태로 유지하여 시간을 절약합니다.
설치하다
보안상의 이유로 패키지 관리자를 사용하여 GNU Parallel을 설치해야 하지만 GNU Parallel이 배포용으로 패키지되어 있지 않은 경우 루트 액세스가 필요하지 않은 개인 설치를 수행할 수 있습니다. 이 작업은 10초 안에 완료할 수 있습니다.
(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash
다른 설치 옵션은 다음을 참조하세요.http://git.savannah.gnu.org/cgit/parallel.git/tree/README
더 알아보기
더 많은 예시 보기:http://www.gnu.org/software/parallel/man.html
소개 비디오 보기:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
이 튜토리얼을 살펴보세요:http://www.gnu.org/software/parallel/parallel_tutorial.html
지원을 받으려면 이메일 목록에 가입하세요.https://lists.gnu.org/mailman/listinfo/parallel