0바이트로 구분된 레코드 파일이 있습니다.
Record 1, Line 1
Record 1, Line 2
[zero byte]
Record 2, Line 1
Record 2, Line 2
각 레코드에 대해 "process.sh" 명령을 한 번씩 실행하고 해당 레코드를 표준 입력으로 사용하고 싶습니다.
bash process-one-record-stdin.sh <record-contents
이를 수행하기 위해 xargs, 병렬 또는 기타 도구를 사용할 수 있습니까? (Bash 스크립트를 사용하는 방법을 알고 있지만 가능하면 내장 도구를 사용하는 것을 선호합니다)
동기 부여:
magic-xargs-type-command-here -0 all-records.txt -- xargs -d"\n" -- bash process-one-record-arguments.sh
답변1
GNU Parallel이 있다면 다음과 같이 할 수 있습니다:
parallel --rrs --recend '\0' -N1 --pipe bash process-one-record-stdin.sh <record-contents
모든 새 컴퓨터에는 다중 코어가 있지만 대부분의 프로그램은 본질적으로 직렬이므로 다중 코어를 사용하지 않습니다. 그러나 많은 작업은 매우 병렬화 가능합니다.
- 여러 파일에서 동일한 프로그램 실행
- 파일의 각 줄에 대해 동일한 프로그램을 실행합니다.
- 파일의 각 블록에 대해 동일한 프로그램을 실행합니다.
GNU Parallel은 동일한 컴퓨터 또는 SSH를 통해 액세스할 수 있는 여러 컴퓨터에서 작업을 병렬로 쉽게 실행할 수 있게 해주는 범용 병렬 처리기입니다.
4개의 CPU에서 32개의 서로 다른 작업을 실행하려는 경우 병렬화하는 간단한 방법은 각 CPU에서 8개의 작업을 실행하는 것입니다.
대신, GNU Parallel은 작업이 완료되면 새로운 프로세스를 생성하여 CPU를 활성 상태로 유지하여 시간을 절약합니다.
설치하다
배포판에 GNU Parallel이 패키지되어 있지 않으면 루트 액세스 없이 개인 설치를 수행할 수 있습니다. 이 작업은 10초 안에 완료할 수 있습니다.
(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash
다른 설치 옵션은 다음을 참조하세요.http://git.savannah.gnu.org/cgit/parallel.git/tree/README
더 알아보기
더 많은 예시 보기:http://www.gnu.org/software/parallel/man.html
소개 비디오 보기:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
이 튜토리얼을 살펴보세요:http://www.gnu.org/software/parallel/parallel_tutorial.html
지원을 받으려면 이메일 목록에 가입하세요.https://lists.gnu.org/mailman/listinfo/parallel
답변2
xarg를 사용하여 이 작업을 수행할 수 있나요?
xargs의 경우 사용 가능한 옵션은 다음과 같습니다.
--null -0 공백 대신 null 문자로 항목을 종료합니다.
-n max-args 명령줄당 최대 max-args개의 인수를 사용합니다.
$ echo -ne "line 111\0000line 222\0000\0000line 333\0000\0000" | \
xargs -I '{}' --null -n 1 bash -c "echo handling this input: '{}'. OK"
handling this input: line 111. OK
handling this input: line 222. OK
handling this input: . OK
handling this input: line 333. OK
handling this input: . OK