병렬 프로세스의 실행을 기다리고 출력을 함께 연결하는 방법은 무엇입니까?

Question 1

split -l $Y main.tsv main_part_
for part in main_part_*; do
    program $part &
done
wait
echo "all done"

waitbash 내장 기능입니다. 자세한 내용은 매뉴얼 페이지를 참조하세요.

Answer

split -l $Y main.tsv main_part_
for part in main_part_*; do
    program $part &
done
wait
echo "all done"

waitbash 내장 기능입니다. 자세한 내용은 매뉴얼 페이지를 참조하세요.

Question 2

Giles가 이미 의견에서 지적했듯이.GNU 병렬분할된 세그먼트의 재결합 순서를 분할하고 유지하는 기능이 내장되어 있으므로 이 작업에 이상적입니다. 일반적으로 행별로 분할되지만 이에 대한 특정 레코드 시작 및 끝을 지정하고 모든 분할 작업에 대해 헤더를 반복하도록 명령할 수 있습니다(탭으로 구분된 값 파일인 경우 .tsv이는 열 헤더일 수 있으며 더 쉽습니다.) 당신을 위해 글을 쓰겠습니다.) 나는 이것을 사용했다병렬 실행xz.

핸들러가 표준 입력에서 입력을 가져와 표준 출력에 출력을 쓰는 필터인 경우 이 작업이 가장 쉽습니다. 다음은 Python 프로그램이 호출된다고 가정합니다.xyz

기본 통화는

cat input.tsv | parallel --pipe -k xyz > output.tsv

이 --pipe옵션을 사용하면 병렬 처리가 입력을 데이터로 해석하여 호출을 위해 프로그램으로 전송되고(다른 모드가 있음) -k출력 순서를 유지하게 됩니다.

매뉴얼 섹션--pipe세부 블록 크기, 기록 시작 및 끝(기본적으로 중복되지만 숨길 수 있음) 및 중복 헤더.

프로그램에 명령줄 옵션이 필요한 경우 xyz출력 리디렉션 전에 명령줄에서 해당 옵션을 지정할 수 있습니다( > ..).

--pipepart최신 버전이 있는 경우(어쨌든 그래야 함) 입력이 파일(예: 탐색)이라고 가정하고 레코드 및 줄 수를 사용하지 않는 보다 효율적인 옵션을 사용할 수 있습니다 .

 parallel -a input.tsv --pipepart -k xyz > output.tsv

Answer