xargs 병렬 모드를 사용하여 출력을 단일 파일로 안전하게 리디렉션

jqxargs를 사용하여 병렬로 읽고, 몇 가지 간단한 처리를 수행 하고 출력을 다음과 같은 파일로 리디렉션하는 bzipped JSON 파일이 많이 있습니다 .

# Number of workers is one less than the number of cores
NUM_WORKERS=$(($(nproc) - 1))
NUM_WORKERS=$((NUM_WORKERS > 0 ? NUM_WORKERS : 1))

# List all bzipped files and process them with xargs in parallel
ls *.jsonl.bz2 | \
xargs -n 1 -P ${NUM_WORKERS} -I {} sh -c "bzcat | jq -c '{id,name}'" > output.jsonl

나는 12개의 코어 프로세서를 가지고 있으며 명령을 실행할 때 모두 작동합니다. 그러나 출력 파일에는 여러 작업자의 출력이 함께 혼합되어 있는 것으로 나타났습니다.

head -5 output.jsonl
{"id": "0", "name": "Name0"}
{"id": "1", "name": "Name1"}
{"id": "2", {"id": "3", "name": "Name3"}"name": "Name2"}
{"id": "4", "name": "Name4"}
{"id": "5", "name": {"id": "7", "name": "Name7"}"Name5"}
{"id": "6", "name": "Name6"}
{"id": "8", "name": "Name8"}
{"id": "9", "name": "Name9"}

각 작업자의 출력을 별도의 임시 파일에 기록한 다음 나중에 연결할 수 있다는 것을 알고 있지만 여러 임시 파일을 만들지 않고 위의 문제를 피할 수 있는 방법이 있습니까?

감사해요!