나는 최근에 slurm으로 전환하여 qsub처럼 작동하는 작업 제출 도구를 찾고 있습니다.
- 파이프를 통해 입력을 받습니다.
- 출력을 표준 출력으로 인쇄합니다.
예:
for n in `seq 1 10`; do
echo "echo $n" | qsub
done
각 echo 명령은 클러스터로 전송되어야 하며 출력은 1..10(아마도 무작위 순서)이어야 합니다.
지금까지는 할 수 있어요
- sbatch를 사용하여 작업을 병렬로 보내지만 출력이 stdout으로 출력되는지 확실하지 않음
- srun을 사용하여 작업을 보내면 순서대로 하나씩 작동합니다.
어떤 제안이 있으십니까?
답변1
테스트되지 않음:
seq 10 | parallel -j0 -q srun 'echo begin {};sleep 0.{};echo done {}'
작동하는 경우 --keep-order
출력을 올바른 순서로 유지하는 데 사용하십시오.
seq 10 | parallel -j0 -q --keep-order srun 'echo begin {};sleep 0.{};echo done {}'