slurm 클러스터에 대한 qsub와 유사한 동작

slurm 클러스터에 대한 qsub와 유사한 동작

나는 최근에 slurm으로 전환하여 qsub처럼 작동하는 작업 제출 도구를 찾고 있습니다.

  1. 파이프를 통해 입력을 받습니다.
  2. 출력을 표준 출력으로 인쇄합니다.

예:

for n in `seq 1 10`; do 
    echo "echo $n" | qsub
done

각 echo 명령은 클러스터로 전송되어야 하며 출력은 1..10(아마도 무작위 순서)이어야 합니다.

지금까지는 할 수 있어요

  1. sbatch를 사용하여 작업을 병렬로 보내지만 출력이 stdout으로 출력되는지 확실하지 않음
  2. srun을 사용하여 작업을 보내면 순서대로 하나씩 작동합니다.

어떤 제안이 있으십니까?

답변1

테스트되지 않음:

seq 10 | parallel -j0 -q srun 'echo begin {};sleep 0.{};echo done {}'

작동하는 경우 --keep-order출력을 올바른 순서로 유지하는 데 사용하십시오.

seq 10 | parallel -j0 -q --keep-order srun 'echo begin {};sleep 0.{};echo done {}'

관련 정보