for 루프를 병렬로 실행하기 [닫기]

for 루프를 병렬로 실행하기 [닫기]

Linux의 병렬 스크립팅에 관해 질문이 있습니다.

컨텍스트: 많은 .dat 파일을 처리해야 합니다.

지금까지 내 코드는 다음과 같습니다.

#!/bin/bash
#PBS -S /bin/bash
# set parallel parameters 
#PBS -r n 
#PBS -l walltime=2:00:00 
#PBS -l procs=298 
#PBS -l pmem=1600m 
#PBS -m bea 
#PBS -M [email protected]
#PBS -N FileName

cd /home/user/Data/
# start matlab
module load matlab/2015b
# Choose the MCR directory according to the compiler version used
MCR=/global/software/matlab/mcr/v90
# set up matlab compiler
mcc -R -nodisplay -R -singleCompThread -R -logfile,ResultsOutput.txt -K -m -v -w enable FileName.m

# cycle through all files
# does the for loop send it to different nodes?
for fileID in *.dat
do
  echo "Running on host: `hostname`"
  echo "Current working directory is `pwd`"
  echo "Starting run at: `date`" 
  echo "$fileID"

  ./run_FileName.sh $MCR $fileID > Results_${PBS_JOBID}.out &

  echo "Job finished at: `date`"    
done

결과를 보존해야 합니까? ?

답변1

확인해보시면 될 것 같아요GNU Parallel https://www.gnu.org/software/parallel/.

parallel "./run_FileName.sh $MCR {} > Results_${PBS_JOBID}.out" ::: *.dat

--joblog이 옵션을 사용할 수도 있습니다 --sshloginfile.

관련 정보