Gnu 병렬을 사용한 후 변수 값을 인식할 수 없습니까?

Question 1

내보내고 다음과 같이 배열을 제거해 보십시오.bash는 배열을 내보낼 수 없습니다:

export PRIMARY=/data01/primary
export FILERS_LOCATION_1=machineB
export FILERS_LOCATION_2=machineC
export MEMORY_MAPPED_LOCATION=/bexbat/data/be_t1_snapshot

export dir1=/bexbat/data/be_t1_snapshot/20140501

아니면 간단히 모든 상수 변수를 함수에 넣으세요:

#!/bin/bash

PRIMARY_PARTITION=(0 548 272 4 544 276 8 556 280)

PRIMARY=/data01/primary
find "$PRIMARY" -mindepth 1 -delete

do_copy() {
  el=$1

  PRIMARY=/data01/primary
  FILERS_LOCATION=(machineB machineC)
  MEMORY_MAPPED_LOCATION=/bexbat/data/be_t1_snapshot

  dir1=/bexbat/data/be_t1_snapshot/20140501

  scp -o ControlMaster=auto -o 'ControlPath=~/.ssh/control-%r@%h:%p' -o ControlPersist=900 david@${FILERS_LOCATION[0]}:$dir1/t1_weekly_1680_"$el"_200003_5.data $PRIMARY/. || scp -o ControlMaster=auto -o 'ControlPath=~/.ssh/control-%r@%h:%p' -o ControlPersist=900 david@${FILERS_LOCATION[1]}:$dir1/t1_weekly_1680_"$el"_200003_5.data $PRIMARY/.
}
export -f do_copy
parallel -j 8 do_copy ::: "${PRIMARY_PARTITION[@]}"

복사하려는 파일 유형에 따라 rsync -z 대신 살펴 scp보고 한 번만 실행하는 것을 고려해야 합니다 parallel --bibtex(병렬로 제안됨).

Answer

내보내고 다음과 같이 배열을 제거해 보십시오.bash는 배열을 내보낼 수 없습니다:

export PRIMARY=/data01/primary
export FILERS_LOCATION_1=machineB
export FILERS_LOCATION_2=machineC
export MEMORY_MAPPED_LOCATION=/bexbat/data/be_t1_snapshot

export dir1=/bexbat/data/be_t1_snapshot/20140501

아니면 간단히 모든 상수 변수를 함수에 넣으세요:

#!/bin/bash

PRIMARY_PARTITION=(0 548 272 4 544 276 8 556 280)

PRIMARY=/data01/primary
find "$PRIMARY" -mindepth 1 -delete

do_copy() {
  el=$1

  PRIMARY=/data01/primary
  FILERS_LOCATION=(machineB machineC)
  MEMORY_MAPPED_LOCATION=/bexbat/data/be_t1_snapshot

  dir1=/bexbat/data/be_t1_snapshot/20140501

  scp -o ControlMaster=auto -o 'ControlPath=~/.ssh/control-%r@%h:%p' -o ControlPersist=900 david@${FILERS_LOCATION[0]}:$dir1/t1_weekly_1680_"$el"_200003_5.data $PRIMARY/. || scp -o ControlMaster=auto -o 'ControlPath=~/.ssh/control-%r@%h:%p' -o ControlPersist=900 david@${FILERS_LOCATION[1]}:$dir1/t1_weekly_1680_"$el"_200003_5.data $PRIMARY/.
}
export -f do_copy
parallel -j 8 do_copy ::: "${PRIMARY_PARTITION[@]}"

복사하려는 파일 유형에 따라 rsync -z 대신 살펴 scp보고 한 번만 실행하는 것을 고려해야 합니다 parallel --bibtex(병렬로 제안됨).

Question 2

함수를 내보냈지만 함수에서 직접 사용하려는 변수는 내보내지 않았습니다.

parallel각 실행은 새로운 쉘을 시작 do_copy하고 해당 쉘에서 변수는 해석되어 존재하지 않습니다.

사용하는 경우 -s SERVER이 옵션은 --env VAR초기 셸에서 명령이 실행되는 원격 환경으로 복사됩니다.VARparallel

parallel -j 5 -S localhost --env do_copy --env PRIMARY --env FILERS_LOCATION do_copy ::: "${PRIMARY_PARTITION[@]}"

다중 서버 논리를 병렬 서버 옵션에 구현하는 쉬운 방법이 보이지 않으므로 위의 로컬 호스트 해킹을 피할 수 있습니다 -S(한 서버에 파일이 없다고 보장하지 않는 한?).

더 나은 접근 방식은 Ole이 제안한 대로 변수를 내보내거나 필요한 모든 값을 do_copy함수 에 인수로 전달하는 것입니다.

Answer