SLURM: 표준 출력 이름 사용자 정의

Question 1

이것이 내가 이전 답변에서 결론을 내린 것입니다.

%j작업 ID 제공
%x직위를 부여하세요
필요한 형식으로 날짜를 얻는 방법을 모르겠습니다. 작업 ID는 실행 전반에 걸쳐 고유 식별자 역할을 하며 파일 수정 날짜는 향후 분석을 위해 날짜를 캡처합니다.

내 SBATCH 마법은 다음과 같습니다.

#SBATCH --output=R-%x.%j.out
#SBATCH --error=R-%x.%j.err

R-모든 항목을 쉽게 이동하거나 삭제할 수 있도록 접두사로 추가하는 것을 선호합니다.R-*

Answer

이것이 내가 이전 답변에서 결론을 내린 것입니다.

%j작업 ID 제공
%x직위를 부여하세요
필요한 형식으로 날짜를 얻는 방법을 모르겠습니다. 작업 ID는 실행 전반에 걸쳐 고유 식별자 역할을 하며 파일 수정 날짜는 향후 분석을 위해 날짜를 캡처합니다.

내 SBATCH 마법은 다음과 같습니다.

#SBATCH --output=R-%x.%j.out
#SBATCH --error=R-%x.%j.err

R-모든 항목을 쉽게 이동하거나 삭제할 수 있도록 접두사로 추가하는 것을 선호합니다.R-*

Question 2

적어도 당신이 원하는 방식으로는 할 수 없습니다. 이 #SBATCH줄은 명령에 의해 해석되는 쉘 주석이며 sbatch, 여기서는 쉘 코드를 실행할 수 없습니다.

또한 sbatch옵션 -o은 매우 제한된 대체 기호 집합만 이해합니다(아래 발췌 맨페이지 참조).

아마도 원하는 것과 가장 가까운 방법은 sbatch작업 ID, 작업 이름, 현재 날짜 및 시간을 텍스트 파일(예: timestamp<TAB>jobid<TAB>jobname)에 추가하는 래퍼 스크립트에서 실행한 다음 다음을 사용하는 것 입니다.작업이 완료된 후출력 파일의 이름을 바꿉니다.

time_t 또는 "epoch 이후의 초"는 date +%s스크립트에서 가장 유용한 날짜/시간 형식입니다. 먼저 구문 분석하지 않고도 원하는 방식으로 쉽게 인쇄할 수 있습니다.

squeue -t BF,CA,CD,F,NF,PR,TO해당 텍스트 파일을 통과하여 더 이상 실행되지 않고(검사를 사용하여) 아직 이름이 변경되지 않은 각 작업 ID의 이름을 바꾸는 스크립트를 작성하는 것은 어렵지 않습니다.

참고로 매뉴얼 페이지에는 다음과 sbatch같이 나와 있습니다.

-o, --output=

배치 스크립트의 표준 출력을 "파일 이름 패턴"에 지정된 파일 이름에 직접 연결하도록 Slurm에 지시합니다. 기본적으로 표준 출력과 표준 오류는 모두 동일한 파일로 전달됩니다. 작업 배열의 경우 기본 파일 이름은 이며 slurm-%A_%a.out작업 ID 및 배열 인덱스로 대체됩니다 %A. %a다른 작업의 경우 기본 파일 이름은 slurm-%j.out작업 %jID로 대체됩니다. --input option파일 이름 지정 옵션은 을 참조하십시오.

그리고 -i다음과 같이 적혀 있기 때문입니다.

-i, --input=

배치 스크립트의 표준 입력을 "파일 이름 패턴"에 지정된 파일 이름에 직접 연결하도록 Slurm에 지시합니다. 기본적으로 배치 스크립트는 표준 입력에서 열리고 표준 출력과 표준 오류는 모두 아래에 설명된 대로 작업 할당 번호로 대체되는 이름 /dev/null의 파일로 전달됩니다 .slurm-%j.out%j

파일 이름 패턴에는 퍼센트 기호 뒤에 문자가 오는 대체 기호가 하나 이상 포함될 수 있습니다 %(예 %j: ).

지원되는 대체 기호는 다음과 같습니다.
%A Job array's master job allocation number.
%a Job array ID (index) number.
%j Job allocation number.
%N Node name. Only one file is created, so %N will be replaced
   by the name of the first node in the job, which is the one
   that runs the script.
%u User name.

Answer