8개의 강력한 컴퓨터가 있는 경우 사용자 애플리케이션과 과학 실험의 로드를 분산하고 균형을 맞추는 올바른 방법은 무엇입니까?
가상화가 올바른 접근 방식입니까? 아니면 이를 달성할 수 있는 로드 관리자 소프트웨어가 있습니까?
답변1
답변2
당신이 원하는 것은 가상화의 반대인 클러스터링입니다.
차이점을 가능한 한 간단하게 설명하려고 노력하겠습니다.
가상화는 하나 또는 여러 개의 물리적 시스템에서 여러 가상 시스템을 실행하는 것입니다. 이를 통해 단일 물리적 컴퓨터에서 완전히 독립적인 여러 가상 머신을 실행하여 기존 하드웨어를 보다 효율적으로 활용할 수 있습니다.
클러스터를 사용하면 하나 이상의 물리적 시스템("노드"라고 함)을 사용하여 애플리케이션을 실행할 수 있습니다. 이를 통해 배치 스케줄러에 의해 조정된 컴퓨팅 작업에 클러스터의 모든 CPU 성능을 사용할 수 있습니다.
이 두 가지를 결합할 수 있습니다. 예를 들어 저는 다음과 같은 프로젝트에 참여했습니다.넥타 연구 클라우드OpenStack을 기반으로 하는 가상화 기술을 사용하여 호주 전역의 과학자 및 기타 연구자가 단일 가상 머신에서 필요에 따라 대규모 가상 머신 클러스터에 이르기까지 무엇이든 만들 수 있도록 지원합니다.
slurm언급된 @Alexander Batischev와torque같은 일괄 대기열 소프트웨어 외에도pbs다음이 필요할 수도 있습니다.MPI도서관 또는 유사한 설치.예를 들어, 독립적으로 처리할 수 있는 더 작은 덩어리로 나눌 수 있는 계산 유형을 실행하고 나중에 결과를 결합해야 하는 경우 MPI 라이브러리가 필요합니다. 또한 클러스터의 서로 다른 노드에서 실행되는 프로세스의 서로 다른 인스턴스가 서로 통신할 수 있도록 이를 사용하는 코드를 작성해야 합니다.
다양한 과학 및 기타 분야의 일반적이고 널리 사용되는 애플리케이션에는 클러스터에서 실행되도록 설계되었기 때문에 내장형 MPI 지원(또는 유사하고 독점적인 대안)이 있습니다.
Alexander는 클러스터가 비대화형 소프트웨어에서 가장 잘 작동한다고 언급했습니다. 이는 사실입니다. 그러나 많은 응용 프로그램에는 데이터 생성, 보기 및 편집, 배치 작업 파일 생성 및 클러스터에 제출(Mud 또는 Torque 사용)을 위한 그래픽 프런트 엔드가 있습니다. 등) 결과를 확인하세요.
중요한 점은 주요 컴퓨팅 작업의 경우 단순히 실행하고 직접 상호 작용하는 것이 아니라는 것입니다. 사용자(또는 프런트 엔드 소프트웨어)는 배치 스크립트를 생성하고 실행을 위해 대기열에 제출합니다. 작업을 실행하는 데 클러스터에 충분한 리소스가 확보될 때까지 대기열에 추가되고 실행되지 않습니다(거의 즉시 실행될 수도 있고 사용량이 많은 클러스터에서는 며칠 또는 몇 주 동안 실행되지 않을 수도 있음). 작업 실행이 완료되면 일반적으로 로그 파일과 하나 이상의 결과 파일이 저장되며, 이를 데스크탑 프런트엔드 프로그램에 로드하여 볼 수 있습니다.
배치 스크립트는 배치 스케줄러가 무엇을 해야 할지 알 수 있도록 다양한 사항을 지정할 수 있습니다. 예를 들어 필요한 RAM 또는 디스크 공간의 양, CPU 또는 CPU 코어 수 및/또는 유형(예: 1 또는 1 또는 2 코어가 필요함) 더 ) GPU 노드)? , 여러 노드에서 MPI를 사용하여 실행할 수 있습니까, 아니면 하나의 노드에서만 실행할 수 있습니까?
여기에 흥미로운 것이 있습니다.블로그 게시물처음부터 HPC 클러스터 설정 - 초점은 계산 화학에 있지만 동일한 유형의 설정을 다른 분야에 사용할 수 없는 이유는 없습니다. 설명된 클러스터는 Debian을 기반으로 구축되었으며 Debian은거대한 도서관과학적인 소프트웨어.