소개
긴밀하게 결합된 고성능 컴퓨팅(HPC) 워크로드에는 프로세스와 가상 머신(VM) 워크로드 간 통신을 위해 메시지 전달 인터페이스(MPI)가 자주 사용됩니다. 하지만 최적의 MPI 성능을 위해 미세 조정된 고유 VM 이미지를 빌드하기 위해서는 시스템 전문 기술, Google Cloud 지식, 추가적인 유지보수 시간이 필요합니다. HPC 워크로드를 위해 VM 인스턴스를 빠르게 만들기 위해서는 HPC VM 이미지를 사용할 수 있습니다. 또는 H3 머신 계열을 사용하여 VM을 만들 수 있습니다.
HPC VM 이미지는 긴밀하게 결합된 HPC 워크로드를 위해 최적화된 CentOS 7.9 또는 Rocky Linux 8 기반 VM 이미지입니다. 여기에는 Google Cloud에서 최적의 MPI 성능을 얻기 위해 VM 인스턴스를 만드는 데 필요한 사전 구성된 커널 및 네트워크 조정 매개변수가 포함되어 있습니다.
다음 옵션을 사용하여 HPC 지원 VM을 만들 수 있습니다.
- Google Cloud CLI
- Google Cloud Console. 콘솔에서 이미지는 Cloud Marketplace를 통해 제공됩니다.
- SchedMD의 Slurm 워크로드 관리자는 기본적으로 HPC VM 이미지를 사용합니다.
- Omnibond CloudyCluster는 기본적으로 HPC VM 이미지를 사용합니다.
이점
HPC VM 이미지는 다음과 같은 이점을 제공합니다.
- 즉시 HPC를 사용할 수 있도록 VM 준비. 긴밀하게 결합된 HPC 워크로드를 위해 수동으로 성능을 미세 조정하거나 VM 재부팅을 관리하거나 최신 Google Cloud 업데이트를 유지할 필요가 없습니다.
- 긴밀하게 결합된 워크로드를 위한 네트워킹 최적화. 소규모 메시지의 지연 시간을 줄여주는 최적화가 포함되어 있어 지점 간 및 그룹 통신에 대한 의존도가 높은 애플리케이션에 유용합니다.
- HPC 워크로드를 위한 컴퓨팅 최적화. 시스템 간섭을 줄여주는 최적화가 포함되어 있어 보다 예측 가능한 단일 노드 고성능을 지원합니다.
- 일관적이고 재현 가능한 성능. VM 이미지 표준화를 통해 일관적이고 재현 가능한 애플리케이션 수준 성능을 제공합니다.
- 향상된 애플리케이션 호환성. Intel HPC 플랫폼 사양의 노드 수준 요구 사항에 따라 높은 시스템 간 상호 운용성을 보장합니다.
기능
Intel MPI Collective 미세 조정
HPC VM 이미지에는 압축 배치 정책을 사용하여 c2-standard-60 및 c2d-standard-112 인스턴스에서 수행하는 Intel MPI Collective 미세 조정이 포함되어 있습니다.
사전 설치된 RPM
HPC VM 이미지는 다음 RPM 패키지가 사전 설치된 상태로 제공됩니다.
Lmoddkmshtophwlochwloc-develkernel-develltracelibXtnfs-utilsnumactlnumactl-develpapipciutilspdshperfredhat-lsb-coreredhat-lsb-cxxrshscreenstracewgetzsh- '개발 도구' 패키지 그룹
빠른 시작
시작하기 전에
- 이 빠른 시작에서 Google Cloud CLI를 사용하려면 먼저 Google Cloud CLI를 설치하고 초기화해야 합니다.
- Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.
HPC VM 인스턴스 만들기
VM 만들기
C2, C2D, H3와 같은 컴퓨팅 최적화 머신 유형을 선택하는 것이 좋습니다. 이 VM은 고정된 가상-물리적 코어 매핑이 포함되고 NUMA 셀 아키텍처를 게스트 OS에 노출하며, 이 두 가지 모두가 긴밀하게 연결된 HPC 애플리케이션의 성능에 중요한 역할을 합니다.
콘솔
Google Cloud Console에서 HPC VM Cloud Marketplace 페이지로 이동합니다. HPC VM Cloud Marketplace 페이지로 이동
실행을 클릭합니다.
HPC VM 배포 페이지에 배포 이름을 입력합니다. 이 이름은 VM 이름의 루트로 사용됩니다. Compute Engine은 인스턴스의 이름을 지정할 때 이 이름 끝에
-vm을 추가합니다.영역 및 머신 유형을 선택합니다. 이 빠른 시작에서는 모든 설정을 있는 그대로 두거나 변경할 수 있습니다. C2 ,C2D, H3와 같은 컴퓨팅 최적화 머신 유형을 선택하는 것이 좋습니다.
부팅 디스크 유형, 부팅 디스크 크기, 네트워크 인터페이스는 기본 설정 그대로 둡니다.
배포를 클릭합니다.
VM 인스턴스 생성이 완료되면 Cloud Deployment Manager가 열리고, 여기에서 HPC VM 및 기타 배포를 관리할 수 있습니다.
gcloud
instances create 명령어를 사용하여 HPC VM을 만듭니다.
네트워크 지연 시간을 낮추기 위해서는 압축 배치 정책을 사용하여 HPC VM을 만드는 것이 좋습니다. 단일 압축 배치 정책에 넣을 수 있는 것보다 많은 VM이 필요하면 VM을 여러 배치 정책으로 나눕니다. VM에 적합한 최소 배치 정책 수를 사용하는 것이 좋습니다.
gcloud compute instances create VM_NAME \
--zone=ZONE \
--image-family=IMAGE_FAMILY \
--image-project=cloud-hpc-image-public \
--maintenance-policy=TERMINATE \
--machine-type=MACHINE_TYPE
다음을 바꿉니다.
VM_NAME: 만들려는 HPC VM의 이름입니다.ZONE: VM을 만들 영역입니다.IMAGE_FAMILY: VM 인스턴스를 만들 이미지의 이미지 계열입니다. CentOS 기반 이미지의 경우hpc-centos-7을 사용하고 Rocky Linux 8 기반 이미지의 경우hpc-rocky-linux-8을 사용합니다.MACHINE_TYPE: 새 VM의 머신 유형입니다.
잠시 후 VM 인스턴스 만들기가 완료됩니다. VM과 상태를 확인하려면 다음 명령어를 실행합니다.
gcloud compute instances describe VM_NAME
VM 액세스
Console
HPC VM 인스턴스를 만들면 자동으로 시작됩니다. 액세스하려면 다음을 수행합니다.
Google Cloud Console에서 VM 인스턴스 페이지로 이동합니다.
VM 인스턴스의 이름을 클릭합니다.
원격 액세스 섹션에서 첫 번째 드롭다운 목록을 클릭하고 인스턴스 액세스 방법을 선택합니다.
Compute Engine이 SSH 키를 전파하고 사용자를 만듭니다. 자세한 내용은 Linux VM에 연결을 참조하세요.
gcloud
HPC VM 인스턴스를 만들면 자동으로 시작됩니다. SSH를 사용하여 액세스하려면 compute ssh 명령어를 사용합니다.
gcloud compute ssh VM_NAME
Compute Engine이 SSH 키를 전파하고 사용자를 만듭니다. 자세한 내용은 인스턴스 연결을 참조하세요.
삭제
이 빠른 시작에서 사용한 리소스의 비용이 Google Cloud 계정에 청구되지 않도록 하려면 여기에서 만든 HPC VM 인스턴스를 삭제합니다.
Console
Google Cloud Console에서 배포 페이지로 이동합니다.
HPC VM 배포 옆의 체크박스를 선택합니다.
삭제를 클릭합니다.
gcloud
instances delete 명령어를 사용합니다.
gcloud compute instances delete VM_NAME
압축 배치 정책이 적용된 HPC VM 만들기
압축 배치 정책을 만들면 VM 간의 지연 시간을 줄일 수 있습니다. 압축 배치 정책은 동일한 가용성 영역의 VM이 서로 가까이 위치하도록 보장합니다.
압축 배치 정책을 지정하는 HPC VM을 만들려면 다음 단계를 수행합니다.
다음 중 하나를 수행합니다.
권장사항에 따라 HPC VM 구성
HPC VM의 성능을 더욱 향상시키고 예측 가능하게 하려면 다음 권장사항을 사용하는 것이 좋습니다.
동시 멀티스레딩 사용 중지
HPC VM 이미지는 Intel 프로세서의 하이퍼스레딩으로도 알려진 동시 멀티스레딩(SMT)을 기본적으로 사용 설정합니다. SMT를 사용 중지하면 성능의 예측 가능성이 높아지고 작업 시간이 줄어들 수 있습니다.
다음 방법에 따라 SMT를 사용 중지할 수 있습니다.
새 HPC VM을 만드는 동안 SMT를 사용 중지하려면 HPC VM 만들기의 단계에 따라
--threads-per-core=1플래그를 포함합니다.기존 HPC VM에서 SMT를 사용 중지하려면 VM에 연결하고 VM에서 다음 명령어를 실행합니다.
sudo google_mpi_tuning --nosmt
자세한 내용은 코어당 스레드 수 설정을 참조하세요.
gVNIC를 가상 네트워크 인터페이스로 사용
HPC VM 이미지는 Virtio-net 및 Google Virtual NIC(gVNIC)를 모두 가상 네트워크 인터페이스로 지원합니다. Virtio-net 대신 gVNIC를 사용하여 더 나은 통신 성능 및 더 높은 처리량을 제공함으로써 MPI 애플리케이션의 확장성을 향상시킬 수 있습니다. 또한 gVNIC는 더 높은 대역폭을 제공하고 더 높은 처리량을 허용하기 위한 고급 네트워킹의 기본 요건입니다.
새 VM을 만들 때 Virtio-net은 기본적으로 가상 네트워크 인터페이스로 사용됩니다. gVNIC를 사용하려면 HPC VM 만들기 단계를 수행하고 --network-interface=nic-type=GVNIC 플래그를 포함합니다. HPC VM 이미지에는 gVNIC 드라이버가 Dynamic Kernel Module Support(DKMS)로 포함됩니다. 자세한 내용은 Google Virtual NIC 사용을 참조하세요.
멜트다운 및 스펙터 완화 사용 중지
HPC VM 이미지는 기본적으로 멜트다운 및 스펙터 완화를 지원합니다. 경우에 따라 이러한 완화는 워크로드에 따라 성능 저하를 일으킬 수 있습니다. 이러한 완화를 사용 중지하고 관련된 보안 위험을 일으키려면 다음을 수행합니다.
HPC VM에서 다음 명령어를 실행합니다.
sudo google_mpi_tuning --nomitigation
VM을 재부팅합니다.
네트워크 성능 향상
VM 네트워크 성능을 향상시키려면 다음 구성 중 하나 이상을 설정합니다.
더 높은 대역폭을 구성합니다. VM당 Tier_1 네트워킹 성능을 구성하려면
gcloud compute instances create명령어를 사용하여 VM을 만들고--network-performance-configs플래그를 지정합니다. 자세한 내용은 고대역폭 구성으로 VM 만들기를 참조하세요.점보 프레임 사용. 네트워크 패킷의 처리 오버헤드를 최소화하려면 더 큰 패킷 크기를 사용하는 것이 좋습니다. 애플리케이션의 특성에 따라 더 큰 패킷 크기를 검증해야 합니다. 점보 프레임 및 패킷 크기 사용에 대한 자세한 내용은 최대 전송 단위 가이드를 참조하세요.
TCP 메모리 한도를 늘립니다. 대역폭이 높을수록 더 큰 TCP 메모리가 필요합니다. 단계를 수행하여
tcp_*mem설정을 늘립니다.network-latency 프로필을 사용합니다. 애플리케이션 지연 시간을 평가하고 네트워크 수신 경로의 지연 시간을 줄이는 비지 폴링을 사용 설정합니다.
/etc/sysctl.conf에서net.core.busy_poll및net.core.busy_read설정을 조정하거나tuned-adm을 사용합니다.
Intel MPI 2021 사용
Google Cloud에서 MPI 작업을 실행하려면 Intel MPI 2021 라이브러리를 사용하는 것이 좋습니다.
MPI 구현에는 통신 성능에 영향을 줄 수 있는 많은 내부 구성 매개변수가 있습니다. 이러한 매개변수는 특히 MPI Collective 통신과 관련되어 있어 Google Cloud 환경에서 매우 다르게 작동하는 알고리즘과 구성 매개변수를 지정할 수 있습니다.
HPC VM 이미지에는 추천 MPI 라이브러리를 편리하게 설치하고 TCP 전송을 통해 Google Cloud 맞춤형 libfabric 공급자를 사용하는 유틸리티 Google-hpc-compute가 포함되어 있습니다.
IntelMPI 2021 지원에 google-hpc-compute 유틸리티 사용
google_install_intelmpi 스크립트는 Google-hpc-compute 유틸리티의 MPI 관련 도구입니다. IntelMPI 2021.11을 설치하고 구성하는 데 도움이 됩니다.
Google-hpc-compute 유틸리티는 HPC VM 이미지에 포함되어 있습니다.
IntelMPI 2021 설치
새 HPC VM을 만드는 동안 IntelMPI 라이브러리를 설치하려면 HPC VM 만들기의 단계에 따라 VM 인스턴스를 만들 때 다음을 포함합니다.
--metadata=google_install_intelmpi="--impi_2021"
기존 HPC VM에 라이브러리를 설치하려면 해당 VM에서 다음 명령어를 실행합니다.
sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI
install_dir 기본 위치는 /opt/intel로 설정됩니다.
HPC CentOS 7 이미지의 Intel MPI 2018
Google Cloud의 HPC CentOS 7 이미지에서 Intel MPI 2018 지원이 제공됩니다.
자세한 내용은 google_install_mpi의 유틸리티 사용자 가이드를 참조하세요.
Intel Parallel Studio XE로 빌드된 MPI 애플리케이션을 실행하는 등의 Intel MPI 2018과 관련된 추가 사용 사례에서는 위의 명령어에서 intel_mpi를 intel_psxe_runtime으로 바꿔 전체 Intel Parallel Studio XE(PSXE) 런타임을 사용하세요. PSXE 런타임에는 Intel Math Kernel Library(MKL)와 같이 MPI 애플리케이션을 실행하는 데 중요한 라이브러리가 여러 개 포함되어 있습니다.
HPC VM 이미지를 사용하여 커스텀 이미지 만들기
HPC VM 이미지의 부팅 디스크를 소스 디스크로 사용하여 커스텀 이미지를 만듭니다. Google Cloud console 또는 Google Cloud CLI를 사용하여 수행할 수도 있습니다.
Console
Google Cloud 콘솔에서 이미지 페이지로 이동합니다.
이미지 만들기를 클릭합니다.
이미지의 이름을 지정합니다.
소스 디스크에서 HPC VM의 부팅 디스크 이름을 선택합니다.
이미지의 나머지 속성을 선택합니다.
만들기를 클릭합니다.
gcloud
images create 명령어를 사용하여 커스텀 이미지를 만듭니다.
gcloud compute images create IMAGE_NAME \
--source-disk=VM_NAME \
--source-disk-zone=VM_ZONE \
--family=IMAGE_FAMILY \
--storage-location=LOCATION
다음을 바꿉니다.
IMAGE_NAME: 커스텀 이미지의 이름입니다.VM_NAME: HPC VM의 이름입니다.INSTANCE_ZONE: HPC VM이 있는 영역입니다.IMAGE_FAMILY: 선택사항. 이 이미지가 속할 이미지 계열입니다.LOCATION: 선택사항. 커스텀 이미지를 저장할 리전입니다. 기본 위치는 소스 디스크의 위치와 가장 가까운 멀티 리전입니다.
가격 책정
HPC VM 이미지는 추가 비용 없이 제공됩니다. HPC VM 이미지가 Compute Engine에서 실행되기 때문에 C2 vCPU 및 메모리와 같은 Compute Engine 리소스에 대해 비용이 발생할 수 있습니다. 자세한 내용은 Compute Engine 가격 책정을 참조하세요.
제한사항
미세 조정의 이점은 애플리케이션마다 다릅니다. 일부 경우에는 특정 미세 조정이 성능에 부정적 영향을 줄 수 있습니다. 가장 효율적이거나 비용 효과적인 구성을 찾기 위해 애플리케이션을 벤치마킹하는 것이 좋습니다.
다음 단계
- Google Cloud의 고성능 컴퓨팅 자세히 알아보기
- H3 머신 계열 자세히 알아보기
- 일괄 인스턴스 API 사용 방법 알아보기
- 피드백 또는 지원이 필요하면 hpc-image-feedback@google.com으로 이메일을 보내세요.