새로운 Google Cloud HPC Toolkit으로 고성능 컴퓨팅 여정 가속화

* 본 아티클의 원문은 2022년 5월 28일 Google Cloud 블로그(영문)에 게재되었습니다. 

Cloud HPC Toolkit 소개

고성능 컴퓨팅(HPC) 워크로드를 클라우드에서 실행하면 클러스터 전체를 몇 분 내에 만들고 해체할 수 있는 유연성을 포함해 여러 이점을 얻을 수 있습니다. 그러나 이 유연함에는 복잡함이 수반됩니다. 적절한 머신 구성을 선택하려면 어떻게 해야 할까요? 선호하는 스케줄러를 설치하려면 또 어떻게 해야 할까요? 선택한 파일 시스템은 어떻게 설정해야 할까요? 물론, 최상의 성능을 갖춰야 하며 쉽고 유연하고 반복 가능한 표준화된 프로세스도 구현해야 합니다.

Google Cloud에서 HPC를 간소화하려는 노력이 한 단계 발전하여 Cloud HPC Toolkit이 출시됩니다. 이 오픈소스 도구를 사용하면 입증된 권장사항을 기반으로 반복 가능한 턴키 HPC 클러스터를 손쉽게 만들 수 있습니다. Cloud HPC Toolkit을 사용하면 몇 분 만에 턴키 HPC 클러스터를 만들 수 있으므로 HPC가 더 쉬워집니다.

지난 몇 년간 Google Cloud는 HPC 워크로드 실행을 최적화하고 HPC 생태계 전반의 호환성을 보장하기 위해 노력해왔습니다. 이러한 노력이 큰 성과를 거두면서 Altair의 PBS Professional 및 Altair Grid Engine, Slurm(SchedMD에서 지원됨), IBM Spectrum LSF와 같이 널리 사용되는 작업 스케줄러를 배포하는 간단한 방법을 제공하고 있습니다. 또한 DDN과 협력하여 IO500에 등재된 Lustre 시스템 중 최고 점수를 획득한 시스템을 구축했습니다.

HPC Toolkit 기능

HPC Toolkit은 구성 가능한 HPC 환경을 실현하는 모듈형 설계를 채택했습니다. 이를 통해 간단한 HPC 환경과 고급 HPC 환경을 모두 손쉽게 정의하고 배포할 수 있습니다. HPC 청사진은 Terraform 모듈, Packer 템플릿, Ansible 플레이북을 구성하는 고수준 YAML 형식 파일을 통해 HPC 환경의 인프라 및 소프트웨어 구성을 정의합니다. 기존 청사진으로 클러스터를 만들거나 필요에 맞게 수정할 수 있습니다. 청사진에서 단 몇 줄의 텍스트를 통해 손쉽게 구성을 수정하여 필요한 인프라와 작업에 필요한 업종별 도구를 프로비저닝할 수 있습니다.

HPC Toolkit에는 소규모의 기본 클러스터부터 높은 I/O 성능을 갖춘 클러스터까지 다양한 구성 예시 청사진이 포함되어 있습니다. 이러한 예시를 그대로 사용하여 HPC Toolkit 작동 방식을 익힐 수도 있고 수정하여 다른 구성을 만들 수도 있습니다.

HPC 모듈은 컴퓨팅, 스케줄러, 스토리지, 네트워킹을 포함하여 HPC 환경을 조합하기 위해 가져오는 구성요소입니다. 로컬에서 이러한 모듈을 개발하고 가져오거나, GitHub에서 자동으로 가져올 수 있습니다. 현재 Cloud HPC Toolkit은 다음과 같은 인프라, 솔루션, 모듈을 지원합니다.

• 컴퓨팅: 모든 VM 유형, GPU, HPC VM 이미지, 인스턴스 템플릿, 구성 가능한 SMT
• 스케줄러: Slurm
• 스토리지: Intel DAOS, DDN EXAScaler(Lustre), Filestore, 로컬 SSD, Persistent Disk
• 네트워크: 100Gbps(등급 1) 대역폭, 배치 그룹
• Spack 및 Dell Omnia, Cloud Monitoring을 통한 기타 주요 기능

또한 Google Cloud는 Altair의 PBS Professional과 Altair Grid Engine 스케줄러에 대한 지원을 포함하여 이후 버전에 출시될 기능과 통합을 위한 작업을 시작했습니다.

파트너 사례 소개

Intel

고성능 스토리지에 대한 수요는 HPC에서 가장 빠르게 증가하고 있습니다. DAOS(Distributed Asynchronous Object Storage)는 오픈소스 소프트웨어 정의 수평 확장 객체 저장소로, HPC 애플리케이션에 높은 대역폭, 짧은 지연, 높은 IOPS 스토리지 컨테이너를 제공합니다. DAOS의 사용은 AI와 HPDA에서 증가하고 있습니다. Google Cloud HPC Toolkit을 이용하면 GCP에서 DAOS를 훨씬 손쉽게 사용할 수 있습니다. 이제 Google HPC 사용자는 프로젝트의 규모에 관계없이 몇 분 내에 DAOS 임시 스토리지를 프로비저닝할 수 있습니다. DAOS를 객체 스토리지와 결합한 하이브리드 모델은 성능을 가속화하고 비용 효율성을 높입니다. 이제 DAOS가 Google Cloud 환경과 완전히 통합되며 Google이 새로 발표한 HPC Toolkit에 호스팅되어 완전 자동화된 환경을 제공합니다. “DAOS는 HPC의 미래입니다. Google Cloud에서 빠르고 간편하게 DAOS에 액세스할 수 있게 되었다고 오늘 발표된 소식은 일 년 넘게 진행된 기술 협업이 결실을 맺었음을 의미합니다." – 켈시 프랜티스, Intel 고성능 스토리지 부문 엔지니어링 책임자

AMD

클라우드 컴퓨팅은 고객의 가장 까다로운 워크로드에 대응해 확장성, 구현 용이성, 놀라운 가격 대비 성능을 실현합니다. 새로운 Google Cloud HPC Toolkit은 누구나 3세대 AMD EPYC™ 프로세서 기반의 C2D VM으로 HPC 환경을 만들 수 있도록 지원하여 배포가 한결 더 쉬워집니다. “HPC Toolkit은 복잡성을 완화하고 자동화를 개선하는 한편 클라우드에서 HPC의 오류를 줄여줍니다. 모든 고객을 위한 접근성을 높이기 위해 AMD 기반 가상 머신을 최적화하는 과정에서 Google Cloud와 협력하게 된 것을 기쁘게 생각합니다.” – 수레시 안다니, AMD 클라우드 비즈니스 개발 책임자

Altair

“Google과 전략적 기술 협업을 진행하게 되어 기쁩니다. Altair는 Altair PBS Professional과 Altair Grid Engine을 HPC Toolkit과 통합함으로써 Google Cloud에 대한 액세스를 간소화하고 HPC를 범용화하고 있습니다.” – 퓨시 파텔, 전략적 관계 부문 수석 부사장

NAG

NAG와 Google은 오늘 발표된 Google Cloud HPC Toolkit의 주요 구성요소 개발을 위해 작년 한 해 동안 협력했습니다. NAG는 Google과 긴밀한 파트너십을 통해 협력하면서 NAG® Cloud HPC Migration Services의 일환으로 GCP 고객을 위한 Cloud HPC Toolkit을 기반으로 최종 사용자 지원과 컨설팅 등의 추가 서비스를 제공합니다. “이제 Cloud HPC Toolkit을 사용하여 GCP에서 몇 분 만에 HPC 클러스터를 만들 수 있습니다.” – 아드리안 테이트, NAG CEO

Cloud HPC Toolkit 시작하기

기존 청사진(예: 기본 클러스터 또는 높은 I/O 성능을 갖춘 클러스터) 중 하나를 사용하여 지금 HPC Toolkit을 사용해 보거나 예시를 수정하여 자체 청사진을 만들어보세요. HPC 청사진 예시의 전체 목록은 Cloud HPC Toolkit GitHub 저장소를 참조하세요. HPC Toolkit 사용에 대한 자세한 내용은 HPC Toolkit 문서에서 확인할 수 있습니다. 여기에는Google의 빠른 시작 가이드도 포함됩니다. Cloud HPC Toolkit에 대한 의견이 있으시면 지원 채널을 통해 전달해 주세요. Google Cloud의 HPC 솔루션에 대한 자세한 내용은 HPC 솔루션 페이지에서 확인할 수 있으며 Google에 문의하여 알아볼 수도 있습니다.