속도 향상 및 확장 가능: Filestore 이제 고성능 지원

 * 본 아티클의 원문은 2020년 6월 17일 Google Cloud 블로그(영문)에 게재되었습니다.   

세계 최고의 과학자와 연구진이 코로나19와 싸우기 위한 치료법 및 백신을 개발하기 위해 쉼 없이 일하고 있습니다. 이러한 석학들이 하나의 목표에 집중하고 있는 만큼, 이들이 사용하는 기술 역시 당면한 문제를 감당할 역량이 있어야 합니다. 전 세계적인 코로나19 대유행 상황에서 해결해야 할 도전과제도 많지만 오늘날의 기술력 또한 강력합니다. 분자 스크리닝과 같은 처리 작업에는 방대한 연산 능력과 뛰어난 처리량을 갖춘 고성능 스토리지가 필요합니다.

Google Cloud는 코로나19 치료법 연구를 비롯한 여러 산업에 고성능 컴퓨팅(HPC) 지원 도구를 제공하고 있다는 점에 자부심을 느끼고 있습니다. 과학자와 연구진은 강력한 기술을 통해 기술적인 장벽 없이 훨씬 더 빠르게 업무를 수행하여 전 세계에 있는 사람들을 도울 수 있습니다. HPC의 핵심 기능 중 하나는 파일 스토리지입니다. Google Cloud는 Elastifile의 확장 가능한 파일 스토리지 기능이 포함된 Google의 차세대 파일 스토리지 제품인 Filestore High Scale의 베타 출시를 발표하게 되어 매우 기쁘게 생각합니다.

Google은 2019년 8월에 Elastifile의 인수를 마쳤고 해당 기술을 Filestore에 통합하여 확장성과 성능을 더했으며, 이를 통해 워크로드를 클라우드로 더 쉽게 이동할 수 있게 되었습니다. 새로운 Filestore High Scale에는 수십만 IOPS, 수십 GB/s의 처리량, 수백 TB로 확장할 수 있는 공유 파일 시스템을 손쉽게 배포하는 기능이 추가되었습니다. 기존 애플리케이션의 마이그레이션, Kubernetes를 사용한 기존 애플리케이션의 현대화, 대규모 컴퓨팅 워크로드의 성능 요구사항을 충족하기 위한 확장과 같은 다양한 과제를 이제 Filestore를 통해 해결할 수 있습니다.

프로덕션 환경에서 Filestore 사용하기

하버드 의학전문대학원 와그너 랩의 박사후 연구원인 크리스토프 고굴라는 Google Cloud의 확장 파일 스토리지를 사용하여 코로나19 치료법에 대한 VirtualFlow 가상 스크리닝 프로그램을 구현합니다.  

"가상 스크리닝을 사용하면 기존 실험용 테스트 방식보다 훨씬 빠르게 잠재적 치료법을 발견하고, 표적 단백질을 대상으로 수십억 개의 저분자를 컴퓨팅을 통해 선별할 수 있습니다." “연구자에게는 불필요하게 복잡한 파일 시스템 클러스터를 설정하고 관리하는 방법을 배우거나 스토리지 시스템의 상태를 계속 모니터링할 시간이 거의 없습니다. 수십만 개의 vCPU를 보유한 수천 개의 클라이언트가 부하를 동시에 생성하는데 이를 처리할 수 있는 파일 시스템이 필요했습니다. Filestore는 대부분의 설정이 자동화되어 있고 즉각적으로 용량을 확장할 수 있으며 간단한 그래픽 인터페이스를 통해 워크플로우 속도를 수시로 모니터링할 수도 있습니다. VirtualFlow를 통해 의약품 및 치료법을 발견하는 데 필요한 시간을 크게 단축할 수 있으며 이는 코로나19 및 기타 질병에 대한 치료법의 빠른 개발로 이어질 것으로 기대됩니다."

최근 발행된 네이처 기사에서 크리스토프의 연구에 대해 자세히 알아보고, 최신 블로그 게시물에서 Google Cloud가 코로나19 학술 연구를 지원하는 방법에 대해 알아보세요.

또한 Filestore는 전자 설계 자동화(EDA), 동영상 처리, 유전체학, 제조, 재무 모델링과 같은 워크로드 지원 뿐만 아니라 고성능 및 고용량이 필요한 기타 사용 사례 지원에도 적합합니다. Filestore High Scale의 지원에 의한 워크로드의 이점은 수만 개의 클라이언트 동시 액세스 지원에서 최대 16GB/s 처리량 및 480K IOPS로 확장 가능한 성능, 필요에 따라 용량을 확장하거나 축소할 수 있는 기능입니다.

파일 스토리지는 HPC 애플리케이션의 중요한 구성 요소이며 Filestore High Scale은 이러한 요구사항을 해결하기 위해 구축되었습니다. Filestore High Scale에는 클라우드의 수평 확장형 파일 스토리지에 대한 예측 가능한 성능, 필요에 따라 파일 시스템을 확장 및 축소할 수 있는 기능이 포함됩니다. 필요한 성능에 관련된 비용을 파악하면 변화하는 워크로드 수요에 따라 솔루션을 훨씬 쉽게 설계하고 최적화할 수 있습니다.

Filestore High Scale을 사용하면 분산된 수평 확장형 파일 시스템의 기능과 성능을 확보할 수 있으며, 완전 관리형 서비스이므로 다른 Google Cloud 제품처럼 쉽게 관리할 수 있습니다. Cloud Console에서 몇 번의 클릭만으로 인스턴스를 가동할 수 있으며 gcloud 및 API 호출을 통해 관리를 자동화할 수 있습니다. 또한 Cloud Monitoring을 사용하여 이러한 파일 시스템을 감시하고, HPC 워크로드 관리 예약 시스템에 파일 시스템을 통합할 수 있습니다.

또한 고급 보안이 요구되는 배포를 더 효과적으로 지원하고자 이번 출시에서는 모든 Filestore 계층에 NFS IP 기반 액세스 제어에 대한 베타 지원을 추가했습니다. 이 새로운 기능은 루트 스쿼시 및 읽기 전용 NFS 내보내기 옵션의 IP별 범위 구성을 추가하여 VPC의 클라이언트에 대한 액세스 제어를 지원합니다. 자세한 내용은 IP 기반 액세스 제어 문서를 참조하세요.  

Filestore High Scale은 전문적인 클라이언트 측 플러그인을 배포하거나 유지 관리할 필요 없이 NFS를 사용하여 수만 개의 클라이언트를 직접 마운트할 수 있는 영구 스토리지를 제공합니다. 이를 통해 HPC 사용자는 워크로드에 선점형 VM 인스턴스를 사용할 수 있으므로, 배치 워크로드에 대한 컴퓨팅 인스턴스 비용을 최대 80% 절감할 수 있습니다. 개별 클라이언트 VM은 선점할 수 있지만 데이터는 Filestore에 유지되므로 새로운 VM을 즉시 가동하고 계속 처리할 수 있는 기능을 제공합니다.

Filestore High Scale을 통해 대용량 문제를 해결할 수 있으므로 고객은 비즈니스 관리에만 집중할 수 있습니다. 시작하려면 Filestore 문서를 확인하거나 Google Cloud Console에서 인스턴스를 만드세요.