Compute Engine의 파일 서버

스토리지 파일러라고도 하는 파일 서버는 애플리케이션이 머신 간에 공유된 파일을 읽고 업데이트하는 방법을 제공합니다. 파일 솔루션에는 수직으로 확장되고 단일 VM에 연결된 스토리지로 구성되는 것이 있는가 하면, 수평으로 확장되고 애플리케이션에 단일 파일 시스템 네임스페이스를 제공하는 스토리지가 연결된 여러 VM의 클러스터로 구성된 것도 있습니다.

일부 파일 시스템은 기본 POSIX 클라이언트를 사용하지만 대다수의 파일 서버는 클라이언트 머신이 파일 시스템을 마운트하고 로컬로 호스팅된 경우처럼 파일에 액세스할 수 있게 해주는 프로토콜을 사용합니다. 공유 파일을 내보내는 가장 일반적인 프로토콜은 Linux의 경우 네트워크 파일 시스템(NFS), Windows의 경우 일반 인터넷 파일 시스템(CIFS) 또는 서버 메시지 블록(SMB)입니다.

이 솔루션은 파일을 공유할 수 있는 다음 옵션을 설명합니다.

Compute Engine 영구 디스크

관리형 파일러 솔루션:

GCP Marketplace에서 지원하는 파일러 솔루션:

파트너가 지원하는 파일러 솔루션:

모든 Google Cloud Platform(GCP) 서비스의 성능과 예측에서 기반이 되는 요소는 Google이 오랜 시간에 걸쳐 발전시킨 네트워크 스택입니다. Google은 Jupiter Fabric을 이용하여 귀사의 작업 부하에 영향을 미치지 않고 계속해서 진화할 수 있는 견고하고 확장성 있으며 안정적인 네트워크 스택을 구축했습니다. Google이 내부적으로 네트워크 기능을 개선하고 강화함에 따라 귀사의 파일 공유 솔루션도 성능 추가에 따른 혜택을 얻게 됩니다. Jupiter Fabric에 관한 자세한 내용은 Jupiter Fabric의 발전에 관해 설명한 2015 문서를 참조하세요.

투자 효과를 최대화하도록 도울 수 있는 GCP의 한 가지 특징은 커스텀 VM 유형을 지정하는 기능입니다. 파일러의 크기를 선택할 때 파일러가 공유 구성원이 너무 많지 않게 최적의 성능으로 작동하도록 메모리와 CPU를 적절히 조합하여 선택할 수 있습니다.

또한, 파일 서버의 저장 장치가 필요한 저장소 대역과 IOP, 그리고 네트워크 대역폭을 수신하도록 적절한 Compute Engine 영구 디스크 용량과 vCPU의 개수를 선택하는 일도 중요합니다. VM은 모든 vCPU(최대 개수까지)마다 2Gb/s의 네트워크 처리량을 수신합니다. 영구 디스크 미세 조정에 관해서는 영구 디스크 및 로컬 SSD 성능 최적화를 참조하세요.

Cloud Storage도 중복성이 높은 페타바이트 규모의 데이터를 적은 비용으로 저장할 수 있는 좋은 방법이지만 Cloud Storage는 성능과 API가 여기서 설명하는 파일 서버와는 다릅니다.

파일 서버 옵션 요약

다음 표에서는 영구 디스크와 파일러 옵션의 특징을 요약합니다.

파일러 솔루션 최적의 데이터 세트 처리량 관리형 지원 내보내기 프로토콜 고가용성 하이브리드
Cloud Filestore 1TB ~ 63.9TB 100MB/s ~ 1.2GB/s Google의 완전 관리형 서비스 NFSv3 아니요
NetApp Cloud Volumes 1TB ~ 1PB 수십 Gb/s ~ 수백 Gb/s Google 및 NetApp의 완전 관리형 서비스 NFSv3
Elastifile 수십 TB ~ 1PB 미만 수십 Gb/s ~ 수백 Gb/s Elastifile NFSv3
Quobyte 수십 TB ~ 1PB 미만 수백 Gb/s ~ 수천 Gb/s Quobyte 기본 Linux 및 Windows 클라이언트, Amazon S3, HDFS, NFSv4/3, SMB
Avere 수십 TB ~ 수백 TB 수십 Gb/s ~ 수백 Gb/s Avere NFSv3, SMB2
읽기 전용 PD 64TB 미만 180MB/s ~ 1,200MB/s 아니요 직접 연결 아니요 아니요
단일 노드 파일 서버 64TB 미만 최대 16Gb/s 아니요 NFSv3, SMB3 아니요 아니요
Panzura 수십 TB ~ 1PB 미만 수십 Gb/s ~ 수백 Gb/s Panzura NFSv3, NFSv4, SMB1, SMB2, SMB3

Compute Engine 영구 디스크

데이터에 하나의 VM만 액세스하면 되거나 시간이 지나면서 바뀌지 않는 데이터가 있는 경우 Compute Engine의 영구 디스크를 사용하고 파일 서버를 완전히 배제할 수 있습니다. 영구 디스크를 사용하면 Ext4 또는 XFS와 같은 파일 시스템으로 포맷하고 읽기-쓰기 또는 읽기 전용 모드로 볼륨을 연결할 수 있습니다. 즉, 우선 특정 볼륨을 특정 인스턴스에 연결하고 필요한 데이터와 함께 이를 로드한 다음, 이것을 읽기 전용 디스크로서 수백 개의 가상 머신에 동시에 연결할 수 있다는 뜻입니다. 모든 사용 사례에 읽기 전용 영구 디스크를 사용할 수 있는 것은 아니지만 파일 서버 사용에 비해 복잡성이 크게 감소합니다.

영구 디스크는 일관된 성능을 제공합니다. 인스턴스에 연결하는 같은 크기의(그리고 SSD 영구 디스크의 경우 vCPU 수가 같은) 모든 디스크 성능 특성은 서로 동일합니다. 프로덕션에서 영구 디스크를 사용하기 전에 미리 가동하거나 테스트할 필요가 없습니다.

볼륨을 프로비저닝한 후에 고려해야 할 I/O 비용이 없으므로 영구 디스크 비용을 쉽게 파악할 수 있습니다. 또한 영구 디스크 크기를 신속하게 조정할 수 있어 적은 비용과 용량이 작은 볼륨으로 시작할 수 있으며 용량을 확장하기 위해 추가 인스턴스 또는 디스크를 가동할 필요가 없습니다.

총 용량이 가장 중요하다면 저비용 표준 영구 디스크를 사용하면 됩니다. 최고의 성능과 지속적인 내구성을 원한다면 SSD 영구 디스크를 사용하면 됩니다.

데이터 수명이 짧고 데이터에 밀리초 미만의 지연과 높은 초당 I/O 작업 수(IOPS)가 필요하면 로컬 SSD(최대 3TB)를 활용하여 성능을 극대화하면 됩니다. 로컬 SSD는 인스턴스에 할당된 네트워크 용량을 소진하지 않으면서 DDR2 RAM과 비슷한 속도로 최대 700k IOPS까지 허용합니다.

Compute Engine 인스턴스에 사용할 수 있는 여러 가지 디스크 유형 비교는 블록 스토리지 문서를 참조하세요.

파일러 솔루션을 선택할 때 고려해야 할 사항

파일러 솔루션을 선택할 때 관리 효율성, 비용, 성능, 확장성 중에서 선택해야 합니다. 작업 부하가 잘 정의되어 있으면 보다 쉽게 결정할 수 있지만, 이러한 경우는 흔치 않습니다. 시간이 지나면서 작업 부하가 진화하거나 심하게 변형되는 경우 비용 절감을 희생시켜 유연성과 탄력성을 얻음으로써 솔루션으로 확장시키는 것이 좋습니다. 반면에 작업 부하가 시간을 기준으로 하고 잘 파악되어 있는 경우에는 즉각적인 스토리지 요구사항을 충족시키기 위해 간편하게 해체 및 다시 빌드할 수 있는 전용 파일러 아키텍처를 만들면 됩니다.

가장 먼저 결정해야 하는 사항 중 하나는 관리형 파일러 서비스, 제품 지원이 포함된 파일러 솔루션 또는 지원되지 않는 솔루션 중에서 무엇을 구매할지 결정하는 것입니다.

  • 관리형 파일러 서비스에서는 Google이나 파트너가 모든 작업을 처리하므로 운영하기가 가장 쉽습니다. 이 파일러 서비스는 대부분의 다른 GCP 서비스처럼 가용성 SLA를 제공할 수도 있습니다.
  • 관리되지는 않지만 지원되는 솔루션은 유연성이 큽니다. 파트너가 모든 문제를 해결할 수 있지만 파일러의 일상적인 작업은 사용자 몫입니다.
  • 지원되지 않는 솔루션은 모든 문제가 사용자 책임이므로 배포 및 유지 관리에 많은 노력이 필요합니다. 이러한 솔루션은 이 문서에서 다루지 않습니다.

다음으로 파일러의 내구성과 가용성 요구사항을 파악해야 합니다. 대부분의 파일러 솔루션은 영역별 솔루션이며 기본적으로 영역에 장애가 발생하면 보호 기능을 제공하지 않습니다. 따라서 영역 장애를 방지하는 재해 복구 솔루션이 필요한지 여부를 고려하는 것이 중요합니다. 또한 애플리케이션의 내구성과 가용성 요구사항을 이해하는 것도 중요합니다. 예를 들어 배포 시 로컬 SSD 또는 영구 디스크 선택은 파일러 솔루션 소프트웨어 구성처럼 큰 영향을 미칩니다. 우수한 내구성, 가용성, 영역 및 리전 장애 발생 방지를 위해 각 솔루션마다 세심한 계획이 필요합니다.

마지막으로 데이터에 액세스해야 하는 위치(즉, 영역, 리전, 온프레미스 데이터 센터)를 고려합니다. 일부 솔루션에서만 하이브리드 온프레미스 및 클라우드 내 액세스를 허용하므로 파일러 솔루션을 선택할 때 데이터에 액세스하는 컴퓨팅 팜의 위치를 고려해야 합니다.

관리형 파일러 솔루션

Cloud Filestore

Cloud Filestore는 Google의 완전 관리형 네트워크 연결 스토리지(NAS) 솔루션입니다.

Cloud Filestore 파일 공유를 Compute Engine VM에 간편하게 마운트할 수 있습니다. 또한 Cloud Filestore는 Google Kubernetes Engine과 긴밀하게 통합되어 있으므로 컨테이너가 동일한 공유 데이터를 참조할 수 있습니다.

Cloud Filestore는 표준과 프리미엄이라는 두 가지 성능 등급을 제공합니다. 두 등급 모두 일관된 성능을 보여주며 비용을 예측할 수 있습니다.

자세한 내용은 다음 링크를 참조하세요.

NetApp Cloud Volumes

Google Cloud Platform용 NetApp Cloud Volumes 서비스는 GCP Console에 통합되어 있고 Google에서 청구 및 지원을 원활하게 제공받을 수 있는 완전 관리형 클라우드 기반 스토리지 서비스입니다.

이 서비스를 사용하면 영구 공유 스토리지를 컴퓨팅 인스턴스에 신속하게 마운트할 수 있습니다. 이 스토리지는 우수한 데이터 보호 기능(스냅샷 및 사본)과 함께 낮은 지연 시간으로 애플리케이션에 높은 처리량을 제공합니다. 이 서비스는 엔터프라이즈급 아키텍처를 통해 순차 작업 부하와 무작위 작업 부하 모두에 높은 성능을 제공하며, 이들 작업 부하를 수백 개 또는 수천 개의 Compute Engine 컴퓨팅 인스턴스로 확장할 수 있습니다. 1~100TB 크기의 볼륨을 단 몇 초 만에 프로비저닝할 수 있으며 공간 효율적인 자동 스냅샷으로 보호할 수 있습니다. 생성된 볼륨을 컴퓨팅 인스턴스에 마운트하는 명령어를 GCP Console에서 사용할 수 있으므로 사용자 환경이 더욱 강화됩니다.

NetApp Cloud Volumes 서비스 아키텍처

Cloud Volumes는 석유 및 가스, EDA, 방송 및 엔터테인먼트와 같은 여러 산업에서 사용되는 웹 및 리치 미디어 콘텐츠 등 다양한 파일 기반 작업 부하에 필요한 POSIX 규정 준수 공유를 제공하므로 앱을 다시 코딩할 필요가 없습니다.

필요에 따라 변경할 수 있는 세 가지 서비스 수준(표준, 프리미엄, 익스트림)이 있는 Google Cloud Platform용 Cloud Volumes 서비스는 작업 부하 가용성에 영향을 주지 않으면서 작업 부하에 적합한 성능을 제공합니다. NetApp을 통해 온프레미스와 Google Cloud Platform용 Cloud Volumes 서비스 간에 데이터를 동기화할 수 있습니다.

자세한 내용은 다음 링크를 참조하세요.

Elastifile

Elastifile는 GCP와 하이브리드 클라우드에서의 기업 저장소 및 데이터 관리를 간소화해줍니다. Elastifile은 글로벌 데이터에 대한 비용 효과적인 고성능 병렬 액세스를 제공하는 한편, 지능형 객체 계층화를 통해 동적으로 확장 가능한 분산형 파일 시스템으로 엄격한 일관성을 유지합니다. Elastifile을 사용하면 리팩토링이 필요 없이 기존 NFS 애플리케이션과 NAS 워크플로를 클라우드에서 실행하면서도 기업 데이터 서비스의 이점(높은 가용성, 압축, 중복 제거, 복제 등)을 유지할 수 있습니다. 기본적으로 Google Kubernetes Engine과 통합되므로 데이터 지속성, 이동성, 그리고 컨테이너화된 작업 부하를 위한 공유가 원활합니다.

Elastifile은 배포와 확장이 버튼 하나로 가능합니다. 파일 시스템 인프라를 필요할 때 쉽게 만들고 확장할 수 있어서 저장소 성능과 용량이 항상 동적 워크플로 요구사항에 맞게 유지됩니다. Elastifile 클러스터가 확대되면 메타데이터와 I/O 성능이 모두 이에 비례하여 확장됩니다. 이 같은 확장 덕분에 고성능 계산, 분석, 사이트 간 데이터 집계, DevOps 등과 같은 광범위한 데이터 집약적 워크플로를 개선하고 가속화할 수 있습니다. 그 결과, Elastifile은 생명과학, 전자 설계 자동화(EDA), 오일 및 가스, 금융 서비스, 미디어 및 엔터테인먼트와 같은 데이터 중심 산업에서 사용하기에 매우 적합합니다.

Elastifile의 CloudConnect 기능은 POSIX 파일 시스템과 Cloud Storage 사이에서 세밀한 양방향 데이터 전송을 가능하게 해줍니다. 성능을 최적화하고 비용을 최소화하기 위해, CloudConnect는 데이터가 전송되기 전에 압축되고 중복이 제거되게 하며 최초 데이터 동기화 이후에만 변경 사항을 전송합니다. CloudConnect를 하이브리드 클라우드 배포에 활용할 경우 모든 온프레미스 NFS 파일 시스템에서 Cloud Storage로 효율적으로 데이터를 로드할 수 있으므로 데이터를 GCP로 가져오는 비용 효율적인 방편이 됩니다. GCP에서 CloudConnect를 활용하면 Elastifile 파일 시스템과 Cloud Storage 간에 비용 최적화된 데이터 계층화가 가능합니다.

Elastifile 데이터 저장소 및 관리 다이어그램

자세한 내용은 다음 링크를 참조하세요.

GCP Marketplace에서 지원하는 파일러 솔루션

Panzura

Panzura는 클라우드에서 구조화되지 않은 데이터 관리 분야의 선두 주자입니다. 방송 및 엔터테인먼트, 유전체학, 생명과학, 헬스케어, 석유 및 가스, 금융 서비스에 종사하는 기업은 Panzura Freedom NAS를 선택하여 성능 저하나 애플리케이션 코드 변경 없이 Google Cloud Platform(GCP)에서 데이터 아일랜드를 단일 정보 소스에 통합하고 있습니다. 구조화되지 않은 데이터(NFS, SMB, 객체)를 GCP에 통합하면 모든 데이터에 액세스하고, 이 데이터에서 공동작업하고, 규정을 준수하도록 분석 및 제어할 수 있습니다.

Freedom Family의 근간인 Panzura CloudFS는 클라우드용으로 빌드된 수평으로 확장 가능한 분산형 파일 시스템으로, 26개 특허를 기반으로 한 지능형 파일 서비스를 포함합니다. Freedom 제품군을 사용하면 클라우드 마이그레이션, 전역 공동작업, 검색 및 분석과 같은 사용 사례를 비용 효율적으로 처리할 수 있습니다.

Panzura Freedom과 GCP를 함께 사용하면 다음이 가능합니다.

  • 코드 및 워크플로 변경 또는 성능 저하 없이 레거시 애플리케이션 수천 개를 GCP로 마이그레이션
  • 데이터를 단일 정보 소스로 통합하여 백업 및 보조 스토리지의 사본 데이터 불일치 해소
  • 대규모 프로젝트에서 전역으로 공동작업하여 생산성 향상 및 TTM(time to market) 단축
  • 비용을 70% 절감하고 데이터 센터의 파일 인프라를 90% 줄여 레거시 NAS 현대화
  • 고급 애널리틱스 및 머신러닝에 사용할 수 있도록 레거시 테이프 데이터 리하이드레이션

자세히 알아보기:

Quobyte

Quobyte는 병렬 분산형 POSIX 호환 파일 시스템으로 클라우드와 사내에서 실행되어 페타바이트 규모의 저장소와 수백만 건의 IOPS를 제공합니다. 이 회사는 클라우드에 대한 깊은 기술적 이해를 바탕으로 Quobyte 파일 시스템을 설계하고 구성한 전 Google 엔지니어들에 의해 설립되었습니다.

고객은 생명과학, 금융 서비스, 항공우주 엔지니어링, 방송 및 디지털 제작, 전자 설계 자동화(EDA)부터 전통적인 고성능 컴퓨팅(HPC) 연구 프로젝트까지 다양한 산업 분야의 까다로운 대규모 프로덕션 환경에서 Quobyte를 사용합니다.

Quobyte는 기본적으로 모든 Linux, Windows, NFS 애플리케이션을 지원합니다. 기존 애플리케이션, 새로 구현된 애플리케이션, 그리고 개발자는 클라우드든 온프레미스든 동일한 환경에서 작동하거나 작업할 수 있습니다. Quobyte는 NFS보다 더 확실한 보장을 필요로 하거나 분산 설정에 맞게 설계되지 않은 애플리케이션에 캐시 일관성을 추가적으로 제공합니다. 그리고 HPC 애플리케이션은 Quobyte가 여러 클라이언트의 동시 다발적인 고속 읽기 쓰기를 지원하는 병렬 파일 시스템이라는 사실을 활용할 수 있습니다.

분산 파일 시스템인 Quobyte는 노드의 수에 비례하여 IOPS와 처리량을 확장함으로써 클러스터링된 솔루션이나 단일 파일러 솔루션의 성능 병목현상을 피합니다. Quobyte는 기본 클라이언트 소프트웨어를 통해 수천 개의 Linux 및 Windows 클라이언트 가상 머신(VM) 또는 컨테이너화된 애플리케이션에 높은 IOPS에 대한 액세스, 짧은 지연 시간, 그리고 수 GBs의 처리량을 제공합니다. 이 기본 클라이언트는 모든 저장소 VM과 직접 통신하며 데이터의 여러 복제본을 통해서도 읽기가 가능하므로 추가 지연 시간과 NFS 게이트웨이의 성능 병목 현상을 피할 수 있습니다.

몇 분만에 Compute Engine에 Quobyte 클러스터를 만들고 확장할 수 있으며 관리자는 클라우드에서 전체 작업부하를 실행하거나 최대 작업 부하를 버스팅할 수 있습니다. 하나의 저장소 VM으로 시작해서 추가 용량과 VM을 즉석에서 추가하세요. 그리고 리소스가 더 이상 필요하지 않으면 배포 규모를 동적으로 축소하세요

표준 Linux VM은 Compute Engine의 Quobyte 클러스터를 위한 토대입니다. 대화형 설치 프로그램을 통해 신속하고 쉽게 설치할 수 있습니다. 데이터는 연결된 영구 디스크(HDD 또는 SSD 기반)에 저장됩니다. 하나의 설치로 두 가지 유형 모두를 예를 들어 여러 가지 성능 등급으로 사용할 수 있습니다. 볼륨 미러링 기능은 지역별로 복제된 볼륨 재해 복구(DR) 복사본을 만들 수 있게 해줍니다. 이 기능은 원격 지역의 읽기 전용 액세스 용도로도 사용할 수 있습니다.

모니터링과 자동화가 Quobyte에 내장되어 있어서 수백 개의 저장소 VM으로 이루어진 클러스터를 쉽게 유지할 수 있습니다. 클릭 한 번으로 VM과 디스크를 추가하거나 삭제할 수 있으며 새 리소스가 1분 안에 제공됩니다. 내장된 실시간 분석 기능은 저장소를 가장 많이 차지하는 데이터와 애플리케이션의 액세스 패턴을 식별하는 데 도움을 줍니다.

Quobyte는 www.quobyte.com/get-quobyte에서 직접 무료 45일 테스트 라이선스로 제공됩니다.

Quobyte 파일 시스템의 다이어그램

Quobyte는 수천 개의 클라이언트가 성능 병목 현상 없이 모든 저장소 VM과 직접 통신하도록 지원합니다. 여러 가용 영역 또는 온프레미스 클러스터 사이에 선택적 볼륨 미러링을 사용함으로써 읽기 전용 데이터에 액세스할 수 있도록 여러 사이트(예: 재해 복구용) 사이에서 볼륨을 비동기식으로 복제할 수 있습니다.

파트너가 지원하는 파일러 솔루션

Avere vFXT

Avere Systems는 최대의 읽기 성능이 필요한 작업 부하에 최상의 솔루션을 제공합니다. Avere의 클라우드 기반 vFXT 클러스터링된 클라우드 파일 시스템을 사용하면 사용자에게 페타바이트 규모의 스토리지와 IOPS 수백만 개를 제공할 수 있습니다.

Avere vFXT의 다이어그램

Avere vFXT는 파일러이자 작업 중인 데이터 세트를 컴퓨팅 클러스터와 최대한 가까운 위치에 배치하여 기존 워크플로 변경을 최소화할 수 있게 해주는 읽기/쓰기 캐시이기도 합니다. Avere를 이용하면 Compute Engine의 성능, 확장성, 초당 가격과 더불어 Cloud Storage의 비용 효과성을 보조 기억장치로 사용할 수 있습니다.

또한, Avere는 현재의 온프레미스 사용 공간을 최대한 활용할 수 있게 해줍니다. vFXT와 함께 GCP를 활용할 수 있을 뿐 아니라, Avere의 온프레미스 FXT 시리즈를 사용하여 기존 기기의 저장소와 저장소 배열을 단일 네임스페이스를 갖는 확장 가능한 파일러에 통합할 수 있습니다.

온프레미스 저장소 사용 공간으로부터의 전환을 고려하고 있다면, Avere의 FlashCloud 기술을 사용하여 클라이언트 다운타임 없이 Cloud Storage로 이전할 수 있습니다. 짧은 기간 동안 대량의 저장소가 필요한 경우 Cloud Storage를 사용하여 작업 부하를 클라우드로 버스팅할 수 있습니다. 저장소와 컴퓨팅을 필요한 만큼 사용한 다음에 운영 비용을 지불하지 않고 프로비저닝을 해제할 수 있습니다.

Avere는 SSD와 RAM 같은 빠른 로컬 기기를 사용하여 현재 작동 중인 데이터 세트를 가능한 한 컴퓨팅 기기에 가깝게 캐시합니다. vFXT를 사용하면 Cloud Storage의 글로벌 중복성과 엄청난 규모를 이용하면서도 사용자에게는 사용자의 데이터가 사용자 컴퓨팅 클러스터의 로컬 데이터라는 착각을 계속해서 불러일으킬 수 있습니다.

Avere를 파일러 솔루션으로 사용하려면 Avere에 직접 문의하세요. Avere에 대한 자세한 내용은 Google Cloud Platform 통합 개요를 참조하세요.