Google Kubernetes Engine Parallelstore CSI 드라이버 정보

Parallelstore는 초대를 받아야만 사용할 수 있습니다. Google Cloud 프로젝트에서 Parallelstore에 대한 액세스 권한을 요청하려면 영업 담당자에게 문의하세요.

Parallelstore는 지연 시간이 매우 짧은(1밀리초 미만), 전체 POSIX 시맨틱, 높은 메타데이터 작업 처리량이 필요한 AI/ML 학습 및 고성능 컴퓨팅(HPC) 워크로드의 요구사항을 충족하도록 설계된 지연 시간이 짧은 완전 관리형 분산 파일 시스템입니다. Parallelstore는 1TB/s의 읽기 속도와 수백만 IOPS로 확장됩니다.

Google Kubernetes Engine(GKE) 클러스터를 Parallelstore 인스턴스에 연결하려면 Parallelstore 컨테이너 스토리지 인터페이스(CSI) 드라이버를 사용하세요. Parallelstore CSI 드라이버를 사용하면 GKE API를 통해 Parallelstore 인스턴스를 스테이트풀(Stateful) 워크로드(예: 포드 및 작업)의 볼륨으로 사용할 수 있습니다. AI/ML 학습 워크로드, 특히 작은 파일 크기와 무작위 읽기가 포함된 워크로드에 최적화되어 있습니다.

GKE는 새 GKE Autopilot 클러스터를 만들 때 기본적으로 CSI 드라이버를 사용 설정합니다. 신규 및 기존 GKE Standard 클러스터에서 CSI 드라이버를 사용 설정해야 합니다.

이점

Parallelstore CSI 드라이버를 사용하여 고성능 스토리지의 이점을 누릴 수 있습니다. Parallelstore CSI 드라이버를 사용하면 고성능 컴퓨팅 및 AI/ML 학습 워크로드를 가속화할 수 있으며, 공유 데이터에 빠르고 일관되게 액세스하여 효율적인 처리와 분석을 수행할 수 있습니다.

  • Kubernetes API를 통해 완전 관리형 병렬 파일 시스템을 스토리지로 사용할 수 있습니다.
  • Google Kubernetes Engine Parallelstore CSI 드라이버는 ReadWriteMany, ReadOnlyMany, ReadWriteOnce 액세스 모드를 지원합니다.
  • Google Kubernetes Engine Parallelstore CSI 드라이버를 사용하여 PersistentVolume을 동적으로 프로비저닝할 수 있습니다.
  • Kubernetes 워크로드에서 기존 Parallelstore 인스턴스에 액세스할 수 있습니다. 또한 Parallelstore 인스턴스를 동적으로 만들고 StatefulSet 또는 배포를 통해 Kubernetes 워크로드에서 사용할 수 있습니다.

제한사항

  • 데이터 지속성: Parallelstore는 '스크래치 플러스' 파일 시스템입니다. 2+1 삭제 코딩이 적용된 로컬 SSD를 기반으로 하며, 평균 데이터 손실 시간은 2개월입니다. Parallelstore는 장기 저장소가 아니며 대신 특정 워크로드에 적합한 매우 빠른 파일 시스템으로 간주해야 합니다.
  • 포드별 제한사항: GKE는 포드당 Parallelstore 인스턴스 하나만 마운트할 수 있습니다.
  • 데이터 전송: Cloud Storage에서 Parallelstore로 데이터를 전송하는 것은 GKE API에서 지원되지 않습니다. 전송을 실행하려면 Parallelstore API를 사용하세요.
  • 사용 가능한 용량: 스토리지 용량을 12,000GiB~100,000GiB로 구성할 수 있습니다.
  • 지원되는 영역: Parallelstore가 지원되는 영역입니다. 클러스터의 리전이 Parallelstore 인스턴스의 리전과 다르면 I/O 성능이 눈에 띄게 저하됩니다.
  • Parallelstore의 VPC-SC 제한사항: 공유 VPC와 VPC 서비스 제어를 모두 사용하는 경우 Parallelstore 인스턴스가 올바르게 작동하려면 네트워크를 제공하는 호스트 프로젝트와 Parallelstore 인스턴스가 포함된 서비스 프로젝트가 동일한 경계 내에 있어야 합니다. 호스트 프로젝트와 서비스 프로젝트를 경계로 분리하면 기존 인스턴스를 사용할 수 없게 되고 새 인스턴스가 생성되지 않을 수 있습니다.

요구사항

Parallelstore CSI 드라이버를 사용하려면 클러스터가 다음 요구사항을 충족해야 합니다.

  • Google Cloud CLI의 최신 버전이 설치되었는지 확인합니다. 이 기능에 지원되는 최소 gcloud CLI 버전은 469.0.0 이상입니다.
  • Google Kubernetes Engine 클러스터 버전 1.29 이상을 사용합니다.

다음 단계