Google Kubernetes Engine Parallelstore CSI ドライバについて

Parallelstore は招待制です。Google Cloud プロジェクトで Parallelstore へのアクセス権をリクエストする場合は、営業担当者にお問い合わせください。

Parallelstore はフルマネージドで低レイテンシの分散ファイル システムであり、AI/ML トレーニングやハイ パフォーマンス コンピューティング（HPC）のワークロードできわめて低いレイテンシ（ミリ秒未満）、完全な POSIX セマンティクス、高いメタデータ オペレーション スループットが必要である場合に、これらの要件を満たすように設計されています。Parallelstore は、読み取り速度 1 TB/秒と数百万 IOPS までのスケーリングが可能です。

Google Kubernetes Engine（GKE）クラスタを Parallelstore インスタンスに接続するには、Parallelstore Container Storage Interface（CSI）ドライバを使用します。この Parallelstore CSI ドライバを使用すると、GKE API を使用して Parallelstore インスタンスをステートフル ワークロード（たとえば Pod や Job）の Volume として使用することが可能になります。AI / ML トレーニング ワークロードのために最適化されていますが、中でもファイルサイズが小さく読み取りがランダムであるものに適しています。

新しい GKE Autopilot クラスタを作成すると、デフォルトでは GKE によって自動的に CSI ドライバが有効化されます。新規および既存の GKE Standard クラスタに対しては、ユーザーが CSI ドライバを有効にする必要があります。

利点

Parallelstore CSI ドライバを使用すると、高性能ストレージの利点を活用できます。Parallelstore CSI ドライバを活用して、ハイ パフォーマンス コンピューティングや AI / ML トレーニングのワークロードを高速化できます。共有データに対する高速で一貫したアクセスが可能になるため、効率的な処理と分析が実現します。

  • フルマネージド並列ファイル システムに Kubernetes API を介してアクセスしてストレージとして使用できます。
  • Google Kubernetes Engine Parallelstore CSI ドライバではアクセスモードとして ReadWriteMany、ReadOnlyMany、ReadWriteOnce がサポートされています。
  • Google Kubernetes Engine Parallelstore CSI ドライバを使用して PersistentVolume を動的にプロビジョニングできます。
  • 既存の Parallelstore インスタンスに Kubernetes ワークロードの中でアクセスできます。StatefulSet または Deployment を使用して、Parallelstore インスタンスを動的に作成して Kubernetes ワークロードで使用することもできます。

制限事項

  • データの永続性: Parallelstore は「スクラッチ」ファイル システムの機能を拡張したものです。内部ではローカル SSD と 2+1 訂正消失符号が使用されており、平均データ損失時間は 2 か月です。Parallelstore は長期ストレージではなく、特定のワークロード向けのきわめて高速なファイル システムと見なす必要があります。
  • Pod あたりの制限: GKE では Pod ごとに 1 つのみの Parallelstore インスタンスのマウントがサポートされます。
  • データ転送: Cloud Storage から Parallelstore へのデータ転送は、GKE API ではサポートされていません。転送するには、Parallelstore API を使用します。
  • 使用可能な容量: ストレージ容量は 12,000 GiB～100,000 GiB の範囲で構成できます。
  • サポートされているゾーン: Parallelstore は、次のゾーンでサポートされています。クラスタのリージョンが Parallelstore インスタンスのリージョンと異なる場合は、I/O パフォーマンスが著しく低下します。
  • Parallelstore に関する VPC-SC の制限事項: 共有 VPC と VPC Service Controls の両方を使用する場合に、Parallelstore インスタンスを正常に機能させるには、ネットワークを提供するホスト プロジェクトと Parallelstore インスタンスが含まれるサービス プロジェクトが同じ境界の内側にあることが必要です。ホスト プロジェクトとサービス プロジェクトが境界で隔てられている場合は、既存のインスタンスが使用不可になる可能性があり、新しいインスタンスの作成ができなくなる可能性があります。

要件

Parallelstore CSI ドライバを使用するには、クラスタが次の要件を満たしている必要があります。

  • 最新バージョンの Google Cloud CLI がインストールされていることを確認します。この機能に対してサポートされる gcloud CLI の最小バージョンは 469.0.0 以降です。
  • Google Kubernetes Engine クラスタ バージョン 1.29 以降を使用します。

次のステップ