Parallelstore-CSI-Treiber der Google Kubernetes Engine

Parallelstore ist nur auf Einladung verfügbar. Wenn Sie Zugriff auf Parallelstore in Ihrem Google Cloud -Projekt anfordern möchten, wenden Sie sich an Ihren Ansprechpartner.

Parallelstore ist ein vollständig verwaltetes, verteiltes Dateisystem mit niedriger Latenz, das die Anforderungen von KI/ML-Training und HPC-Arbeitslasten erfüllt, die eine extrem niedrige Latenz (unter einer Millisekunde), die vollständige POSIX-Semantik und einen hohen Durchsatz für Metadatenoperationen erfordern. Parallelstore kann auf Lesegeschwindigkeiten von 1 TB/s und Millionen von IOPS skaliert werden.

Verwenden Sie den Parallelstore CSI-Treiber (Container Storage Interface), um einen GKE-Cluster (Google Kubernetes Engine) mit einer Parallelstore-Instanz zu verbinden. Mit dem Parallelstore CSI-Treiber können Sie die GKE API verwenden, um Parallelstore-Instanzen als Volumes für Ihre zustandsorientierten Arbeitslasten (z. B. Pods und Jobs) zu nutzen. Es ist für KI/ML-Trainingsarbeitslasten optimiert, insbesondere für solche mit kleineren Dateigrößen und zufälligen Lesezugriffen.

GKE aktiviert den CSI-Treiber standardmäßig, wenn Sie einen neuen GKE Autopilot-Cluster erstellen. In neuen und vorhandenen GKE Standardclustern müssen Sie den CSI-Treiber aktivieren.

Vorteile

Mit dem Parallelstore-CSI-Treiber können Sie von Hochleistungsspeicher profitieren. Mit dem Parallelstore-CSI-Treiber können Sie Ihre Hochleistungs-Computing- und KI/ML-Trainingslasten beschleunigen. So erhalten Sie schnellen, konsistenten Zugriff auf freigegebene Daten für eine effiziente Verarbeitung und Analyse.

  • Über die Kubernetes APIs haben Sie Zugriff auf vollständig verwaltete parallele Dateisysteme als Speicher.
  • Der Parallelstore-CSI-Treiber der Google Kubernetes Engine unterstützt die Zugriffsmodi ReadWriteMany, ReadOnlyMany und ReadWriteOnce.
  • Sie können den CSI-Treiber für Parallelstore der Google Kubernetes Engine verwenden, um PersistentVolumes dynamisch bereitzustellen.
  • Sie können auf vorhandene Parallelstore-Instanzen in Kubernetes-Arbeitslasten zugreifen. Sie können Parallelstore-Instanzen auch dynamisch erstellen und in Kubernetes-Arbeitslasten mit einem StatefulSet oder einem Deployment verwenden.

Beschränkungen

  • Datenpersistenz: Parallelstore ist ein „Scratch-Plus“-Dateisystem. Sie wird von einem lokalen SSD mit 2+1-Entzifferungscodierung unterstützt und die durchschnittliche Zeit bis zum Datenverlust beträgt zwei Monate. Parallelstore ist kein Langzeitspeicher und sollte stattdessen als extrem schnelles Dateisystem für bestimmte Arbeitslasten betrachtet werden.
  • Begrenzung pro Pod: In GKE kann nur eine Parallelstore-Instanz pro Pod bereitgestellt werden.
  • Datenübertragungen: Die Übertragung von Daten von Cloud Storage zu Parallelstore wird von der GKE API nicht unterstützt. Verwenden Sie die Parallelstore API, um die Übertragung durchzuführen.
  • Nutzbare Kapazität: Sie können die Speicherkapazität von 12.000 GiB bis 100.000 GiB konfigurieren.
  • Unterstützte Zonen: Parallelstore wird in diesen Zonen unterstützt. Wenn sich die Region Ihres Clusters von der Ihrer Parallelstore-Instanz unterscheidet, sinkt die I/O-Leistung deutlich.
  • Einschränkungen von VPC-SC für Parallelstore: Wenn Sie sowohl eine freigegebene VPC als auch VPC Service Controls verwenden, benötigen Sie das Hostprojekt, das das Netzwerk und das Dienstprojekt mit der Parallelstore-Instanz im selben Perimeter bereitstellt, damit die Parallelstore-Instanz ordnungsgemäß funktioniert. Wenn Sie das Hostprojekt und das Dienstprojekt durch einen Perimeter trennen, sind die vorhandenen Instanzen möglicherweise nicht mehr verfügbar und es werden möglicherweise keine neuen Instanzen erstellt.

Voraussetzungen

Damit Sie den Parallelstore-CSI-Treiber verwenden können, müssen Ihre Cluster die folgenden Anforderungen erfüllen:

  • Prüfen Sie, ob die neueste Version der Google Cloud CLI installiert ist. Die Mindestversion der gcloud CLI für diese Funktion ist 469.0.0 oder höher.
  • Verwenden Sie Google Kubernetes Engine-Clusterversion 1.29 oder höher.

Nächste Schritte