Informazioni sul driver CSI Parallelstore di Google Kubernetes Engine

Parallelstore è disponibile solo su invito. Se vuoi richiedere l'accesso a Parallelstore nel tuo progetto Google Cloud, contatta il tuo rappresentante di vendita.

Parallelstore è un servizio completamente gestito e a bassa latenza file system distribuito progettato per soddisfare le esigenze dell'addestramento di AI/ML e carichi di lavoro di computing ad alte prestazioni (HPC) che richiedono una latenza estremamente bassa (sub-millisecondo), semantica completa di POSIX e e la velocità effettiva delle operazioni sui metadati. Parallelstore è scalabile fino a velocità di lettura di 1 TB/s e milioni di IOPS.

Per connettere un cluster Google Kubernetes Engine (GKE) a un'istanza Parallelstore, usa il driver Parallelstore Container Storage Interface (CSI). La Il driver CSI Parallelstore ti consente di usare l'API GKE per utilizzare Istanze Parallelstore come volumi per i carichi di lavoro stateful (ad esempio, pod e job). È ottimizzato per i carichi di lavoro di addestramento di AI/ML, in particolare quelli con file di piccole dimensioni e letture casuali.

GKE attiva il driver CSI per impostazione predefinita quando crei un nuovo cluster GKE Autopilot. Nei cluster GKE Standard nuovi ed esistenti, dovrai attivare il driver CSI.

Vantaggi

Puoi usare il driver CSI Parallelstore per trarre vantaggio dall'archiviazione ad alte prestazioni. Con il driver CSI Parallelstore, puoi accelerare i carichi di lavoro di addestramento IA/ML e di calcolo ad alte prestazioni, con accesso rapido e coerente ai dati condivisi per un'elaborazione e un'analisi efficienti.

  • Hai accesso a file system paralleli completamente gestiti come spazio di archiviazione tramite le API Kubernetes.
  • Il driver CSI Parallelstore di Google Kubernetes Engine supporta le modalità di accesso ReadWriteMany, ReadOnlyMany e ReadWriteOnce.
  • Puoi utilizzare il driver CSI Parallelstore di Google Kubernetes Engine per eseguire il provisioning dinamico dei tuoi PersistentVolume.
  • Puoi accedere alle istanze Parallelstore esistenti nei carichi di lavoro Kubernetes. Tu puoi anche creare dinamicamente istanze Parallelstore e utilizzarle in Kubernetes carichi di lavoro con StatefulSet o un Deployment.

Limitazioni

  • Persistenza dei dati: Parallelstore è un file system "scratch plus". È supportata da SSD locale con codifica di cancellazione 2+1 e il tempo medio alla perdita di dati è due mesi. Parallelstore non è uno spazio di archiviazione a lungo termine e deve essere considerato un file system estremamente veloce per carichi di lavoro specifici.
  • Limitazioni per pod: GKE supporta il montaggio di un solo pod Istanza Parallelstore per pod.
  • Trasferimenti di dati: il trasferimento di dati da Cloud Storage a Parallelstore non è supportato dall'API GKE. Per eseguire il trasferimento, utilizza API Parallelstore.
  • Capacità utilizzabile: puoi configurare una capacità di archiviazione da 12.000 GiB a 100.000 GiB.
  • Zone supportate: Parallelstore è supportato in queste zone. Se la regione diverso da quello dell'istanza Parallelstore, ci sarà una un calo significativo delle prestazioni di I/O.
  • Limitazioni di VPC-SC per Parallelstore: se utilizzi sia VPC condiviso che Controlli di servizio VPC, devi avere il progetto host che fornisce la rete e il progetto di servizio che contiene l'istanza Parallelstore nello stesso perimetro affinché l'istanza Parallelstore funzioni correttamente. Separazione del progetto host e progetto di servizio con un perimetro potrebbero causare non sarà più disponibile e potrebbero non crearne di nuove.

Requisiti

Per utilizzare il driver CSI Parallelstore, i cluster devono soddisfare i seguenti requisiti requisiti:

  • Assicurati di aver installato la versione più recente di Google Cloud CLI. Il numero minimo supportato per gcloud CLI per questa funzionalità è la 469.0.0 o successiva.
  • Utilizza il cluster Google Kubernetes Engine versione 1.29 o successive.

Passaggi successivi