Informazioni sul driver CSI Parallelstore di Google Kubernetes Engine

Parallelstore è disponibile solo su invito. Se vuoi richiedere accesso a Parallelstore nel tuo Google Cloud progetto, contatta il tuo rappresentante di vendita.

Parallelstore è un file system distribuito a bassa latenza e completamente gestito progettato per soddisfare le esigenze di addestramento di AI/ML e dei carichi di lavoro di calcolo ad alte prestazioni (HPC) che richiedono latenze estremamente ridotte (inferiori al millisecondo), semantica POSIX completa e un elevato throughput delle operazioni sui metadati. Parallelstore è scalabile fino a velocità di lettura di 1 TB/s e milioni di IOPS.

Per connettere un cluster Google Kubernetes Engine (GKE) a un'istanza Parallelstore, utilizza il driver CSI (Container Storage Interface) di Parallelstore. Il driver CSI Parallelstore ti consente di utilizzare l'API GKE per utilizzare le istanze Parallelstore come volumi per i tuoi carichi di lavoro stateful (ad esempio, pod e job). È ottimizzato per i carichi di lavoro di addestramento di AI/ML, in particolare quelli che prevedono dimensioni dei file più piccole e letture casuali.

GKE attiva il driver CSI per impostazione predefinita quando crei un nuovo cluster GKE Autopilot. Nei cluster GKE Standard nuovi ed esistenti, dovrai attivare il driver CSI.

Vantaggi

Puoi utilizzare il driver CSI Parallelstore per usufruire di uno spazio di archiviazione ad alte prestazioni. Con il driver CSI Parallelstore, puoi accelerare i workload di addestramento IA/ML e di calcolo ad alte prestazioni, con accesso rapido e coerente ai dati condivisi per un'elaborazione e un'analisi efficienti.

  • Hai accesso a file system paralleli completamente gestiti come spazio di archiviazione tramite le API Kubernetes.
  • Il driver CSI Parallelstore di Google Kubernetes Engine supporta le modalità di accesso ReadWriteMany, ReadOnlyMany e ReadWriteOnce.
  • Puoi utilizzare il driver CSI di Parallelstore di Google Kubernetes Engine per eseguire il provisioning dinamico dei tuoi PersistentVolume.
  • Puoi accedere alle istanze Parallelstore esistenti nei carichi di lavoro Kubernetes. Puoi anche creare dinamicamente istanze Parallelstore e utilizzarle nei carichi di lavoro Kubernetes con un StatefulSet o un Deployment.

Limitazioni

  • Persistenza dei dati: Parallelstore è un file system "scratch plus". È supportato da un'unità SSD locale con crittografia a cancellazione 2+1 e il tempo medio di perdita di dati è di due mesi. Parallelstore non è uno spazio di archiviazione a lungo termine e deve essere considerato un file system estremamente veloce per workload specifici.
  • Limitazione per pod: GKE supporta il montaggio di una sola istanza Parallelstore per pod.
  • Trasferimenti di dati: il trasferimento di dati da Cloud Storage a Parallelstore non è supportato dall'API GKE. Per eseguire il trasferimento, utilizza l'API Parallelstore.
  • Capacità utilizzabile: puoi configurare la capacità di archiviazione da 12.000 a 100.000 GiB.
  • Zone supportate: Parallelstore è supportato in queste zone. Se la regione del tuo cluster è diversa da quella dell'istanza Parallelstore, si verificherà un calo sensibile delle prestazioni di I/O.
  • Limitazioni di VPC-SC per Parallelstore: se utilizzi sia VPC condiviso che Controlli di servizio VPC, devi avere il progetto host che fornisce la rete e il progetto di servizio che contiene l'istanza Parallelstore nello stesso perimetro affinché l'istanza Parallelstore funzioni correttamente. Se separi il progetto host e il progetto di servizio con un perimetro, le istanze esistenti potrebbero non essere più disponibili e potrebbe non essere possibile crearne di nuove.

Requisiti

Per utilizzare il driver CSI Parallelstore, i cluster devono soddisfare i seguenti requisiti:

  • Assicurati di aver installato la versione più recente di Google Cloud CLI. La versione minima supportata della CLI gcloud per questa funzionalità è 469.0.0 o successive.
  • Utilizza il cluster Google Kubernetes Engine versione 1.29 o successive.

Passaggi successivi