Driver CSI Parallelstore di Google Kubernetes Engine
Mantieni tutto organizzato con le raccolte
Salva e classifica i contenuti in base alle tue preferenze.
Parallelstore è disponibile solo su invito. Se vuoi richiedere l'accesso a Parallelstore nel tuo progetto Google Cloud , contatta il tuo rappresentante di vendita.
Parallelstore è un file system distribuito a bassa latenza e completamente gestito progettato per soddisfare le esigenze di addestramento AI/ML e dei workload di computing ad alte prestazioni (HPC) che richiedono una latenza estremamente bassa (inferiore al millisecondo), semantica POSIX completa e un throughput elevato delle operazioni sui metadati. Parallelstore è scalabile fino a velocità di lettura di 1 TB/s
e milioni di IOPS.
Per connettere un cluster Google Kubernetes Engine (GKE) a un'istanza Parallelstore,
utilizza il driver Container Storage Interface (CSI) di Parallelstore. Il driver CSI
Parallelstore ti consente di utilizzare l'API GKE per utilizzare
le istanze Parallelstore come volumi per i tuoi carichi di lavoro stateful (ad esempio,
pod e job). È ottimizzato per i carichi di lavoro di addestramento AI/ML, in particolare quelli
che coinvolgono file di dimensioni più piccole e letture casuali.
GKE abilita il driver CSI per impostazione predefinita quando crei un
nuovo cluster GKE Autopilot. Sui cluster GKE Standard nuovi ed esistenti, devi attivare il driver CSI.
Vantaggi
Puoi utilizzare il driver CSI Parallelstore per usufruire di uno spazio di archiviazione ad alte prestazioni.
Con il driver CSI Parallelstore, puoi accelerare i carichi di lavoro di computing ad alte prestazioni e di addestramento AI/ML, con un accesso rapido e coerente ai dati condivisi per un'elaborazione e un'analisi efficienti.
Hai accesso a file system paralleli completamente gestiti come spazio di archiviazione
tramite le
API Kubernetes.
Puoi utilizzare il driver CSI di Parallelstore di Google Kubernetes Engine per eseguire il provisioning dinamico
dei tuoi PersistentVolume.
Puoi accedere alle istanze Parallelstore esistenti nei carichi di lavoro Kubernetes. Puoi anche creare dinamicamente istanze Parallelstore e utilizzarle nei carichi di lavoro Kubernetes con un StatefulSet o un Deployment.
Limitazioni
Persistenza dei dati: Parallelstore è un file system "scratch plus". È
supportato da un SSD locale con codifica di cancellazione 2+1 e il tempo medio prima della perdita di dati è
di due mesi. Parallelstore non è uno spazio di archiviazione a lungo termine e deve essere
considerato un file system estremamente veloce per workload specifici.
Limitazione per pod: GKE supporta il montaggio di una sola istanza Parallelstore per pod.
Nota:a partire dalla versione 1.32.3 di GKE,
puoi utilizzare la funzionalità di montaggio dei nodi
del driver CSI Parallelstore per montare più istanze Parallelstore
per pod.
Trasferimenti di dati: il trasferimento di dati da Cloud Storage a Parallelstore non è supportato dall'API GKE. Per eseguire il trasferimento, utilizza l'API Parallelstore.
Nota:a partire dalla versione 1.31.1 di GKE,
puoi utilizzare GKE Volume Populator
per trasferire i dati da Cloud Storage a Parallelstore durante il provisioning dinamico.
Capacità utilizzabile: puoi configurare la capacità di archiviazione da 12.000 GiB
a 100.000 GiB.
Zone supportate: Parallelstore è supportato in
queste zone. Se la regione del
cluster è diversa da quella dell'istanza Parallelstore, si verificherà un
calo significativo delle prestazioni I/O.
Limitazioni di VPC-SC per Parallelstore: se utilizzi sia il VPC condiviso sia Controlli di servizio VPC, devi avere il progetto host che fornisce la rete e il progetto di servizio che contiene l'istanza Parallelstore all'interno dello stesso perimetro affinché l'istanza Parallelstore funzioni correttamente. La separazione del
progetto host e del progetto di servizio con un perimetro potrebbe rendere non disponibili le istanze esistenti e potrebbe non creare nuove istanze.
Supporto delle macchine ARM: il driver CSI di Parallelstore supporta solo
i nodi di architettura amd64. Al momento i nodi basati su ARM non sono supportati.
Requisiti
Per utilizzare il driver CSI Parallelstore, i cluster devono soddisfare i seguenti
requisiti:
Assicurati di aver installato l'ultima versione di Google Cloud CLI. La versione minima supportata gcloud CLI
per questa funzionalità è 469.0.0 o versioni successive.
Utilizza la versione 1.29 o successive del cluster Google Kubernetes Engine.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Difficile da capire","hardToUnderstand","thumb-down"],["Informazioni o codice di esempio errati","incorrectInformationOrSampleCode","thumb-down"],["Mancano le informazioni o gli esempi di cui ho bisogno","missingTheInformationSamplesINeed","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2025-09-04 UTC."],[],[],null,["# Google Kubernetes Engine Parallelstore CSI driver\n\nParallelstore is available by invitation only. If you'd like to request access to Parallelstore in your Google Cloud project, contact your sales representative.\n\n[Parallelstore](/parallelstore/docs/overview) is a fully managed, low-latency\ndistributed file system designed to meet the demands of AI/ML training and\nhigh performance computing (HPC) workloads that need extremely low latency\n(sub-millisecond), full POSIX semantics, and high\nmetadata operation throughput. Parallelstore scales to 1 TB/s read speeds\nand millions of IOPS.\n\nTo connect a Google Kubernetes Engine (GKE) cluster to a Parallelstore instance,\nuse the Parallelstore Container Storage Interface (CSI) driver. The\nParallelstore CSI driver lets you use the GKE API to consume\nParallelstore instances as volumes for your stateful workloads (for example,\nPods and Jobs). It's optimized for AI/ML training workloads, particularly those\ninvolving smaller file sizes and random reads.\n\nGKE enables the CSI driver for you by default when you create a\nnew GKE Autopilot cluster. On new and existing\nGKE Standard clusters, you'll need to enable the\nCSI driver.\n\nBenefits\n--------\n\nYou can use the Parallelstore CSI driver to benefit from high-performance storage.\nWith the Parallelstore CSI driver, you can accelerate your high performance\ncomputing and AI/ML training workloads, with fast, consistent access to shared\ndata for efficient processing and analysis.\n\n- You have access to fully-managed parallel file systems as your storage through the [Kubernetes APIs](https://kubernetes.io/docs/tasks/administer-cluster/access-cluster-api).\n- The Google Kubernetes Engine Parallelstore CSI driver supports the **ReadWriteMany** , **ReadOnlyMany** , and **ReadWriteOnce** [access modes](https://kubernetes.io/docs/concepts/storage/persistent-volumes/#access-modes).\n- You can use the Google Kubernetes Engine Parallelstore CSI driver to dynamically provision your PersistentVolumes.\n- You can access existing Parallelstore instances in Kubernetes workloads. You can also dynamically create Parallelstore instances and use them in Kubernetes workloads with a [StatefulSet](https://kubernetes.io/docs/concepts/workloads/controllers/statefulset/) or a [Deployment](https://kubernetes.io/docs/concepts/workloads/controllers/deployment/).\n\nLimitations\n-----------\n\n- **Data persistence**: Parallelstore is a \"scratch plus\" file system. It's\n backed by Local SSD with 2+1 erasure coding, and the mean time to data loss is\n two months. Parallelstore is not long-term storage and should instead be\n considered an extremely fast file system for specific workloads.\n\n- **Per-Pod limitation**: GKE supports mounting only one\n Parallelstore instance per Pod.\n\n**Note:** Starting with GKE version 1.32.3, you can use the [node mount](/parallelstore/docs/connect-from-kubernetes-engine#node-mount) feature of the Parallelstore CSI driver to mount multiple Parallelstore instances per Pod.\n\n- **Data transfers**: Transferring data from Cloud Storage to Parallelstore is not supported by the GKE API. To perform the transfer, use the Parallelstore API.\n\n**Note:** Starting with GKE version 1.31.1, you can use the [GKE Volume Populator](/kubernetes-engine/docs/how-to/persistent-volumes/volume-populator) to transfer data from Cloud Storage to Parallelstore during dynamic provisioning.\n\n- **Usable capacity**: You can configure storage capacity from 12,000 GiB to 100,000 GiB.\n- **Supported zones** : Parallelstore is supported in [these zones](/parallelstore/docs/locations). If the region of your cluster differs from that of your Parallelstore instance, there will be a noticeable decline in the I/O performance.\n- **VPC-SC limitations for Parallelstore**: If you use both Shared VPC and VPC Service Controls, you must have the host project that provides the network and the service project that contains the Parallelstore instance inside the same perimeter for the Parallelstore instance to function correctly. Separating the host project and service project with a perimeter might cause the existing instances to become unavailable and might not create new instances.\n- **ARM machine support**: The Parallelstore CSI Driver supports only amd64 architecture nodes. ARM-based nodes are not supported at this time.\n\nRequirements\n------------\n\nTo use the Parallelstore CSI driver, your clusters must meet the following\nrequirements:\n\n- Make sure you have installed the latest version of the [Google Cloud CLI](/sdk/gcloud#download_and_install_the). The minimum supported gcloud CLI version for this feature is 469.0.0 or later.\n- Use Google Kubernetes Engine cluster version 1.29 or later.\n\nWhat's next\n-----------\n\n- [Create and use a volume backed by a Parallelstore instance Google Kubernetes Engine](/kubernetes-engine/docs/how-to/persistent-volumes/parallelstore-csi-new-volume).\n- [Access an existing Parallelstore instance from Google Kubernetes Engine](/kubernetes-engine/docs/how-to/persistent-volumes/parallelstore-csi-existing-instance)."]]
