Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Parallelstore n'est disponible que sur invitation. Si vous souhaitez demander l'accès à Parallelstore dans votre projet Google Cloud , contactez votre représentant commercial.
Parallelstore est un système de fichiers distribué entièrement géré et à faible latence, conçu pour répondre aux exigences des charges de travail d'entraînement AI/ML et de calcul hautes performances (HPC) qui nécessitent une latence extrêmement faible (inférieure à la milliseconde), une sémantique POSIX complète et un débit élevé pour les opérations sur les métadonnées. Parallelstore peut atteindre des vitesses de lecture de 1 To/s et des millions d'IOPS.
Pour connecter un cluster Google Kubernetes Engine (GKE) à une instance Parallelstore, utilisez le pilote CSI (Container Storage Interface) Parallelstore. Le pilote CSI Parallelstore vous permet d'utiliser l'API GKE pour utiliser les instances Parallelstore en tant que volumes pour vos charges de travail avec état (par exemple, les pods et les jobs). Il est optimisé pour les charges de travail d'entraînement d'IA/de ML, en particulier celles qui impliquent des fichiers de petite taille et des lectures aléatoires.
GKE active le pilote CSI pour vous par défaut lorsque vous créez un cluster GKE Autopilot. Sur les clusters GKE Standard nouveaux et existants, vous devez activer le pilote CSI.
Avantages
Vous pouvez utiliser le pilote CSI Parallelstore pour bénéficier d'un stockage hautes performances.
Avec le pilote CSI Parallelstore, vous pouvez accélérer vos charges de travail de calcul hautes performances et d'entraînement d'IA/ML, grâce à un accès rapide et cohérent aux données partagées pour un traitement et une analyse efficaces.
Vous avez accès à des systèmes de fichiers parallèles entièrement gérés comme espace de stockage via les API Kubernetes.
Le pilote CSI Parallelstore Google Kubernetes Engine est compatible avec les modes d'accès ReadWriteMany, ReadOnlyMany et ReadWriteOnce.
Vous pouvez utiliser le pilote CSI Parallelstore Google Kubernetes Engine pour provisionner vos PersistentVolumes de manière dynamique.
Vous pouvez accéder aux instances Parallelstore existantes dans les charges de travail Kubernetes. Vous pouvez également créer des instances Parallelstore de manière dynamique et les utiliser dans des charges de travail Kubernetes à l'aide d'un StatefulSet ou d'un Deployment.
Limites
Persistance des données : Parallelstore est un système de fichiers "scratch plus". Il est soutenu par un disque SSD local avec un code d'effacement 2+1, et le temps moyen avant perte de données est de deux mois. Parallelstore n'est pas un espace de stockage à long terme. Il doit plutôt être considéré comme un système de fichiers extrêmement rapide pour des charges de travail spécifiques.
Limitation par pod : GKE n'accepte le montage que d'une seule instance Parallelstore par pod.
Remarque : À partir de la version 1.32.3 de GKE, vous pouvez utiliser la fonctionnalité montage de nœud du pilote CSI Parallelstore pour monter plusieurs instances Parallelstore par pod.
Transferts de données : l'API GKE ne permet pas de transférer des données de Cloud Storage vers Parallelstore. Pour effectuer le transfert, utilisez l'API Parallelstore.
Remarque : À partir de la version 1.31.1 de GKE, vous pouvez utiliser GKE Volume Populator pour transférer des données de Cloud Storage vers Parallelstore lors du provisionnement dynamique.
Capacité utilisable : vous pouvez configurer une capacité de stockage comprise entre 12 000 Gio et 100 000 Gio.
Zones acceptées : Parallelstore est disponible dans ces zones. Si la région de votre cluster diffère de celle de votre instance Parallelstore, les performances d'E/S diminueront de manière notable.
Limites de VPC-SC pour Parallelstore : si vous utilisez à la fois le VPC partagé et VPC Service Controls, vous devez disposer du projet hôte qui fournit le réseau et du projet de service qui contient l'instance Parallelstore dans le même périmètre pour que l'instance Parallelstore puisse fonctionner correctement. La séparation du projet hôte et du projet de service par rapport au périmètre peut rendre les instances existantes indisponibles et empêcher la création d'instances.
Compatibilité avec les machines ARM : le pilote CSI Parallelstore n'est compatible qu'avec les nœuds d'architecture amd64. Les nœuds basés sur ARM ne sont pas acceptés pour le moment.
Conditions requises
Pour utiliser le pilote CSI Parallelstore, vos clusters doivent répondre aux exigences suivantes :
Assurez-vous d'avoir installé la dernière version de Google Cloud CLI. La version minimale de gcloud CLI compatible avec cette fonctionnalité est la version 469.0.0 ou ultérieure.
Utilisez la version 1.29 ou ultérieure du cluster Google Kubernetes Engine.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[],[],null,["# Google Kubernetes Engine Parallelstore CSI driver\n\nParallelstore is available by invitation only. If you'd like to request access to Parallelstore in your Google Cloud project, contact your sales representative.\n\n[Parallelstore](/parallelstore/docs/overview) is a fully managed, low-latency\ndistributed file system designed to meet the demands of AI/ML training and\nhigh performance computing (HPC) workloads that need extremely low latency\n(sub-millisecond), full POSIX semantics, and high\nmetadata operation throughput. Parallelstore scales to 1 TB/s read speeds\nand millions of IOPS.\n\nTo connect a Google Kubernetes Engine (GKE) cluster to a Parallelstore instance,\nuse the Parallelstore Container Storage Interface (CSI) driver. The\nParallelstore CSI driver lets you use the GKE API to consume\nParallelstore instances as volumes for your stateful workloads (for example,\nPods and Jobs). It's optimized for AI/ML training workloads, particularly those\ninvolving smaller file sizes and random reads.\n\nGKE enables the CSI driver for you by default when you create a\nnew GKE Autopilot cluster. On new and existing\nGKE Standard clusters, you'll need to enable the\nCSI driver.\n\nBenefits\n--------\n\nYou can use the Parallelstore CSI driver to benefit from high-performance storage.\nWith the Parallelstore CSI driver, you can accelerate your high performance\ncomputing and AI/ML training workloads, with fast, consistent access to shared\ndata for efficient processing and analysis.\n\n- You have access to fully-managed parallel file systems as your storage through the [Kubernetes APIs](https://kubernetes.io/docs/tasks/administer-cluster/access-cluster-api).\n- The Google Kubernetes Engine Parallelstore CSI driver supports the **ReadWriteMany** , **ReadOnlyMany** , and **ReadWriteOnce** [access modes](https://kubernetes.io/docs/concepts/storage/persistent-volumes/#access-modes).\n- You can use the Google Kubernetes Engine Parallelstore CSI driver to dynamically provision your PersistentVolumes.\n- You can access existing Parallelstore instances in Kubernetes workloads. You can also dynamically create Parallelstore instances and use them in Kubernetes workloads with a [StatefulSet](https://kubernetes.io/docs/concepts/workloads/controllers/statefulset/) or a [Deployment](https://kubernetes.io/docs/concepts/workloads/controllers/deployment/).\n\nLimitations\n-----------\n\n- **Data persistence**: Parallelstore is a \"scratch plus\" file system. It's\n backed by Local SSD with 2+1 erasure coding, and the mean time to data loss is\n two months. Parallelstore is not long-term storage and should instead be\n considered an extremely fast file system for specific workloads.\n\n- **Per-Pod limitation**: GKE supports mounting only one\n Parallelstore instance per Pod.\n\n**Note:** Starting with GKE version 1.32.3, you can use the [node mount](/parallelstore/docs/connect-from-kubernetes-engine#node-mount) feature of the Parallelstore CSI driver to mount multiple Parallelstore instances per Pod.\n\n- **Data transfers**: Transferring data from Cloud Storage to Parallelstore is not supported by the GKE API. To perform the transfer, use the Parallelstore API.\n\n**Note:** Starting with GKE version 1.31.1, you can use the [GKE Volume Populator](/kubernetes-engine/docs/how-to/persistent-volumes/volume-populator) to transfer data from Cloud Storage to Parallelstore during dynamic provisioning.\n\n- **Usable capacity**: You can configure storage capacity from 12,000 GiB to 100,000 GiB.\n- **Supported zones** : Parallelstore is supported in [these zones](/parallelstore/docs/locations). If the region of your cluster differs from that of your Parallelstore instance, there will be a noticeable decline in the I/O performance.\n- **VPC-SC limitations for Parallelstore**: If you use both Shared VPC and VPC Service Controls, you must have the host project that provides the network and the service project that contains the Parallelstore instance inside the same perimeter for the Parallelstore instance to function correctly. Separating the host project and service project with a perimeter might cause the existing instances to become unavailable and might not create new instances.\n- **ARM machine support**: The Parallelstore CSI Driver supports only amd64 architecture nodes. ARM-based nodes are not supported at this time.\n\nRequirements\n------------\n\nTo use the Parallelstore CSI driver, your clusters must meet the following\nrequirements:\n\n- Make sure you have installed the latest version of the [Google Cloud CLI](/sdk/gcloud#download_and_install_the). The minimum supported gcloud CLI version for this feature is 469.0.0 or later.\n- Use Google Kubernetes Engine cluster version 1.29 or later.\n\nWhat's next\n-----------\n\n- [Create and use a volume backed by a Parallelstore instance Google Kubernetes Engine](/kubernetes-engine/docs/how-to/persistent-volumes/parallelstore-csi-new-volume).\n- [Access an existing Parallelstore instance from Google Kubernetes Engine](/kubernetes-engine/docs/how-to/persistent-volumes/parallelstore-csi-existing-instance)."]]
