Accedere alle istanze Parallelstore esistenti utilizzando il driver CSI Parallelstore di GKE

Autopilota Standard

---

Parallelstore è disponibile solo su invito. Se vuoi richiedere accesso a Parallelstore nel tuo Google Cloud progetto, contatta il tuo rappresentante di vendita.

Questa guida descrive come connetterti a un'istanza Parallelstore esistente con il driver CSI Parallelstore di GKE con provisioning statico. In questo modo puoi accedere alle istanze Parallelstore completamente gestite esistenti come volumi per i tuoi workload con stato, in modo controllato e prevedibile.

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:

• Abilita l'API Parallelstore e l'API Google Kubernetes Engine.
Abilita le API
• Se vuoi utilizzare Google Cloud CLI per questa attività, installa e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, ottieni la versione più recente eseguendo gcloud components update.
  Nota: per le installazioni esistenti di gcloud CLI, assicurati di impostare le proprietà compute/region e compute/zone. Se imposti le posizioni predefinite, puoi evitare errori in gcloud CLI come il seguente: One of [--zone, --region] must be supplied: Please specify location.

• Per limitazioni e requisiti, consulta la panoramica del driver CSI.
• Crea un'istanza Parallelstore se non l'hai ancora fatto.
• Configura una rete VPC.
• Se vuoi utilizzare un cluster GKE Standard, assicurati di abilitare il driver CSI.

Accedere a un'istanza Parallelstore esistente utilizzando il driver CSI Parallelstore

Se hai già eseguito il provisioning di un'istanza Parallelstore nella stessa rete del tuo cluster GKE, puoi seguire queste istruzioni per eseguire il provisioning statico di un volume permanente che fa riferimento alla tua istanza.

Le sezioni seguenti descrivono la procedura tipica per accedere a un'istanza Parallelstore esistente utilizzando il driver CSI Parallelstore:

1. Crea un PersistentVolume che rimandi all'istanza Parallelstore.
2. Utilizza un oggetto PersistentVolumeClaim per accedere al volume.
3. (Facoltativo) Configura le risorse per il contenitore sidecar.
4. Crea un workload che consumi il volume.

Crea un PersistentVolume

Questa sezione mostra un esempio di come creare un volume permanente che fa riferimento a un'istanza Parallelstore esistente.

1. Esegui il seguente comando per individuare l'istanza Parallelstore.

   gcloud beta parallelstore instances list \
       --project=PROJECT_ID \
       --location=LOCATION
   

   Sostituisci quanto segue:

   • PROJECT_ID: l' Google Cloud ID progetto.
   • LOCATION: la zona Compute Engine contenente il cluster. Devi specificare una zona supportata per il driver CSI Parallelstore.

   L'output dovrebbe essere simile al seguente. Prima di procedere al passaggio successivo, assicurati di annotare il nome dell'istanza Parallelstore e i punti di accesso IP.

   NAME                                                                                                     capacity  DESCRIPTION  CREATE_TIME                     UPDATE_TIME                     STATE   network  RESERVED_IP_RANGE  ACCESS_POINTS
   projects/my-project/locations/us-central1-a/instances/pvc-eff1ed02-a8ed-48d2-9902-bd70a2d60563  12000                  2024-03-06T19:18:26.036463730Z  2024-03-06T19:24:44.561441556Z  ACTIVE                              10.51.110.2,10.51.110.4,10.51.110.3
   

2. Salva il seguente manifest in un file denominato parallelstore-pv.yaml:

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: parallelstore-pv
   spec:
     storageClassName: "STORAGECLASS_NAME"
     capacity:
       storage: STORAGE_SIZE
     accessModes:
       - ReadWriteMany
     persistentVolumeReclaimPolicy: Retain
     volumeMode: Filesystem
     csi:
       driver: parallelstore.csi.storage.gke.io
       volumeHandle: "PROJECT_ID/LOCATION/INSTANCE_NAME/default-pool/default-container"
       volumeAttributes:
         accessPoints: ACCESS_POINTS
         network: NETWORK_NAME
     claimRef:
       name: parallelstore-pvc
       namespace: default
   

   Sostituisci quanto segue:

   • PROJECT_ID: l' Google Cloud ID progetto
   • LOCATION: la posizione zonale dell'istanza Parallelstore. Devi specificare una zona supportata per il driver CSI Parallelstore.
   • INSTANCE_NAME: il nome dell'istanza Parallelstore. Un esempio di valore volumeHandle valido è "my-project/us-central1-a/pvc-eff1ed02-a8ed-48d2-9902-bd70a2d60563/default-pool/default-container".
   • ACCESS_POINTS: i punti di accesso della tua istanza Parallelstore, ad esempio 10.51.110.2,10.51.110.4,10.51.110.3.
   • NETWORK_NAME: la rete VPC a cui è possibile accedere all'istanza Parallelstore.
   • STORAGECLASS_NAME: il nome del tuo StorageClass. Può essere una stringa vuota, ma deve corrispondere alla specifica in PersistentVolumeClaim.
   • STORAGE_SIZE: le dimensioni dello spazio di archiviazione, ad esempio 12000Gi.

   Per l'elenco completo dei campi supportati nell'oggetto PersistentVolume, consulta la documentazione di riferimento di Parallelstore CSI.

3. Crea il volume persistente eseguendo questo comando:

   kubectl apply -f parallelstore-pv.yaml
   

(Facoltativo) Monta la stessa istanza Parallelstore con opzioni di montaggio diverse

Puoi montare la stessa istanza Parallelstore con opzioni di montaggio diverse. Ad esempio, puoi montare la stessa istanza Parallelstore con la memorizzazione nella cache attivata e con la memorizzazione nella cache disattivata nello stesso pod.

Per montare la stessa istanza Parallelstore con opzioni di montaggio diverse, devi creare un PersistentVolume per ogni opzione di montaggio. Utilizza la seguente sintassi per il campo volumeHandle nell'oggetto PersistentVolume: "PROJECT_ID/LOCATION/INSTANCE_NAME/default-pool/default-container:RANDOM_SUFFIX" , dove RANDOM_SUFFIX è una stringa casuale a tua scelta.

Ad esempio: "my-project/us-central1-a/pvc-eff1ed02-a8ed-48d2-9902-bd70a2d60563/default-pool/default-container:xyz123"

Usa un oggetto PersistentVolumeClaim per accedere al volume

Puoi creare una risorsa PersistentVolumeClaim che fa riferimento alla classe di archiviazione del driver CSI Parallelstore.

Il seguente file manifest mostra un esempio di come creare un claim di volume permanente in ReadWriteMany modalità di accesso che fa riferimento alla classe di archiviazione creata in precedenza.

1. Salva il seguente manifest in un file denominato parallelstore-pvc.yaml:

     kind: PersistentVolumeClaim
     apiVersion: v1
     metadata:
       name: parallelstore-pvc
       namespace: default
     spec:
       accessModes:
         - ReadWriteMany
       storageClassName: STORAGECLASS_NAME
       resources:
         requests:
           storage: STORAGE_SIZE
   

   Sostituisci quanto segue:

   • STORAGECLASS_NAME: il nome del StorageClass. Deve corrispondere alla specifica nel PersistentVolume.
   • STORAGE_SIZE: dimensioni dello spazio di archiviazione; ad esempio, 12000Gi. Deve corrispondere alla specifica nel PersistentVolume.

2. Crea il PersistentVolumeClaim eseguendo questo comando:

     kubectl create -f parallelstore-pvc.yaml
   

(Facoltativo) Configura le risorse per il contenitore sidecar

Quando crei un pod di lavoro che utilizza volumi basati su Parallelstore, il driver CSI determina se il volume è basato su istanze Parallelstore.

Se il driver rileva che il volume è basato su Parallelstore o se specifichi l'annotazione gke-parallelstore/volumes: "true", il driver CSI inietta automaticamente un contenitore sidecar denominato gke-parallelstore-sidecar nel tuo pod. Questo container sidecar monta l'istanza Parallelstore al tuo caricamento di lavoro.

Attenzione: prima di eseguire il deployment di un pod che utilizza la richiesta di volume permanente, assicurati che il parametro gke-parallelstore/volumes: "true" sia specificato nell'annotazione del pod o utilizza kubectl get pvc per verificare che GKE abbia creato il volume permanente e la richiesta di volume permanente. In caso contrario, potrebbero verificarsi errori di inserimento di sidecar.

Per impostazione predefinita, il contenitore sidecar è configurato con le seguenti richieste di risorse, con i limiti di risorse non impostati:

• 250 m CPU
• 512 MiB di memoria
• 10 MiB di spazio di archiviazione temporanea

Per sovrascrivere questi valori, puoi specificare facoltativamente l'annotazionegke-parallelstore/[cpu-request|memory-request|cpu-limit|memory-limit|ephemeral-storage-request] come mostrato nell'esempio seguente:

apiVersion: v1
kind: Pod
metadata:
  annotations:
    gke-parallelstore/volumes: "true"
    gke-parallelstore/cpu-request: 500m
    gke-parallelstore/memory-request: 1Gi
    gke-parallelstore/ephemeral-storage-request: 500Mi
    gke-parallelstore/cpu-limit: 1000m
    gke-parallelstore/memory-limit: 2Gi
    gke-parallelstore/ephemeral-storage-limit: 1Gi

Tieni presenti le seguenti considerazioni quando decidi la quantità di risorse da allocare:

• Se uno dei valori di richiesta o limite è impostato e un altro non è impostato, GKE li imposta entrambi sullo stesso valore specificato.
• Se i tuoi carichi di lavoro richiedono un throughput più elevato, alloca più CPU al contenitore sidecar. Una CPU insufficiente causerà la limitazione I/O.
• Puoi utilizzare il valore "0" per annullare l'impostazione di eventuali limiti di risorse sui cluster standard. Ad esempio, gke-parallelstore/memory-limit: "0" rimuove il limite di memoria per il contenitore sidecar. Questa opzione è utile quando non puoi decidere sulla quantità di risorse di cui gke-parallelstore-sidecar ha bisogno per i tuoi carichi di lavoro e vuoi consentire al sidecar di consumare tutte le risorse disponibili su un nodo.

Crea un carico di lavoro che consumi il volume

Questa sezione mostra un esempio di come creare un pod che utilizza la risorsa PersistentVolumeClaim creata in precedenza.

Più pod possono condividere la stessa risorsa PersistentVolumeClaim.

1. Salva il seguente manifest in un file denominato my-pod.yaml.

     apiVersion: v1
     kind: Pod
     metadata:
       name: my-pod
     spec:
       containers:
       - name: nginx
         image: nginx
         volumeMounts:
           - name: parallelstore-volume
             mountPath: /data
       volumes:
       - name: parallelstore-volume
         persistentVolumeClaim:
           claimName: parallelstore-pvc
   

2. Esegui il seguente comando per applicare il manifest al cluster:

     kubectl apply -f my-pod.yaml
   

   Il pod attende che GKE esegui la provisioning del claim volume permanente prima di iniziare a funzionare. Il completamento di questa operazione potrebbe richiedere diversi minuti.

Gestire il driver CSI Parallelstore

Questa sezione spiega come attivare e disattivare il driver CSI Parallelstore, se necessario.

Attivare il driver CSI Parallelstore in un nuovo cluster

Nota: il driver CSI Parallelstore è attivato per impostazione predefinita per i cluster Autopilot. Non è necessario attivare il driver quando crei un nuovo cluster Autopilot.

Per abilitare il driver CSI Parallelstore durante la creazione di un nuovo cluster standard, esegui il seguente comando con Google Cloud CLI:

gcloud container clusters create CLUSTER_NAME \
    --location=LOCATION \
    --network=NETWORK_NAME \
    --addons=ParallelstoreCsiDriver \
    --cluster-version=VERSION

Sostituisci quanto segue:

• CLUSTER_NAME: il nome del tuo cluster.
• LOCATION: la zona Compute Engine contenente il cluster. Devi specificare una zona supportata per il driver CSI Parallelstore.
• NETWORK_NAME: il nome della rete VPC creata in Configurare una rete VPC.
• VERSION: il numero di versione di GKE. Per utilizzare questa funzionalità, devi specificare un numero di versione supportato, ad esempio GKE 1.29 o versioni successive. In alternativa, puoi utilizzare il flag --release-channel e specificare un canale di rilascio.

Attivare il driver CSI Parallelstore in un cluster esistente

Per abilitare il driver in un cluster GKE Standard esistente, esegui il seguente comando con Google Cloud CLI:

gcloud container clusters update CLUSTER_NAME \
  --location=LOCATION \
  --update-addons=ParallelstoreCsiDriver=ENABLED

Sostituisci quanto segue:

• CLUSTER_NAME : il nome del cluster.
• LOCATION: la zona Compute Engine contenente il cluster. Devi specificare una zona supportata per il driver CSI Parallelstore.

Assicurati che il cluster GKE sia in esecuzione nella stessa rete VPC che hai configurato in Configurare una rete VPC. Per verificare la rete VPC di un cluster GKE, puoi controllare nella console Google Cloud o tramite il comando gcloud container clusters describe $(CLUSTER) --format="value(networkConfig.network)" --location=$(LOCATION).

Disattivare il driver CSI Parallelstore

Puoi disattivare il driver CSI Parallelstore su un cluster Autopilot o standard esistente utilizzando Google Cloud CLI.

Avviso: ti consigliamo vivamente di non disattivare manualmente il driver CSI Parallelstore sui cluster Autopilot. In questo modo, tutti i pod che utilizzano volumi permanenti di proprietà del driver non potranno essere terminati. Anche i nuovi pod che tenteranno di utilizzare questi volumi permanenti non riusciranno ad avviarsi.

gcloud container clusters update CLUSTER_NAME \
    --location=LOCATION \
    --update-addons=ParallelstoreCsiDriver=DISABLED

Sostituisci quanto segue:

• CLUSTER_NAME : il nome del cluster.
• LOCATION: la zona Compute Engine contenente il cluster. Devi specificare una zona supportata per il driver CSI Parallelstore.

Utilizzare fsGroup con i volumi Parallelstore

Il driver CSI Parallelstore supporta la modifica della proprietà di gruppo della directory di primo livello del file system montato in modo che corrisponda a un gruppo fs richiesto dall'utente specificato nel SecurityContext del pod. Questa funzionalità è supportata solo nei cluster GKE versione 1.29.5 o successive o 1.30.1 o successive.

Risoluzione dei problemi

Per indicazioni sulla risoluzione dei problemi, consulta la pagina Risoluzione dei problemi nella documentazione di Parallelstore.

Passaggi successivi

• Consulta la documentazione di riferimento di Parallelstore CSI.
• Scopri come utilizzare la libreria di intercettazione Parallelstore per migliorare il rendimento del carico di lavoro.
• Scopri come trasferire i dati in Parallelstore da Cloud Storage.
• Scopri come utilizzare GKE Volume Populator per automatizzare il trasferimento dei dati da un bucket Cloud Storage di origine a un PersistentVolumeClaim di destinazione supportato da un'istanza Parallelstore.
• Prova il tutorial per addestrare un modello TensorFlow con Keras su GKE.