Questa guida descrive come connetterti a un'istanza Parallelstore esistente con il driver CSI Parallelstore di GKE con provisioning statico. In questo modo puoi accedere alle istanze Parallelstore completamente gestite esistenti come volumi per i tuoi workload con stato, in modo controllato e prevedibile.
Prima di iniziare
Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:
- Abilita l'API Parallelstore e l'API Google Kubernetes Engine. Abilita le API
- Se vuoi utilizzare Google Cloud CLI per questa attività,
installa e poi
inizializza gcloud CLI. Se hai già installato gcloud CLI, ottieni la versione più recente eseguendo
gcloud components update
.
- Per limitazioni e requisiti, consulta la panoramica del driver CSI.
- Crea un'istanza Parallelstore se non l'hai ancora fatto.
- Configura una rete VPC.
- Se vuoi utilizzare un cluster GKE Standard, assicurati di abilitare il driver CSI.
Accedere a un'istanza Parallelstore esistente utilizzando il driver CSI Parallelstore
Se hai già eseguito il provisioning di un'istanza Parallelstore nella stessa rete del tuo cluster GKE, puoi seguire queste istruzioni per eseguire il provisioning statico di un volume permanente che fa riferimento alla tua istanza.
Le sezioni seguenti descrivono la procedura tipica per accedere a un'istanza Parallelstore esistente utilizzando il driver CSI Parallelstore:
- Crea un PersistentVolume che rimandi all'istanza Parallelstore.
- Utilizza un oggetto PersistentVolumeClaim per accedere al volume.
- (Facoltativo) Configura le risorse per il contenitore sidecar.
- Crea un workload che consumi il volume.
Crea un PersistentVolume
Questa sezione mostra un esempio di come creare un volume permanente che fa riferimento a un'istanza Parallelstore esistente.
Esegui il seguente comando per individuare l'istanza Parallelstore.
gcloud beta parallelstore instances list \ --project=PROJECT_ID \ --location=LOCATION
Sostituisci quanto segue:
- PROJECT_ID: l' Google Cloud ID progetto.
- LOCATION: la zona Compute Engine contenente il cluster. Devi specificare una zona supportata per il driver CSI Parallelstore.
L'output dovrebbe essere simile al seguente. Prima di procedere al passaggio successivo, assicurati di annotare il nome dell'istanza Parallelstore e i punti di accesso IP.
NAME capacity DESCRIPTION CREATE_TIME UPDATE_TIME STATE network RESERVED_IP_RANGE ACCESS_POINTS projects/my-project/locations/us-central1-a/instances/pvc-eff1ed02-a8ed-48d2-9902-bd70a2d60563 12000 2024-03-06T19:18:26.036463730Z 2024-03-06T19:24:44.561441556Z ACTIVE 10.51.110.2,10.51.110.4,10.51.110.3
Salva il seguente manifest in un file denominato
parallelstore-pv.yaml
:apiVersion: v1 kind: PersistentVolume metadata: name: parallelstore-pv spec: storageClassName: "STORAGECLASS_NAME" capacity: storage: STORAGE_SIZE accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Retain volumeMode: Filesystem csi: driver: parallelstore.csi.storage.gke.io volumeHandle: "PROJECT_ID/LOCATION/INSTANCE_NAME/default-pool/default-container" volumeAttributes: accessPoints: ACCESS_POINTS network: NETWORK_NAME claimRef: name: parallelstore-pvc namespace: default
Sostituisci quanto segue:
- PROJECT_ID: l' Google Cloud ID progetto
- LOCATION: la posizione zonale dell'istanza Parallelstore. Devi specificare una zona supportata per il driver CSI Parallelstore.
- INSTANCE_NAME: il nome dell'istanza Parallelstore. Un esempio di valore
volumeHandle
valido è"my-project/us-central1-a/pvc-eff1ed02-a8ed-48d2-9902-bd70a2d60563/default-pool/default-container".
- ACCESS_POINTS: i punti di accesso della tua istanza Parallelstore, ad esempio
10.51.110.2,10.51.110.4,10.51.110.3
. - NETWORK_NAME: la rete VPC a cui è possibile accedere all'istanza Parallelstore.
- STORAGECLASS_NAME: il nome del tuo StorageClass. Può essere una stringa vuota, ma deve corrispondere alla specifica in PersistentVolumeClaim.
- STORAGE_SIZE: le dimensioni dello spazio di archiviazione, ad esempio
12000Gi
.
Per l'elenco completo dei campi supportati nell'oggetto PersistentVolume, consulta la documentazione di riferimento di Parallelstore CSI.
Crea il volume persistente eseguendo questo comando:
kubectl apply -f parallelstore-pv.yaml
(Facoltativo) Monta la stessa istanza Parallelstore con opzioni di montaggio diverse
Puoi montare la stessa istanza Parallelstore con opzioni di montaggio diverse. Ad esempio, puoi montare la stessa istanza Parallelstore con la memorizzazione nella cache attivata e con la memorizzazione nella cache disattivata nello stesso pod.
Per montare la stessa istanza Parallelstore con opzioni di montaggio diverse, devi creare un PersistentVolume per ogni opzione di montaggio. Utilizza la seguente sintassi per il campo volumeHandle
nell'oggetto
PersistentVolume: "PROJECT_ID/LOCATION/INSTANCE_NAME/default-pool/default-container:RANDOM_SUFFIX"
, dove RANDOM_SUFFIX è una stringa casuale a tua scelta.
Ad esempio: "my-project/us-central1-a/pvc-eff1ed02-a8ed-48d2-9902-bd70a2d60563/default-pool/default-container:xyz123"
Usa un oggetto PersistentVolumeClaim per accedere al volume
Puoi creare una risorsa PersistentVolumeClaim che fa riferimento alla classe di archiviazione del driver CSI Parallelstore.
Il seguente file manifest mostra un esempio di come creare un
claim di volume permanente in ReadWriteMany
modalità di accesso
che fa riferimento alla classe di archiviazione creata in precedenza.
Salva il seguente manifest in un file denominato
parallelstore-pvc.yaml
:kind: PersistentVolumeClaim apiVersion: v1 metadata: name: parallelstore-pvc namespace: default spec: accessModes: - ReadWriteMany storageClassName: STORAGECLASS_NAME resources: requests: storage: STORAGE_SIZE
Sostituisci quanto segue:
- STORAGECLASS_NAME: il nome del StorageClass. Deve corrispondere alla specifica nel PersistentVolume.
- STORAGE_SIZE: dimensioni dello spazio di archiviazione; ad esempio,
12000Gi
. Deve corrispondere alla specifica nel PersistentVolume.
Crea il PersistentVolumeClaim eseguendo questo comando:
kubectl create -f parallelstore-pvc.yaml
(Facoltativo) Configura le risorse per il contenitore sidecar
Quando crei un pod di lavoro che utilizza volumi basati su Parallelstore, il driver CSI determina se il volume è basato su istanze Parallelstore.
Se il driver rileva che il volume è basato su Parallelstore o se specifichi l'annotazione gke-parallelstore/volumes: "true"
, il driver CSI inietta automaticamente un contenitore sidecar denominato gke-parallelstore-sidecar
nel tuo pod. Questo container sidecar monta l'istanza Parallelstore al tuo
caricamento di lavoro.
Per impostazione predefinita, il contenitore sidecar è configurato con le seguenti richieste di risorse, con i limiti di risorse non impostati:
- 250 m CPU
- 512 MiB di memoria
- 10 MiB di spazio di archiviazione temporanea
Per sovrascrivere questi valori, puoi specificare facoltativamente l'annotazionegke-parallelstore/[cpu-request|memory-request|cpu-limit|memory-limit|ephemeral-storage-request]
come mostrato nell'esempio seguente:
apiVersion: v1
kind: Pod
metadata:
annotations:
gke-parallelstore/volumes: "true"
gke-parallelstore/cpu-request: 500m
gke-parallelstore/memory-request: 1Gi
gke-parallelstore/ephemeral-storage-request: 500Mi
gke-parallelstore/cpu-limit: 1000m
gke-parallelstore/memory-limit: 2Gi
gke-parallelstore/ephemeral-storage-limit: 1Gi
Tieni presenti le seguenti considerazioni quando decidi la quantità di risorse da allocare:
- Se uno dei valori di richiesta o limite è impostato e un altro non è impostato, GKE li imposta entrambi sullo stesso valore specificato.
- Se i tuoi carichi di lavoro richiedono un throughput più elevato, alloca più CPU al contenitore sidecar. Una CPU insufficiente causerà la limitazione I/O.
- Puoi utilizzare il valore "0" per annullare l'impostazione di eventuali limiti di risorse sui cluster standard. Ad esempio,
gke-parallelstore/memory-limit: "0"
rimuove il limite di memoria per il contenitore sidecar. Questa opzione è utile quando non puoi decidere sulla quantità di risorse di cuigke-parallelstore-sidecar
ha bisogno per i tuoi carichi di lavoro e vuoi consentire al sidecar di consumare tutte le risorse disponibili su un nodo.
Crea un carico di lavoro che consumi il volume
Questa sezione mostra un esempio di come creare un pod che utilizza la risorsa PersistentVolumeClaim creata in precedenza.
Più pod possono condividere la stessa risorsa PersistentVolumeClaim.
Salva il seguente manifest in un file denominato
my-pod.yaml
.apiVersion: v1 kind: Pod metadata: name: my-pod spec: containers: - name: nginx image: nginx volumeMounts: - name: parallelstore-volume mountPath: /data volumes: - name: parallelstore-volume persistentVolumeClaim: claimName: parallelstore-pvc
Esegui il seguente comando per applicare il manifest al cluster:
kubectl apply -f my-pod.yaml
Il pod attende che GKE esegui la provisioning del claim volume permanente prima di iniziare a funzionare. Il completamento di questa operazione potrebbe richiedere diversi minuti.
Gestire il driver CSI Parallelstore
Questa sezione spiega come attivare e disattivare il driver CSI Parallelstore, se necessario.
Attivare il driver CSI Parallelstore in un nuovo cluster
Per abilitare il driver CSI Parallelstore durante la creazione di un nuovo cluster standard, esegui il seguente comando con Google Cloud CLI:
gcloud container clusters create CLUSTER_NAME \
--location=LOCATION \
--network=NETWORK_NAME \
--addons=ParallelstoreCsiDriver \
--cluster-version=VERSION
Sostituisci quanto segue:
- CLUSTER_NAME: il nome del tuo cluster.
- LOCATION: la zona Compute Engine contenente il cluster. Devi specificare una zona supportata per il driver CSI Parallelstore.
- NETWORK_NAME: il nome della rete VPC creata in Configurare una rete VPC.
- VERSION: il numero di versione di GKE.
Per utilizzare questa funzionalità, devi specificare un numero di versione supportato, ad esempio GKE 1.29 o versioni successive. In alternativa, puoi utilizzare il flag
--release-channel
e specificare un canale di rilascio.
Attivare il driver CSI Parallelstore in un cluster esistente
Per abilitare il driver in un cluster GKE Standard esistente, esegui il seguente comando con Google Cloud CLI:
gcloud container clusters update CLUSTER_NAME \
--location=LOCATION \
--update-addons=ParallelstoreCsiDriver=ENABLED
Sostituisci quanto segue:
- CLUSTER_NAME : il nome del cluster.
- LOCATION: la zona Compute Engine contenente il cluster. Devi specificare una zona supportata per il driver CSI Parallelstore.
Assicurati che il cluster GKE sia in esecuzione nella stessa rete VPC
che hai configurato in Configurare una rete VPC. Per verificare la rete VPC di un cluster GKE, puoi controllare nella console Google Cloud o tramite il comando gcloud container clusters describe $(CLUSTER) --format="value(networkConfig.network)" --location=$(LOCATION)
.
Disattivare il driver CSI Parallelstore
Puoi disattivare il driver CSI Parallelstore su un cluster Autopilot o standard esistente utilizzando Google Cloud CLI.
gcloud container clusters update CLUSTER_NAME \
--location=LOCATION \
--update-addons=ParallelstoreCsiDriver=DISABLED
Sostituisci quanto segue:
- CLUSTER_NAME : il nome del cluster.
- LOCATION: la zona Compute Engine contenente il cluster. Devi specificare una zona supportata per il driver CSI Parallelstore.
Utilizzare fsGroup con i volumi Parallelstore
Il driver CSI Parallelstore supporta la modifica della proprietà di gruppo della directory di primo livello del file system montato in modo che corrisponda a un gruppo fs richiesto dall'utente specificato nel SecurityContext del pod. Questa funzionalità è supportata solo nei cluster GKE versione 1.29.5 o successive o 1.30.1 o successive.
Risoluzione dei problemi
Per indicazioni sulla risoluzione dei problemi, consulta la pagina Risoluzione dei problemi nella documentazione di Parallelstore.
Passaggi successivi
- Consulta la documentazione di riferimento di Parallelstore CSI.
- Scopri come utilizzare la libreria di intercettazione Parallelstore per migliorare il rendimento del carico di lavoro.
- Scopri come trasferire i dati in Parallelstore da Cloud Storage.
- Scopri come utilizzare GKE Volume Populator per automatizzare il trasferimento dei dati da un bucket Cloud Storage di origine a un PersistentVolumeClaim di destinazione supportato da un'istanza Parallelstore.
- Prova il tutorial per addestrare un modello TensorFlow con Keras su GKE.