Utilizzare dischi permanenti dedicati come volumi effimeri

Questa pagina mostra come utilizzare l'hardware di archiviazione esterno, come i dischi permanenti Compute Engine, come volumi effimeri nei carichi di lavoro Google Kubernetes Engine (GKE). Dovresti già conoscere i volumi e le StorageClasses di Kubernetes.

Quando utilizzare lo spazio di archiviazione temporaneo in Kubernetes

L'archiviazione effimera è utile in qualsiasi situazione in cui i carichi di lavoro richiedono i dati solo durante il ciclo di vita dell'applicazione, ad esempio per pipeline di elaborazione dei dati, job di machine learning, elaborazione batch, memorizzazione nella cache locale o analisi. Per impostazione predefinita, parte del disco di avvio del nodo GKE è disponibile per essere utilizzata come spazio di archiviazione temporaneo nei pod. Questo approccio richiede spesso un'attenta pianificazione dello spazio.

I volumi temporanei generici di Kubernetes ti consentono di richiedere esplicitamente lo spazio di archiviazione temporaneo per i tuoi pod utilizzando i PersistentVolumeClaim. GKE esegue il provisioning dinamico dei dischi permanenti di Compute Engine e li collega ai tuoi nodi. Questo tipo di spazio di archiviazione temporaneo è utile in situazioni come le seguenti:

  • I tuoi carichi di lavoro hanno requisiti di prestazioni elevate, quindi devi controllare l'hardware di archiviazione.
  • Hai bisogno di spazio di archiviazione temporaneo a breve termine specifico per i container.
  • Vuoi evitare di utilizzare emptyDir per eseguire il provisioning dello spazio di archiviazione temporaneo. emptyDir I volumi sono comunque utili nelle situazioni in cui vuoi che più container condividano i dati nello spazio di archiviazione temporaneo.
  • Vuoi una capacità di archiviazione temporanea maggiore rispetto a quella predefinita di GKE.
  • Vuoi evitare di dover pianificare in anticipo le dimensioni e il tipo di disco di avvio dei nodi per i cluster GKE in modalità standard.

Tipi di spazio di archiviazione temporanea in GKE

In generale, puoi utilizzare la capacità dello spazio di archiviazione del disco di avvio o dei dischi permanenti dedicati come spazio di archiviazione temporaneo nei pod e nei container. Nella tabella seguente sono descritte le differenze:

Tipo di archiviazione Come utilizzarlo Descrizione
Disco di avvio - Dischi permanenti

Monta un volume utilizzando emptyDir nella specifica del pod e richiedi la capacità di cui hai bisogno.

Per le istruzioni, consulta Creare volumi.

Lo spazio di archiviazione temporaneo richiesto viene preso da una parte riservata del disco di avvio del nodo. Questo è il valore predefinito sia nei cluster Autopilot sia nei cluster Standard.

Utilizza quando i pod hanno richieste di archiviazione temporanea di piccole dimensioni o quando vuoi condividere i dati temporanei tra più container nel pod.

Autopilot

  • La richiesta deve essere compresa tra 10 MiB e 10 GiB.
  • Il tipo di hardware di archiviazione è preconfigurato.

Standard

Nessun limite di dimensioni, ma richiede un'attenta pianificazione delle dimensioni del disco di avvio del nodo e del tipo di hardware di archiviazione.

Per informazioni dettagliate su come GKE calcola la prenotazione dello spazio di archiviazione temporaneo nel disco di avvio del nodo, consulta Prenotazione dello spazio di archiviazione temporaneo locale.
Dischi SSD locali
  1. Crea un pool di nodi con dischi SSD locali collegati e una serie di macchine compatibile.
  2. Monta un volume utilizzando emptyDir con la capacità richiesta.
  3. Utilizza un nodeSelector per posizionare i pod sui nodi con dischi SSD locali collegati.

Per le istruzioni, consulta Eseguire il provisioning dello spazio di archiviazione temporaneo con SSD locali.

 I dischi SSD locali utilizzano incrementi fissi di 375 GB supportati nei cluster GKE in modalità Standard e nei nodi Autopilot che eseguono GPU A100 (80 GB).

Da utilizzare quando hai bisogno di uno spazio di archiviazione temporaneo con un elevato throughput.

Per maggiori dettagli, consulta Informazioni sulle unità SSD locali per GKE.
Dischi permanenti dedicati
  1. Se vuoi, crea un StorageClass Kubernetes per l'hardware.
  2. Monta un volume utilizzando il tipo di volume ephemeral nella specifica del pod.

Questo documento fornisce istruzioni per richiedere questo tipo di archiviazione temporanea.

Google Cloud esegue il provisioning dinamico dell'hardware esterno richiesto, lo collega ai tuoi nodi e monta il volume richiesto nel tuo pod.

Utilizza quando i pod hanno richieste di archiviazione temporanea di grandi dimensioni o quando vuoi controllare il tipo di Persistent Disk sottostante. Questi volumi hanno le seguenti proprietà:

  • Fino a 64 TiB in modalità Autopilot e in modalità Standard.
  • La richiesta di spazio di archiviazione temporaneo del pod può essere fino a 64 TiB.
  • Hardware specializzato, ad esempio volumi basati su SSD, supportati.
  • Network Attached Storage.
  • Utilizza i volumi Kubernetes per ottenere spazio di archiviazione anziché emptyDir per condividere il disco di avvio del nodo.

Per informazioni dettagliate su questo tipo di volume temporaneo, consulta Volumi temporanei generici.

Prezzi

Lo spazio di archiviazione di cui esegui il provisioning tramite volumi effimeri generici come descritto in questa guida viene fatturato in base ai prezzi dei dischi Compute Engine.

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:

  • Attiva l'API Google Kubernetes Engine.
    • Attiva l'API Google Kubernetes Engine
  • Se vuoi utilizzare Google Cloud CLI per questa attività, installa e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, ottieni la versione più recente eseguendo gcloud components update.
  • Assicurati di avere un cluster GKE Autopilot o Standard che esegue la versione 1.23 o successive.
  • Assicurati di disporre di una quota sufficiente nel tuo progetto Google Cloud per l'hardware di archiviazione. Per gestire la tua quota, consulta Visualizza le quote per il tuo progetto.

Crea una classe StorageClass

La creazione di una classe di archiviazione Kubernetes personalizzata ti consente di specificare il tipo di archiviazione da eseguire il provisioning in base ai tuoi requisiti di prezzo e prestazioni. Questo passaggio è facoltativo, ma consigliato. Se vuoi utilizzare la StorageClass predefinita di GKE, che ha il tipo Persistent Disk pd-balanced, salta questo passaggio.

  1. Salva il seguente manifest come ephemeral-pd-class.yaml:

    apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ephemeral-ssd
provisioner: pd.csi.storage.gke.io
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: true
parameters:
  type: STORAGE_TYPE

    Sostituisci STORAGE_TYPE con il nome del tipo di Persistent Disk che preferisci, ad esempio pd-ssd. Per un elenco dei tipi supportati, consulta Tipi di dischi permanenti nella documentazione di Compute Engine.

  2. Crea la classe di archiviazione:

    kubectl create -f ephemeral-pd-class.yaml

Richiedere la capacità di archiviazione temporanea in un pod

Per eseguire il provisioning, collegare e utilizzare l'hardware esterno come archiviazione temporanea, aggiungi il volume corrispondente al file manifest del pod e aggiungi un montaggio del volume alla specifica del container.

  1. Salva il seguente manifest come ephemeral-ssd-deployment.yaml:

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: ephemeral-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      storage: ephemeral
  template:
    metadata:
      labels:
        storage: ephemeral
    spec:
      containers:
      - name: ephemeral-container
        image: nginx
        resources:
          requests:
            cpu: 500m
            memory: 2Gi
            ephemeral-storage: 2Gi
        volumeMounts:
        - mountPath: "/short-term"
          name: ephemeral-volume
      volumes:
      - name: ephemeral-volume
        ephemeral:
          volumeClaimTemplate:
            metadata:
              labels:
                type: ephemeral
            spec:
              accessModes: ["ReadWriteOnce"]
              storageClassName: "ephemeral-ssd"
              resources:
                requests:
                  storage: 1Ti

    Questo manifest crea un nuovo oggetto Kubernetes PersistentVolumeClaim che richiede un nuovo volume permanente denominato ephemeral-volume con le seguenti proprietà:

    • spec.volumes.ephemeral: il tipo di volume ephemeral.
    • .spec.accessModes: la modalità di accesso al volume, che determina l'accesso in lettura/scrittura dai pod e la condivisione del volume tra i nodi. Questo esempio utilizza ReadWriteOnce, che monta il volume persistente su un singolo nodo per consentirne l'accesso da parte di uno o più pod sul nodo. Per maggiori dettagli, consulta Modalità di accesso.
    • .spec.storageClassName: facoltativo, il nome della classe di archiviazione che hai creato. Se ometti questo campo, GKE utilizza la StorageClass predefinita e esegue il provisioning di un Persistent Disk pd-balanced.
    • .spec.resources.requests.storage: la capacità di archiviazione che ti serve.

  2. Crea il deployment:

    kubectl create -f ephemeral-ssd-deployment.yaml

GKE esegue il provisioning di un disco Compute Engine che soddisfa i requisiti del claim del volume permanente e lo collega al nodo. GKE monta il volume nel pod e fornisce la capacità richiesta al container.

Verifica che GKE abbia montato un volume temporaneo

  1. Crea una sessione di shell nel pod:

    kubectl exec -it deploy/ephemeral-deployment -- bash

  2. Controlla i volumi montati:

    df -h

    L'output è simile al seguente:

    Filesystem                Size      Used Available Use% Mounted on
...
/dev/sdb               1006.9G     28.0K   1006.8G   0% /short-term
/dev/sda1                94.3G      3.6G     90.6G   4% /etc/hosts
/dev/sda1                94.3G      3.6G     90.6G   4% /dev/termination-log
/dev/sda1                94.3G      3.6G     90.6G   4% /etc/hostname
/dev/sda1                94.3G      3.6G     90.6G   4% /etc/resolv.conf
...

  3. Esci dalla sessione shell:

    exit

Passaggi successivi