Configurare i mount dei volumi in memoria per i job

Questa pagina descrive come configurare un volume in-memory dedicato che puoi utilizzare per le letture e le scritture dei file utilizzando i mount dei volumi Cloud Run. Tieni presente che questa funzionalità è diversa dal filesystem in-memory integrato fornito da Cloud Run.

Quando lomonti in Cloud Run, il volume in memoria viene visualizzato come file nel file system del container. Dopo aver montato il volume in memoria, puoi accedervi come se fosse una directory sul file system locale utilizzando le operazioni e le librerie del file system del tuo linguaggio di programmazione.

Puoi utilizzare i volumi in memoria per:

  • Limita le dimensioni del volume in memoria. Quando limiti le dimensioni di un volume, le scritture in un volume pieno non andranno a buon fine, il che è preferibile a far terminare le istanze di Cloud Run a causa del volume che consuma troppa memoria.
  • Condividi un volume in memoria tra diversi contenitori in un'istanza Cloud Run. Quando Cloud Run esegue la scalabilità orizzontale a più istanze di un servizio, ogni istanza avrà il proprio volume in memoria condiviso da tutti i container su quell'istanza. Questo volume è disponibile per tutti i container quando Cloud Run esegue la scalabilità per gestire il traffico.

Comportamento

Quando crei un volume in memoria, ti consigliamo di specificare un limite di dimensioni. Se il volume raggiunge il limite di dimensioni, le scritture successive non andranno a buon fine a causa di un errore di memoria insufficiente. L'istanza può gestire questo errore e continuare a funzionare.

Tieni presente che il limite di dimensioni è solo un limite: non alloca spazio aggiuntivo per il volume in memoria. Il volume in memoria consuma la memoria configurata per i container. Se esegui il deployment di più container, la memoria utilizzata da ogni scrittura nel volume viene conteggiata come utilizzo della memoria per il container che ha scritto i dati.

Se non specifichi un limite di dimensioni, questo viene impostato automaticamente sulla metà della dimensione totale di tutti i container nel job o nel servizio. Ad esempio, emptyDir dimensione del volume = [Memoria (contenitore A) + Memoria (contenitore B) + Memoria (contenitore N)]/2. Questo comportamento predefinito può comportare che il limite di dimensioni del volume in memoria sia superiore alla memoria allocata per alcuni dei contenitori. In questa situazione, se il contenitore continua a scrivere memoria nel volume, supererà la memoria allocata e si arresterà in modo anomalo prima che venga raggiunto il limite di dimensioni del volume.

Anche se l'impostazione di un limite di dimensioni è facoltativa, ti consigliamo di impostarne uno per proteggere i tuoi container da esaurimenti di memoria e arresti anomali.

Percorsi non consentiti

Cloud Run non ti consente di montare un volume in /dev, /proc e /sys o nelle relative sottodirectory.

Configurare un volume in memoria

Qualsiasi modifica alla configurazione comporta la creazione di una nuova revisione. Anche le revisioni successive acquisiranno automaticamente questa impostazione di configurazione, a meno che non apporti aggiornamenti espliciti per modificarla.

Dopo aver configurato un volume in memoria per il servizio Cloud Run, viene creato un volume vuoto per ogni istanza Cloud Run avviata e il volume esiste finché l'istanza è in esecuzione. Quando l'istanza smette di funzionare, i dati nel volume vengono eliminati definitivamente.

Console

  1. Nella console Google Cloud, vai alla pagina dei job Cloud Run:

    Vai a Cloud Run

  2. Fai clic su Esegui il deployment del contenitore e seleziona Job per compilare la pagina delle impostazioni iniziali del job. Se stai configurando un job esistente, selezionalo e fai clic su Modifica.

  3. Fai clic su Contenitore, variabili e secret, connessioni, sicurezza per espandere la pagina delle proprietà del job.

  4. Fai clic sulla scheda Volumi.

    immagine

    • In Volumi:
      • Fai clic su Aggiungi volume.
      • Nel menu a discesa Tipo di volume, seleziona In-memory come tipo di volume.
      • Nel campo Nome volume, inserisci il nome che vuoi utilizzare per il volume.
      • Nel campo Limite di dimensione, specifica il limite di memoria da assegnare al volume. Questo limite deve essere inferiore alla memoria totale specificata per i contenitori. I dati archiviati in questo volume utilizzano memoria riservata dal container che ha scritto i dati.
      • Fai clic su Fine.
    • Fai clic sulla scheda Container, quindi espandi il contenitore su cui stai montando il volume per modificarlo.
    • Fai clic sulla scheda Montaggi volume.
    • Fai clic su Monta il volume.
      • Seleziona il volume in memoria dal menu.
      • Specifica il percorso in cui vuoi montare il volume.
      • Fai clic su Monta volume.

  5. Fai clic su Crea o Aggiorna.

gcloud

  • Per aggiungere un volume e montarlo:

    gcloud run jobs update JOB \
  --add-volume=name=VOLUME_NAME,type=in-memory,size-limit=SIZE_LIMIT \
  --add-volume-mount=volume=VOLUME_NAME,mount-path=MOUNT_PATH

    Sostituisci:

    • JOB con il nome del job.
    • VOLUME_NAME con il nome che preferisci per il volume. Il valore VOLUME_NAME viene utilizzato per mappare il volume al montaggio del volume.
    • MOUNT_PATH con il percorso relativo all'interno del file system del container in cui vuoi montare questo volume, ad esempio /mnt/my-volume.
    • SIZE_LIMIT con il limite di memoria da assegnare al volume in MiB o GiB (specificato come Mi o Gi), ad esempio 500Mi. Questo limite deve essere inferiore alla memoria totale specificata per i container.

  • Se utilizzi più container, specifica prima i volumi, poi specifica i mount dei volumi per ogni container:

    gcloud run jobs update JOB \
  --add-volume=name= VOLUME_NAME,type=in-memory,size-limit=SIZE_LIMIT \
  --container=CONTAINER_1 \
  --add-volume-mount=volume= VOLUME_NAME,mount-path=MOUNT_PATH \
  --container==CONTAINER_2 \
  --add-volume-mount=volume= VOLUME_NAME,mount-path=MOUNT_PATH2

YAML

  1. Se stai creando un nuovo job, salta questo passaggio. Se stai aggiornando un job esistente, scarica la relativa configurazione YAML:

    gcloud run jobs describe JOB_NAME --format export > job.yaml

  2. Configura gli attributi volumeMounts e volumes come mostrato:

    apiVersion: run.googleapis.com/v1
kind: Job
metadata:
  name: JOB_NAME
spec:
  template:
    spec:
      containers:
      - image: IMAGE_URL
        volumeMounts:
        - mountPath: MOUNT_PATH
          name: VOLUME_NAME
      volumes:
      - name: VOLUME_NAME
        emptyDir:
          sizeLimit: SIZE_LIMIT
          medium: Memory

    Sostituisci:

    • IMAGE_URL con un riferimento all'immagine del container, ad esempio us-docker.pkg.dev/cloudrun/container/hello:latest. Se utilizzi Artifact Registry, il repository REPO_NAME deve essere già stato creato. L'URL ha la forma LOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG
    • VOLUME_NAME con il nome che preferisci per il volume. Il valore VOLUME_NAME viene utilizzato per mappare il volume al montaggio del volume.
    • MOUNT_PATH con il percorso relativo all'interno del file system del container in cui vuoi montare questo volume, ad esempio /mnt/my-volume.
    • SIZE_LIMIT con il limite di memoria da assegnare al volume in MiB o GiB (specificato come Mi o Gi), ad esempio 500Mi. Questo limite deve essere inferiore alla memoria totale specificata per i container.

  3. Crea o aggiorna il job utilizzando il seguente comando:

    gcloud run jobs replace job.yaml

Lettura e scrittura in un volume

Se utilizzi la funzionalità di montaggio del volume Cloud Run, accedi a un volume montato utilizzando le stesse librerie nel tuo linguaggio di programmazione che utilizzi per leggere e scrivere file nel file system locale.

Questo è particolarmente utile se utilizzi un contenitore esistente che si aspetta che i dati vengano archiviati nel file system locale e utilizza operazioni di file system regolari per accedervi.

I seguenti snippet presuppongono il montaggio di un volume con mountPath impostato su /mnt/my-volume.

Nodejs

Utilizza il modulo File System per creare un nuovo file o aggiungerne uno esistente nel volume /mnt/my-volume: 

var fs = require('fs');
fs.appendFileSync('/mnt/my-volume/sample-logfile.txt', 'Hello logs!', { flag: 'a+' });

Python

Scrivi in un file conservato nel volume /mnt/my-volume: 

f = open("/mnt/my-volume/sample-logfile.txt", "a")

Vai

Utilizza il pacchetto os per creare un nuovo file conservato nel volume /mnt/my-volume 

f, err := os.Create("/mnt/my-volume/sample-logfile.txt")

Java

Utilizza la classe Java.io.File per creare un file di log nel volume /mnt/my-volume: 

import java.io.File;
File f = new File("/mnt/my-volume/sample-logfile.txt");