Montages de volume Cloud Storage pour les jobs

Preview — Cloud Run volume mounts

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Cette page explique comment installer un bucket Cloud Storage en tant que volume de stockage, à l'aide des installations de volume Cloud Run.

L'installation du bucket en tant que volume dans Cloud Run présente le contenu du bucket sous forme de fichiers dans le système de fichiers du conteneur, ce qui permet d'utiliser des opérations et des bibliothèques de systèmes de fichiers standards pour accéder à ce système de fichiers.

Important : Vous n'avez pas besoin d'installer Cloud Storage FUSE dans votre conteneur ni de modifier le conteneur de quelque manière que ce soit pour utiliser cette fonctionnalité.

Exigences relatives à la mémoire

Les installations de volume Cloud Storage utilisent la mémoire du conteneur Cloud Run pour les activités suivantes :

• Pour toute la mise en cache de Cloud Storage FUSE, Cloud Run utilise par défaut le paramètre de cache de statistiques avec une valeur TTL (Time To Live) de 60 secondes. La taille maximale par défaut du cache de statistiques est de 32 Mo. La taille maximale par défaut du cache de types est de 4 Mo.

• Lors de la lecture, Cloud Storage FUSE consomme également de la mémoire en plus des caches de statistiques et de types, par exemple un tableau de 1 Mo pour chaque fichier en cours de lecture et pour les goroutines.

• Lors de l'écriture dans Cloud Storage, l'ensemble du fichier est stocké dans la mémoire Cloud Run avant son écriture dans Cloud Storage.

Remarque : Pour en savoir plus sur la mise en cache, consultez la page Lecture/Écriture de Cloud Storage FUSE.

Limites

Cloud Run utilise Cloud Storage FUSE pour cette installation de volume. Quelques points sont à garder à l'esprit lors de l'installation d'un bucket Cloud Storage en tant que volume :

• Cloud Storage FUSE ne permet pas de contrôler la simultanéité pour plusieurs écritures (verrouillage de fichiers) dans un même fichier. Lorsque plusieurs écritures tentent de remplacer un fichier, la dernière écriture l'emporte et toutes les écritures précédentes sont perdues.
• Cloud Storage FUSE n'est pas un système de fichiers entièrement compatible avec POSIX. Pour plus de détails, consultez la documentation de Cloud Storage FUSE.

Avant de commencer

Vous avez besoin d'un bucket Cloud Storage à installer en tant que volume.

Rôles requis

Pour obtenir les autorisations nécessaires pour configurer des installations de volume Cloud Storage, demandez à votre administrateur de vous accorder les rôles IAM suivants :

• Développeur Cloud Run (roles/run.developer) sur le job Cloud Run
• Utilisateur du compte de service (roles/iam.serviceAccountUser) sur l'identité du service

Pour obtenir les autorisations nécessaires à votre identité de service pour accéder au fichier et au bucket Cloud Storage, demandez à votre administrateur d'accorder à l'identité du service le rôle IAM suivant:

• Administrateur de l'espace de stockage (roles/storage.admin)

Pour en savoir plus sur les rôles et les autorisations Cloud Storage, consultez la page IAM pour Cloud Storage.

Pour obtenir la liste des rôles et des autorisations IAM associés à Cloud Run, consultez les pages Rôles IAM Cloud Run et Autorisations IAM Cloud Run. Si votre tâche Cloud Run communique avec des API Google Cloud, telles que des bibliothèques clientes Cloud, consultez le guide de configuration de l'identité du service. Pour en savoir plus sur l'attribution de rôles, consultez les pages Autorisations de déploiement et Gérer les accès.

Installer un volume Cloud Storage

Vous pouvez installer plusieurs buckets sur différents chemins d'installation. Vous pouvez également installer un volume sur plusieurs conteneurs à l'aide de chemins d'installation identiques ou différents sur l'ensemble des conteneurs.

Si vous utilisez plusieurs conteneurs, spécifiez les volumes, puis spécifiez les installations de volume pour chaque conteneur.

Ligne de commande

Remarque : Nous affichons legcloud beta run jobs update mais vous pouvez également utiliser la commandegcloud beta run jobs deploy avec les mêmes paramètres que ceux affichés.

• Pour ajouter un volume et l'installer, procédez comme suit :

  gcloud beta run jobs update JOB \
  --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME \
  --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

  Remplacez :

  • JOB par le nom de votre tâche.
  • MOUNT_PATH par le chemin relatif où vous installez le volume, par exemple, /cache.
  • VOLUME_NAME par le nom que vous souhaitez pour votre volume. La valeur VOLUME_NAME permet de mapper le volume à l'installation du volume.
  • BUCKET_NAME par le nom de votre bucket Cloud Storage.

• Pour installer votre volume en tant que volume en lecture seule, procédez comme suit :

  --add-volume=name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,readonly=true

• Si vous utilisez plusieurs conteneurs, spécifiez d'abord vos volumes, puis les installations de volumes pour chaque conteneur :

  gcloud beta run jobs update JOB \
  --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME \
  --container CONTAINER_1 \
  --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH \
  --container CONTAINER_2 \
  --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH2

YAML

1. Si vous créez un job, ignorez cette étape. Si vous mettez à jour un job existant, téléchargez sa configuration YAML :

   gcloud run jobs describe JOB_NAME --format export > job.yaml

2. Mettez à jour les attributs MOUNT_PATH, VOLUME_NAME, BUCKET_NAME et IS_READ_ONLY si nécessaire.

   apiVersion: run.googleapis.com/v1
   kind: Job
   metadata:
     name: JOB_NAME
   spec:
     metadata:
       annotations:
         run.googleapis.com/launch-stage: BETA
     template:
       metadata:
         annotations:
           run.googleapis.com/execution-environment: gen2
       spec:
         template:
           spec:
             containers:
             - image: IMAGE_URL
               volumeMounts:
               - mountPath: MOUNT_PATH
                 name: VOLUME_NAME
             volumes:
             - name: VOLUME_NAME
               csi:
                 driver: gcsfuse.run.googleapis.com
                 readOnly: IS_READ_ONLY
                 volumeAttributes:
                   bucketName: BUCKET_NAME

   Remplacer

   • IMAGE_URL par une référence à l'image de conteneur, par exemple us-docker.pkg.dev/cloudrun/container/hello:latest. Si vous utilisez Artifact Registry, le dépôt REPO_NAME doit déjà être créé. L'URL se présente sous la forme suivante : LOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG
   • MOUNT_PATH par le chemin relatif où vous installez le volume, par exemple, /cache.
   • VOLUME_NAME par le nom que vous souhaitez pour votre volume. La valeur VOLUME_NAME permet de mapper le volume à l'installation du volume.
   • IS_READ_ONLY par True pour passer le volume en lecture seule ou False pour autoriser les écritures.
   • BUCKET_NAME par le nom du bucket Cloud Storage

3. Remplacez la configuration du service en exécutant la commande suivante :

   gcloud beta run jobs replace job.yaml

Afficher les paramètres des installations de volumes

Console

1. Dans la console Google Cloud, accédez à la page des jobs Cloud Run :

   Accéder aux jobs Cloud Run

2. Cliquez sur la tâche qui vous intéresse pour ouvrir la page Informations sur la tâche.

3. Cliquez sur l'onglet Volumes.

4. Recherchez le paramètre des installations de volumes dans la page d'informations sur les volumes.

Ligne de commande

1. Exécutez la commande suivante :

   gcloud run jobs describe JOB_NAME

2. Recherchez le paramètre des installations de volumes dans la configuration renvoyée.