Redundance zonale des GPU pour les services

Preview — GPU zonal redundancy configuration Cloud Run services

This feature is subject to the "Pre-GA Offerings Terms" in the General Service Terms section of the Service Specific Terms. Pre-GA features are available "as is" and might have limited support. For more information, see the launch stage descriptions.

Cette page décrit comment configurer les options de redondance zonale pour les GPU de votre service Cloud Run. Par défaut, la redondance zonale est activée pour les GPU. Les données et le trafic sont donc automatiquement équilibrés en charge entre les zones d'une même région. En cas de défaillance dans une zone spécifique, le trafic est automatiquement acheminé vers d'autres zones.

Si vous préférez utiliser une fiabilité au mieux de nos capacités à un coût par seconde de GPU inférieur, désactivez la redondance zonale pour les GPU.

Régions où le service est disponible

• us-central1 (Iowa) Faibles émissions de CO₂
• asia-southeast1 (Singapour)
• europe-west1 (Belgique) Faibles émissions de CO₂
• europe-west4 (Pays-Bas) Faibles émissions de CO₂
• asia-south1 (Mumbai)
  • Remarque:Cette région n'est disponible que sur invitation. Si vous êtes intéressé par cette région, contactez l'équipe chargée de votre compte Google.

Impact sur les tarifs

Pour en savoir plus sur les tarifs des GPU, consultez la section Tarifs de Cloud Run.

Quota de requêtes

Par défaut, aucun quota n'est défini pour la redondance zonale ni pour la redondance zonale. Vous devrez demander un quota. Utilisez les liens fournis dans les boutons suivants pour demander le quota dont vous avez besoin.

Quota requis	Lien vers le quota
GPU avec la redondance zonale activée	Demander un quota de GPU avec redondance zonale
GPU avec la redondance zonale désactivée	Demander un quota de GPU sans redondance zonale
Page des quotas de GPU (redundance zonale et non zonale)	Demander un quota de GPU

Avant de commencer

La liste suivante décrit les exigences et les limites liées à l'utilisation des GPU dans Cloud Run :

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Run API.

   Enable the API

Rôles requis

Pour obtenir les autorisations nécessaires pour configurer et déployer des services Cloud Run, demandez à votre administrateur de vous accorder les rôles IAM suivants:

• Développeur Cloud Run (roles/run.developer) sur le service Cloud Run
• Utilisateur du compte de service (roles/iam.serviceAccountUser) sur l'identité du service

Pour obtenir la liste des rôles et des autorisations IAM associés à Cloud Run, consultez les sections Rôles IAM Cloud Run et Autorisations IAM Cloud Run. Si votre service Cloud Run communique avec des APIGoogle Cloud , telles que des bibliothèques clientes Cloud, consultez le guide de configuration de l'identité du service. Pour en savoir plus sur l'attribution de rôles, consultez les pages Autorisations de déploiement et Gérer les accès.

Configurer la redondance zonale pour un service Cloud Run doté d'un GPU

Tout changement de configuration entraîne la création d'une révision. Les révisions ultérieures obtiennent aussi automatiquement le même paramètre de configuration, à moins que vous ne le mettiez explicitement à jour.

Vous pouvez utiliser la console Google Cloud, Google Cloud CLI ou YAML pour configurer le GPU.

Console

1. Dans la Google Cloud console, accédez à Cloud Run:

   Accédez à Cloud Run

2. Cliquez sur Déployer un conteneur et sélectionnez Service pour configurer un nouveau service. Si vous configurez un service existant, cliquez sur celui-ci puis sur Modifier et déployer la nouvelle révision.

3. Si vous configurez un nouveau service, remplissez la page initiale des paramètres du service, puis cliquez sur Conteneur(s), volumes, mise en réseau et sécurité pour développer la page de configuration du service.

4. Cliquez sur l'onglet Conteneur.

   

   • Cochez la case du GPU pour afficher les options de redundanticité du GPU.
     • Sélectionnez Aucune redondance zonale pour désactiver la redondance zonale.
     • Sélectionnez Redondance zonale pour activer la redondance zonale.

5. Cliquez sur Créer ou Déployer.

gcloud

Par défaut, la redondance zonale du GPU est activée. Pour désactiver la configuration de redondance zonale du GPU pour un service ou pour la réactiver si vous l'avez précédemment désactivée, utilisez la commande gcloud beta run services update:

  gcloud beta run services update SERVICE \
    --image IMAGE_URL \
    --cpu CPU \
    --memory MEMORY \
    --no-cpu-throttling \
    --gpu GPU_NUMBER \
    --gpu-type GPU_TYPE \
    --max-instances MAX_INSTANCE
    --GPU_ZONAL_REDUNDANCY
    

Remplacez :

• SERVICE par le nom de votre service Cloud Run ;
• IMAGE_URL par une référence à l'image de conteneur, par exemple us-docker.pkg.dev/cloudrun/container/hello:latest. Si vous utilisez Artifact Registry, le dépôt REPO_NAME doit déjà être créé. L'URL se présente sous la forme suivante : LOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG.
• CPU par le nombre de processeurs. Vous devez spécifier au moins 4 CPU.
• MEMORY par la quantité de mémoire. Vous devez spécifier au moins 16Gi (16 Gio).
• GPU_NUMBER par la valeur 1 (un). Si cette valeur n'est pas spécifiée, mais qu'un paramètre GPU_TYPE est présent, la valeur par défaut est 1.
• GPU_TYPE par le type de GPU. Si cette valeur n'est pas spécifiée, mais qu'un paramètre GPU_NUMBER est présent, la valeur par défaut est nvidia-l4 (nvidia L 4 L minuscule, et non la valeur numérique quatorze).
• MAX_INSTANCE par le nombre maximal d'instances. Ce nombre ne doit pas dépasser le quota de GPU alloué à votre projet.
• GPU_ZONAL_REDUNDANCY avec no-gpu-zonal-redundancy pour désactiver la redondance zonale ou gpu-zonal-redundancy pour activer la redondance zonale.

YAML

1. Si vous créez un service, ignorez cette étape. Si vous mettez à jour un service existant, téléchargez sa configuration YAML :

   gcloud run services describe SERVICE --format export > service.yaml

2. Mettez à jour l'annotation run.googleapis.com/gpu-zonal-redundancy-disabled :

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
     name: SERVICE
     annotations:
       run.googleapis.com/launch-stage: BETA
   spec:
     template:
       metadata:
         annotations:
           run.googleapis.com/gpu-zonal-redundancy-disabled: GPU_ZONAL_REDUNDANCY
           

   Remplacez :

   • SERVICE par le nom de votre service Cloud Run ;
   • GPU_ZONAL_REDUNDANCY avec false pour activer la redondance zonale du GPU ou true pour la désactiver.

3. Créez ou mettez à jour le service à l'aide de la commande suivante :

   gcloud run services replace service.yaml