Premiers pas avec Batch

Cette page explique comment commencer à utiliser Batch pour Google Cloud.

Présentation

Batch est un service entièrement géré qui vous permet de planifier, de mettre en file d'attente et d'exécuter des charges de travail de traitement par lot sur des ressources Google Cloud. Par exemple, envisagez d'utiliser Batch pour les charges de travail de calcul hautes performances (HPC), de machine learning (ML) et de traitement des données. Batch provisionne des ressources et gère la capacité en votre nom, ce qui permet à vos charges de travail par lot de s'exécuter à grande échelle.

Avec Batch, vous n'avez pas besoin de configurer et de gérer des planificateurs de tâches tiers, de provisionner et déprovisionner des ressources, ni de demander des ressources zone par zone. Pour exécuter une tâche, vous devez spécifier les paramètres des ressources requises pour votre charge de travail, puis Batch obtient les ressources et met la tâche en file d'attente pour exécution. Batch fournit une intégration native à d'autres services Google Cloud pour faciliter la planification, l'exécution, le stockage et l'analyse des tâches par lot. Vous pouvez ainsi vous concentrer sur l'envoi d'une tâche et la consommation des résultats.

Batch comprend les composants suivants:

  • Tâche:programme planifié qui exécute un ensemble de tâches jusqu'à la fin sans aucune interaction avec l'utilisateur, généralement pour des charges de travail de calcul. Par exemple, une tâche peut être un script shell unique ou un calcul complexe en plusieurs parties.

    Plus précisément, une tâche par lot représente un tableau d'une ou plusieurs tâches et l'environnement dans lequel les exécuter. Vous définissez le programme de la tâche sous la forme d'une séquence d'un ou de plusieurs exécutables. Chaque tâche exécute la séquence d'exécutables sur les ressources de la tâche. Vous pouvez configurer les tâches d'une tâche pour qu'elles s'exécutent en parallèle ou de manière séquentielle.

  • Tâche:une exécution de la séquence d'exécutables d'une tâche. Lorsqu'une tâche comporte plusieurs tâches, vous spécifiez la manière dont vous souhaitez que chaque exécution varie en référençant la variable d'environnement de l'index d'une tâche dans les exécutables de la tâche.

  • Runnable:script ou conteneur exécutable que vous définissez dans le cadre d'une tâche.

  • Ressources:infrastructure nécessaire à l'exécution d'un job. Au minimum, il vous suffit de spécifier les ressources de calcul requises par tâche : cœurs de processeur, mémoire et (si nécessaire) espace de stockage sur disque de démarrage supplémentaire. Vous pouvez également spécifier d'autres options de ressources pour le job. Batch crée et supprime automatiquement les ressources qui répondent à vos spécifications pendant l'exécution du job.

    Plus précisément, chaque tâche Batch s'exécute sur un groupe d'instances géré (MIG) régional, qui est un groupe d'une ou plusieurs instances de machines virtuelles (VM) Compute Engine correspondantes, chacune située dans l'une des zones incluses. Chaque VM dispose de matériel dédié pour les cœurs de processeur et la mémoire, ce qui affecte les performances de votre tâche, et d'un disque de démarrage qui stocke une image de système d'exploitation (OS) et des instructions pour exécuter votre tâche. Si elle est spécifiée, une tâche peut également inclure des ressources supplémentaires ou y accéder, telles que des GPU ou des volumes de stockage externe. Le nombre de VM provisionnées pour une tâche dépend de la configuration matérielle requise et des options de planification des tâches que vous spécifiez.

En résumé, Batch vous permet de créer et d'exécuter des tâches qui, chacune, provisionnent et utilisent automatiquement les ressources requises pour exécuter ses tâches.

Pour en savoir plus sur le comportement et les options des tâches, consultez la page Présentation de la création et de l'exécution de tâches.

Tarification

L'utilisation de Batch n'entraîne aucuns frais supplémentaires. Vous ne payez que le coût des ressources sous-jacentes nécessaires à l'exécution de vos tâches.

Pour en savoir plus sur les coûts associés à Batch et sur le filtrage des rapports Cloud Billing afin d'afficher les coûts de Batch, consultez la section Tarifs.

Restrictions

Batch comporte les restrictions suivantes:

  • Vous ne pouvez pas dépasser les quotas et limites par lot pour votre projet.
  • Vous ne pouvez spécifier qu'un seul type de machine, qui peut être prédéfini ou personnalisé par tâche.
  • Vous ne pouvez pas spécifier plus d'un groupe de tâches par tâche. Toutes les tâches n'ont qu'un seul groupe de tâches nommé group0.

Prérequis

Pour commencer à utiliser Batch, vous devez remplir les conditions préalables suivantes:

  1. Si votre projet n'a jamais utilisé Batch auparavant, activez Batch pour votre projet.
  2. Configurez Batch pour chaque nouvel utilisateur.

Activer Batch pour un projet

Pour commencer à utiliser Batch avec un projet, procédez comme suit:

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Vérifiez que la facturation est activée pour votre projet Google Cloud.

  3. Assurez-vous que Batch est activé pour votre projet:

    1. Activez les API pour Batch à l'aide de la console Google Cloud ou de la Google Cloud CLI.

      Console

      Activer les API Batch, Compute Engine, and Cloud Logging.

      Activer les API

      gcloud

      Activer les API Batch, Compute Engine, and Cloud Logging : 

      gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com

    2. Assurez-vous que votre projet dispose d'un ou de plusieurs comptes de service avec les autorisations nécessaires pour créer et accéder aux ressources permettant d'exécuter des tâches Batch.

      Il est important de noter que tous les utilisateurs que vous souhaitez autoriser à créer et à exécuter des tâches par lot dans votre projet doivent être autorisés à utiliser l'un de ces comptes de service. Par conséquent, ne sélectionnez pas les comptes de service disposant d'un nombre d'autorisations supérieur à celui que vous souhaitez accorder à ces utilisateurs.

      Le compte de service utilisé par défaut par chaque tâche est le compte de service Compute Engine par défaut, mais vous pouvez également personnaliser le compte de service utilisé par une tâche.

      Attribuez les rôles IAM suivants à tous les comptes de service que votre projet utilise pour les tâches Batch.

      • Responsable du signalement de Batch Agent (roles/batch.agentReporter) sur le projet
      • Pour autoriser les tâches à accéder à un bucket Cloud Storage: administrateur de l'espace de stockage (roles/storage.admin) sur le bucket
      • Pour permettre aux tâches de générer des journaux dans Cloud Logging: Rédacteur de journaux (roles/logging.logWriter) sur le projet

      Pour en savoir plus sur l'attribution de rôles aux comptes de service, consultez les pages Restreindre les comptes de service et Gérer l'accès aux comptes de service.

    3. Assurez-vous de bien connaître l'agent de service Batch de votre projet:

      Une fois que vous avez créé un job Batch, l'agent de service Batch est automatiquement créé pour votre projet avec le nom suivant:

      service-PROJECT_NUMBER@gcp-sa-cloudbatch.iam.gserviceaccount.com

      Remplacez PROJECT_NUMBER par le numéro de votre projet.

      L'agent de service Batch se voit automatiquement attribuer le rôle IAM roles/batch.serviceAgent (Agent de service Google Batch). Cette configuration est requise pour que votre projet puisse utiliser Batch.

      Toutefois, certains cas d'utilisation, tels que l'exécution d'une tâche sur un réseau VPC partagé, nécessitent que vous accordiez des autorisations supplémentaires à l'agent de service Batch de votre projet.

      Pour en savoir plus, consultez la page Agents de service.

Configurer Batch pour un nouvel utilisateur

Pour commencer à utiliser Batch en tant qu'utilisateur, procédez comme suit:

  1. Pour obtenir les autorisations nécessaires à l'utilisation de Batch, demandez à votre administrateur de vous attribuer les rôles IAM requis sur le projet. Reportez-vous à la documentation de chaque tâche pour connaître les autorisations requises.

    Par exemple, si vous souhaitez commencer à apprendre à utiliser Batch en créant une tâche de base, envisagez de demander des rôles pour les tâches suivantes:

    • Pour créer des tâches :
    • Pour répertorier et décrire les tâches: Éditeur de jobs par lot (roles/batch.jobsEditor) ou Lecteur de jobs par lot (roles/batch.jobsViewer) sur le projet
    • Pour afficher les journaux des jobs: visionneuse de journaux (roles/logging.viewer) sur le projet
    • Pour supprimer des jobs: éditeur de jobs par lot (roles/batch.jobsEditor) sur le projet

    Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

  2. Si vous souhaitez utiliser les exemples de ligne de commande pour Batch, configurez la Google Cloud CLI en procédant comme suit. En savoir plus sur l'authentification pour la Google Cloud CLI

    1. Installez Google Cloud CLI, puis initialisez-la en exécutant la commande suivante : 

      gcloud init

    2. Recommandation: Définissez un projet par défaut à l'aide de la commande gcloud config set project:

      gcloud config set project PROJECT_ID

      Remplacez PROJECT_ID par l'ID de votre projet.

  3. Si vous souhaitez utiliser les exemples d'API ou de bibliothèques clientes pour Batch, consultez la page S'authentifier auprès de Batch.

Obtenir de l'aide

Vous pouvez discuter de Batch avec la communauté sur les forums Cloud.

Si vous rencontrez des problèmes avec Batch, consultez la documentation de dépannage.

Pour obtenir de l'aide ou envoyer des commentaires concernant Batch, consultez les ressources suivantes:

  • Pour les problèmes de facturation avec Google Cloud, contactez l'assistance dédiée à la facturation.

  • Si vous disposez d'une formule d'assistance payante, contactez directement l'assistance Google Cloud pour les problèmes liés à Batch.

    Google Cloud propose plusieurs formules d'assistance répondant à différents besoins tels que la couverture 24h/24, 7j/7, l'assistance téléphonique et l'accès à un responsable de l'assistance technique. Pour plus d'informations, consultez l'assistance Google Cloud.

  • Pour envoyer des commentaires ou des demandes de fonctionnalités concernant Batch, ou pour signaler des problèmes concernant Batch sans formule d'assistance payante, cliquez sur le bouton Envoyer des commentaires, qui se trouve au début et à la fin de chaque page de documentation de Batch. Sélectionnez ensuite l'une des options suivantes:

    • Pour les commentaires sur la documentation Batch, sélectionnez "Commentaires sur la documentation".
    • Pour tous les autres commentaires concernant Batch, sélectionnez "Product feedback" (Commentaires sur le produit).

Étapes suivantes