Premiers pas avec Batch

Cette page explique comment commencer à utiliser Batch pour Google Cloud.

Présentation

Batch est un service entièrement géré qui permet de planifier, de mettre en file d'attente et d'exécuter un traitement par lot. sur les ressources Google Cloud. Par exemple, utilisez Batch pour le calcul hautes performances (HPC), le machine learning (ML) et de traitement des données. Batch provisionne les ressources et gère la capacité pour permettre l'exécution de vos charges de travail par lot à grande échelle.

Avec Batch, vous n'avez pas besoin de configurer ni de gérer des planificateurs de jobs, provisionner ou déprovisionner des ressources, ou en demander zone à la fois. Pour exécuter une tâche, vous devez spécifier des paramètres pour les ressources requises pour votre charge de travail, Batch obtient les ressources met le job en file d'attente pour exécution. Batch fournit des données l'intégration à d'autres services Google Cloud pour faciliter la planification, l'exécution, le stockage et l'analyse des jobs par lot. Vous pouvez ainsi vous concentrer l'envoi d'un job et la consommation des résultats.

Batch comprend les composants suivants:

  • Tâche:programme planifié qui exécute un ensemble de tâches jusqu'à la fin, sans toute interaction avec l'utilisateur, généralement pour des charges de travail de calcul. Par exemple, une tâche peut être un script shell unique ou un des calculs complexes en plusieurs parties.

    Plus précisément, un job par lot représente un tableau plus de tâches et l'environnement dans lequel les exécuter. Vous définissez le programme du job sous la forme d'une séquence d'une ou plus d'exécutables. Chaque tâche exécute la séquence d'exécutables ressources du job. Vous pouvez configurer les tâches d'un job en parallèle ou de manière séquentielle.

  • Tâche:une exécution de la séquence d'exécutables d'une tâche. Lorsqu'un job présente plusieurs tâches, vous spécifiez la manière dont vous voulez que chaque exécution varie référencer la variable d'environnement correspondant à l'index d'une tâche dans le fichier et des exécutables.

  • Exécution:script ou conteneur exécutable que vous définissez dans le cadre de un emploi.

  • Ressources:infrastructure nécessaire à l'exécution d'un job. Au minimum, il vous suffit de spécifier les ressources de calcul requises par tâche: Cœurs de processeur, mémoire et, le cas échéant, espace de stockage supplémentaire sur disque de démarrage. Éventuellement, vous pouvez également spécifier d'autres options de ressources pour le job. Batch crée et supprime automatiquement les ressources qui répondent à vos spécifications pendant l'exécution du job.

    Plus précisément, chaque job par lot s'exécute groupe d'instances géré régional (MIG), qui est un groupe d'un ou de plusieurs des instances de machines virtuelles (VM) Compute Engine situées dans l'une des zones incluses. Chaque VM dispose d'un matériel dédié Cœurs de processeur et mémoire, ce qui affecte les performances et un disque de démarrage, qui stocke un système d'exploitation l'image système (OS) et des instructions pour exécuter votre job. Si une offre d'emploi est spécifiée, elle peut également inclure ou accéder à (GPU ou volumes de stockage externe, par exemple). Le nombre de VM provisionnées pour un job dépend de la configuration matérielle requise et de planification des tâches que vous spécifiez.

En résumé, Batch vous permet de créer et d'exécuter des jobs que chacun de provisionner et d'utiliser automatiquement les ressources nécessaires à l'exécution de ses tâches.

Pour en savoir plus sur le comportement et les options des jobs, consultez la Présentation de la création et de l'exécution de tâches

Tarifs

L'utilisation de Batch n'entraîne aucuns frais supplémentaires. Vous êtes uniquement facturés pour le coût des ressources sous-jacentes nécessaires à l'exécution de vos jobs.

Pour en savoir plus sur les coûts associés à Batch et filtrer les rapports Cloud Billing pour afficher les coûts par lot ; consultez la section Tarifs.

Restrictions

Batch comporte les restrictions suivantes:

  • Vous ne pouvez pas dépasser la Quotas et limites par lot pour votre projet
  • Vous ne pouvez spécifier qu'un seul type de machine, prédéfinies ou custom, par job.
  • Vous ne pouvez pas spécifier plus d'un groupe de tâches par tâche. Toutes les tâches ne comportent qu'une seule tâche. groupe de tâches nommé group0.

Prérequis

Pour commencer à utiliser Batch, vous devez remplir les conditions préalables suivantes:

  1. Si votre projet n'a jamais utilisé Batch auparavant, activez Batch pour votre projet.
  2. Configurez Batch pour chaque nouvel utilisateur.

Activer Batch pour un projet

Pour commencer à utiliser Batch avec un projet, procédez comme suit:

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Vérifiez que la facturation est activée pour votre projet Google Cloud.

  3. Assurez-vous que Batch est activé pour votre projet:

    1. Activez les API pour Batch à l'aide de la la console Google Cloud ou la Google Cloud CLI.

      Console

      Activer les API Batch, Compute Engine, and Cloud Logging.

      Activer les API

      gcloud

      Activer les API Batch, Compute Engine, and Cloud Logging : 

      gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com

    2. Assurez-vous que votre projet comporte un ou plusieurs comptes de service disposant des autorisations nécessaires pour créer les ressources et y accéder pour exécuter des jobs Batch.

      Plus important encore, tous les utilisateurs que vous souhaitez autoriser à créer et exécuter Les jobs par lot de votre projet doivent être autorisé à utiliser l'un de ces comptes de service. Par conséquent, ne sélectionnez pas de comptes de service disposant d'autorisations que vous ne voulez pas leur accorder.

      Le compte de service utilisé par défaut par chaque job est Compte de service Compute Engine par défaut, mais vous pouvez aussi personnaliser le compte de service utilisé par une tâche.

      À moins que vous n'ayez prévu d'utiliser uniquement la configuration par défaut d'un compte de service, accordez les rôles IAM suivants comptes de service que votre projet utilise pour les jobs Batch.

      • Responsable du signalement de Batch Agent (roles/batch.agentReporter) sur le projet
      • Pour permettre aux jobs de générer des journaux dans Cloud Logging: Rédacteur de journaux (roles/logging.logWriter) sur le projet

      Le compte de service que vous utilisez pour une tâche peut également nécessiter des rôles supplémentaires selon les options de configuration utiliser pour vos jobs. Reportez-vous à la documentation de chaque tâche pour savoir des autorisations supplémentaires sont requises. Pour en savoir plus sur l'attribution de rôles aux comptes de service, consultez Limiter les comptes de service et Gérer l'accès aux comptes de service.

    3. Assurez-vous de bien connaître le Agent de service Batch:

      Après avoir créé un Tâche par lot, agent de service Batch est automatiquement créé pour votre projet avec le nom suivant:

      service-PROJECT_NUMBER@gcp-sa-cloudbatch.iam.gserviceaccount.com

      Remplacez PROJECT_NUMBER par le numéro du projet de votre projet.

      L'agent de service Batch reçoit automatiquement le rôle Rôle IAM d'agent de service Google Batch (roles/batch.serviceAgent). Cette configuration est requise pour que votre projet puisse utiliser par lot.

      Toutefois, certains cas d'utilisation, tels que d'exécuter une tâche sur un réseau VPC partagé, exigent d'accorder des autorisations supplémentaires aux ressources Agent de service Batch.

      Pour en savoir plus, consultez la page Agents de service.

Configurer Batch pour un nouvel utilisateur

Pour commencer à utiliser Batch en tant qu'utilisateur, procédez comme suit:

  1. Pour obtenir les autorisations dont vous avez besoin pour utiliser Batch, demandez à votre administrateur de vous attribuer les rôles IAM requis sur le projet. Reportez-vous à la documentation de chaque tâche pour connaître les autorisations requises.

    Par exemple, si vous souhaitez commencer à apprendre à utiliser Batch en créant une tâche de base, envisagez de demander des rôles pour les tâches suivantes:

    • Pour créer des tâches: <ph type="x-smartling-placeholder">
    • Pour répertorier et décrire les tâches: éditeur de jobs par lot (roles/batch.jobsEditor) ou Lecteur de jobs Batch (roles/batch.jobsViewer) sur le projet
    • Pour afficher les journaux des jobs: visionneuse de journaux (roles/logging.viewer) sur le projet
    • Pour supprimer des jobs: éditeur de jobs par lot (roles/batch.jobsEditor) sur le projet

    Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

  2. Si vous souhaitez utiliser les exemples de ligne de commande pour Batch, configurez la Google Cloud CLI en procédant comme suit. En savoir plus sur authentification pour la Google Cloud CLI.

    1. Installez Google Cloud CLI, puis initialisez-la en exécutant la commande suivante : 

      gcloud init

    2. Recommandation: Définissez un projet par défaut à l'aide du Commande gcloud config set project:

      gcloud config set project PROJECT_ID

      Remplacez PROJECT_ID par le ID du projet de votre projet.

  3. Si vous souhaitez utiliser les exemples d'API ou de bibliothèques clientes pour Batch, consultez S'authentifier auprès de Batch

Obtenir de l'aide

Vous pouvez discuter de Batch avec la communauté sur Forums Cloud.

Si vous rencontrez des problèmes avec Batch, consultez la .

Pour obtenir de l'aide ou envoyer des commentaires concernant Batch, utilisez le ressources suivantes:

  • Pour tout problème de facturation avec Google Cloud, contactez Assistance concernant la facturation :

  • Si vous disposez d'une formule d'assistance payante, contactez l'assistance Google Cloud directement pour les problèmes liés à Batch.

    Google Cloud propose différentes formules d'assistance pour répondre à différents besoins, comme la disponibilité 24h/24, 7j/7, l'assistance téléphonique et l'accès à une assistance technique responsable. Pour plus d'informations, consultez l'assistance Google Cloud.

  • Pour envoyer des commentaires ou des demandes de fonctionnalités concernant Batch, ou pour signaler les problèmes liés à Batch sans formule d'assistance payante, cliquez sur le bouton Envoyer des commentaires, qui se trouve au début de la section, puis à la fin de chaque page de documentation Batch. Sélectionnez ensuite l'une des options suivantes:

    • Pour obtenir des commentaires sur la documentation Batch, sélectionnez « Commentaires sur la documentation ».
    • Pour tout autre commentaire concernant Batch, sélectionnez "Commentaires sur le produit"

Étape suivante