Premiers pas avec Batch

Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Cette page explique comment utiliser Batch pour Google Cloud.

Présentation

Batch est un service entièrement géré qui vous permet de planifier, de mettre en file d'attente et d'exécuter des charges de travail de traitement par lot sur des instances de machine virtuelle (VM) Compute Engine. Batch provisionne et gère la capacité en votre nom, ce qui permet à vos charges de travail par lot de s'exécuter à grande échelle.

Avec Batch, vous n'avez pas besoin de configurer ni de gérer des planificateurs de tâches tiers, de provisionner et de déprovisionner des ressources, ni de demander des ressources une zone à la fois. Pour exécuter une tâche, vous devez spécifier les paramètres des ressources requises pour votre charge de travail, puis Batch obtient les ressources et met la tâche en file d'attente pour exécution. Batch fournit une intégration native avec d'autres services Google Cloud pour faciliter la planification, l'exécution, le stockage et l'analyse des tâches par lot. Vous pouvez ainsi vous concentrer sur l'envoi d'une tâche et sur l'utilisation des résultats.

Le lot comprend les composants suivants:

  • Tâche : programme planifié qui exécute un ensemble de tâches jusqu'à la fin sans intervention de l'utilisateur, généralement pour les charges de travail de calcul. Par exemple, une tâche peut être un script shell unique ou un calcul complexe en plusieurs parties.

    Une tâche est exécutée via une ou plusieurs actions spécifiques appelées "tâches". Chaque tâche par lot se compose d'un ou de plusieurs tableaux qui exécutent tous les mêmes exécutables, à savoir les scripts et les conteneurs exécutables de votre tâche. Les tâches d'une tâche peuvent s'exécuter en parallèle ou de manière séquentielle sur les ressources de la tâche.

  • Tâches: actions programmatiques définies dans le cadre d'une tâche et exécutées lors de l'exécution de la tâche. Chaque tâche fait partie du groupe de tâches d'une tâche. Les exécutables de la tâche sont exécutés par chaque tâche.

  • Ressources: infrastructure nécessaire pour exécuter une tâche. Chaque tâche par lot s'exécute sur un groupe d'instances géré (MIG) régional de VM Compute Engine, en fonction des exigences et de l'emplacement de la tâche. Si spécifié, une tâche peut également utiliser des ressources de calcul supplémentaires, telles que des GPU, ou des ressources de stockage en lecture/écriture supplémentaires, telles que des SSD locaux ou un bucket Cloud Storage. Les ressources de calcul requises pour chaque tâche et le parallélisme des tâches font partie des facteurs qui déterminent le nombre de VM provisionnées pour une tâche: vous souhaitez que les tâches s'exécutent de manière séquentielle sur une VM ou simultanément sur plusieurs VM.

En résumé, Batch vous permet de créer et d'exécuter des tâches qui provisionnent et utilisent automatiquement les ressources requises pour exécuter leurs tâches.

Tarifs

L'utilisation de Batch est gratuite. Vous ne payez que le coût des ressources sous-jacentes requises pour exécuter vos tâches.

Restrictions

Les restrictions suivantes s'appliquent à Batch:

Prerequisites

Pour commencer à utiliser Batch, remplissez les conditions préalables suivantes:

  1. Si votre projet n'a jamais utilisé Batch auparavant, activez Batch pour votre projet.
  2. Configurez Batch pour chaque nouvel utilisateur.

Activer Batch pour un projet

Pour commencer à utiliser Batch avec un projet, procédez comme suit:

  1. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

    Accéder au sélecteur de projet

  2. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.

  3. Assurez-vous que Batch est activé pour votre projet:

    1. activer les API pour Batch à l'aide de Google Cloud Console ou de Google Cloud CLI ;

      Console

      Activer les API Batch, Compute Engine, and Cloud Logging.

      Activer les API

      gcloud

      Activer les API Batch, Compute Engine, and Cloud Logging :

      gcloud services enable batch.googleapis.comcompute.googleapis.comlogging.googleapis.com

    2. Pour vous assurer que le compte de service de chaque tâche dispose des autorisations nécessaires pour permettre à l'agent de service Batch de créer des ressources pour les tâches et d'y accéder, demandez à votre administrateur d'accorder les rôles IAM suivants à tous les comptes de service utilisés par votre projet pour les tâches par lot.

      Le compte de service utilisé par chaque tâche est le compte de service Compute Engine par défaut, mais vous pouvez également personnaliser le compte de service utilisé par une tâche.

      • Responsable du signalement par lot (roles/batch.agentReporter) sur le projet
      • Pour autoriser les tâches à accéder à un bucket Cloud Storage: administrateur Storage (roles/storage.admin)
      • Pour autoriser les tâches à générer des journaux dans Cloud Logging: Rédacteur de journaux (roles/logging.logWriter) sur le projet

      Pour en savoir plus sur l'attribution de rôles aux comptes de service, consultez Restreindre les comptes de service et Gérer l'accès aux comptes de service.

Configurer Batch pour un nouvel utilisateur

Pour commencer à utiliser Batch en tant qu'utilisateur, procédez comme suit:

  1. Pour obtenir les autorisations nécessaires pour utiliser Batch, demandez à votre administrateur de vous attribuer les rôles IAM requis pour le projet. Consultez la documentation de chaque tâche pour connaître les autorisations requises.

    Par exemple, si vous souhaitez découvrir comment utiliser Batch en créant une tâche de base, vous pouvez demander des rôles pour les tâches suivantes:

    • Pour créer des tâches :
    • Pour répertorier et décrire les tâches: Éditeur de tâche par lot (roles/batch.jobsEditor) ou Lecteur de tâche par lot (roles/batch.jobsViewer) sur le projet
    • Pour afficher les journaux des tâches: visionneuse de journaux (roles/logging.viewer) sur le projet
    • Pour supprimer des tâches: éditeur de tâches par lot (roles/batch.jobsEditor)

    Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

  2. Si vous souhaitez utiliser les exemples de ligne de commande pour Batch, configurez Google Cloud CLI en procédant comme suit. Pour en savoir plus, consultez la page S'authentifier sur un lot.

    1. Installez et initialisez Google Cloud CLI.

    2. Recommandé: Définissez un projet par défaut à l'aide de la commande gcloud config set project :

      gcloud config set project PROJECT_ID
      

      PROJECT_ID est l'ID de votre projet.

  3. Si vous souhaitez utiliser les exemples d'API pour Batch, consultez la section S'authentifier sur Batch.

Obtenir de l'aide

Vous pouvez discuter de Batch avec la communauté sur les forums Cloud.

Si vous rencontrez des problèmes avec Batch, consultez la documentation de dépannage.

Pour obtenir de l'aide ou envoyer des commentaires sur un lot, utilisez les ressources suivantes:

  • Pour les problèmes de facturation liés à Google Cloud, contactez l'assistance pour la facturation.

  • Si vous disposez d'une formule d'assistance payante, contactez directement l'assistance Google Cloud pour les problèmes liés à Batch.

    Google Cloud propose plusieurs formules d'assistance répondant à différents besoins tels que la couverture 24h/24, 7j/7, l'assistance téléphonique et la possibilité de contacter un responsable de l'assistance technique. Pour plus d'informations, consultez l'assistance Google Cloud.

  • Pour envoyer des commentaires ou des demandes de fonctionnalités à Batch, ou pour signaler des problèmes concernant Batch sans formule d'assistance payante, cliquez sur le bouton Envoyer des commentaires, disponible au début et à la fin de chaque page de documentation Batch. Sélectionnez ensuite l'une des options suivantes:

    • Pour les commentaires sur la documentation par lot, sélectionnez "Commentaires sur la documentation".
    • Pour tous les autres commentaires sur Batch, sélectionnez "Commentaires sur le produit".

Étapes suivantes