Planifier des tâches dépendantes

Ce document explique comment créer et exécuter un job qui n'est planifié que lorsque des jobs spécifiques ont réussi ou échoué. Pour en savoir plus sur les états des tâches, consultez la section Présentation de la création et de l'exécution des tâches.

Si votre charge de travail présente des besoins en ressources variables, envisagez d'utiliser des tâches dépendantes pour créer une chaîne automatisée de tâches qui utilisent chacune des VM distinctes. Par exemple, séparez les types de VM utilisés pour les opérations à faible demande (comme la préparation des données) et les opérations gourmandes en calcul (comme le traitement des données). En utilisant des tâches dépendantes pour optimiser la consommation de ressources, vous pouvez réduire les coûts et l'utilisation des quotas.

Avant de commencer

  1. Si vous n'avez jamais utilisé Batch, consultez Premiers pas avec Batch et activez Batch en remplissant les conditions préalables pour les projets et les utilisateurs.

  2. Pour obtenir les autorisations nécessaires pour créer un job, demandez à votre administrateur de vous accorder les rôles IAM suivants:

    Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Restrictions

Les tâches dépendantes sont soumises aux restrictions suivantes:

  • Une tâche dépendante peut avoir jusqu'à quatre dépendances. Chaque dépendance doit contenir un nom de tâche unique et l'un des états obligatoires suivants:

    • SUCCEEDED: réussi
    • FAILED: échec
    • FINISHED: succès ou échec

  • Lorsque vous créez une tâche dépendante, toutes ses tâches de dépendance doivent exister.

  • Une tâche dépendante ne peut pas passer à l'état planifié (SCHEDULED) tant que chaque tâche de dépendance n'a pas atteint l'état requis. Si une tâche de dépendance ne peut plus atteindre l'état requis, la tâche dépendante échoue immédiatement sans être planifiée.

  • Comme toutes les tâches, une tâche dépendante ne peut pas passer à l'état planifié (SCHEDULED) si elle dépasse le délai d'attente maximal dans la file d'attente. Batch applique cette limite pour éviter que vos tâches ne deviennent obsolètes. Par conséquent, si vous pensez que le temps restant nécessaire pour qu'une des tâches de dépendance se termine peut dépasser cette limite, envisagez de procéder comme suit:

    • Si vous n'avez pas encore créé de tâche de dépendance, essayez de réduire la durée d'exécution prévue de la tâche de dépendance. Par exemple, vous pouvez augmenter le parallélisme de la charge de travail ou limiter la durée d'exécution des tâches et des exécutables dont vous n'avez pas besoin pour réussir.
    • Attendez de créer la tâche dépendante jusqu'à ce que la durée d'exécution prévue des tâches de dépendance soit inférieure à la limite.

Créer une tâche dépendante

Vous pouvez créer un job dépendant à l'aide des méthodes suivantes:

Pour spécifier qu'une tâche est dépendante, incluez le champ dependencies[].items, qui accepte une ou plusieurs dépendances spécifiées sous forme de paires clé-valeur, dans le corps principal du fichier JSON:

"dependencies": [
  {
    "items": {
      "DEPENDENCY_JOB_NAME": "REQUIRED_STATE"
    }
  }
]

Remplacez les éléments suivants :

  • DEPENDENCY_JOB_NAME: nom d'une tâche de dépendance, qui doit atteindre son état requis avant que cette tâche dépendante puisse être planifiée.

  • REQUIRED_STATE: état requis pour la tâche de dépendance correspondante, qui doit être SUCCEEDED, FAILED ou FINISHED.

Par exemple, une tâche dépendante avec trois dépendances peut avoir un fichier de configuration JSON semblable à celui-ci:

{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo Hello World! This is task $BATCH_TASK_INDEX."
            }
          }
        ]
      },
      "taskCount": 3
    }
  ],
  "dependencies": [
    {
      "items": {
        "DEPENDENCY_JOB_NAME_1": "REQUIRED_STATE_1",
        "DEPENDENCY_JOB_NAME_2": "REQUIRED_STATE_2",
        "DEPENDENCY_JOB_NAME_3": "REQUIRED_STATE_3"
      }
    }
  ]
}

Étape suivante