Utiliser des workflows

Pour configurer et exécuter un workflow, procédez comme suit :

Créez un modèle de workflow.
Configurez un cluster géré (éphémère) ou sélectionnez un cluster existant.
Ajoutez des tâches.
Instanciez le modèle pour exécuter le workflow.

Créer un modèle

Commande gcloud

Exécutez la commande command suivante pour créer une ressource de modèle de workflow Dataproc.

gcloud dataproc workflow-templates create TEMPLATE_ID \
    --region=REGION

Remarques :

REGION: spécifiez la région dans laquelle votre modèle sera exécuté.
TEMPLATE_ID: indiquez un ID pour votre modèle (par exemple, "workflow-template-1").
le chiffrement CMEK. Vous pouvez ajouter l'indicateur --kms-key pour utiliser le chiffrement CMEK sur les arguments de tâche du modèle de workflow.

API REST

Envoi d'un WorkflowTemplate dans une requête workflowTemplates.create. Vous pouvez ajouter le champ WorkflowTemplate.EncryptionConfig.kmsKey pour utiliser le chiffrement CMEK sur les arguments de tâche du modèle de workflow. kmsKey

Console

Vous pouvez afficher les modèles de workflow existants et les workflows instanciés depuis la page Workflows de Dataproc dans la console Google Cloud.

Configurer ou sélectionner un cluster

Dataproc peut soit créer et utiliser un nouveau cluster "géré" pour votre workflow, soit se servir d'un cluster existant.

Cluster existant : consultez la page Utiliser des sélecteurs de cluster avec des workflows pour découvrir comment sélectionner un cluster existant pour votre workflow.
Cluster géré : vous devez configurer un cluster géré pour votre workflow. Dataproc va créer ce cluster pour exécuter des tâches de workflow, puis le supprimer à la fin du workflow.
Vous pouvez configurer un cluster géré pour votre workflow à l'aide de l'outil de ligne de commande gcloud ou de l'API Dataproc.
Commande gcloud

Utilisez des indicateurs hérités de gcloud dataproc cluster create pour configurer le cluster géré, tels que le nombre de nœuds de calcul et le type de machine maître et de nœud de calcul. Dataproc ajoute un suffixe au nom du cluster pour garantir son unicité.
```
gcloud dataproc workflow-templates set-managed-cluster template-id \
    --region=region \
    --master-machine-type=machine-type \
    --worker-machine-type=machine-type \
    --num-workers=number \
    --cluster-name=cluster-name
```
API REST

Consultez la section WorkflowTemplatePlacement.ManagedCluster. Ce champ est fourni dans le cadre d'un WorkflowTemplate complet envoyé avec une requête workflowTemplates.create ou workflowTemplates.update.

Console

Vous pouvez afficher les modèles de workflow existants et les workflows instanciés depuis la page Workflows de Dataproc dans la console Google Cloud.

Ajouter des tâches à un modèle

Toutes les tâches sont exécutées simultanément, sauf si vous spécifiez une ou plusieurs dépendances de tâche. Celles-ci sont exprimées sous la forme d'une liste d'autres tâches qui doivent s'achever avant que la tâche finale puisse démarrer. Vous devez fournir un ID (step-id) pour chaque tâche. L'ID doit être unique dans le workflow, mais pas nécessairement à l'échelle globale.

Commande gcloud

Utilisez le type de tâche et les indicateurs hérités de gcloud dataproc jobs submit pour définir la tâche à ajouter au modèle. Vous pouvez inclure de façon facultative l'option ‑‑start-after job-id of another workflow job pour démarrer la tâche après la fin d'une ou de plusieurs autres tâches dans le workflow.

Actuellement, les options de tâches redémarrables --max-failures-per-hour et --max-failures-per-hour ne sont pas compatibles avec les tâches de modèle de workflow Dataproc.

Exemples :

Ajoutez la tâche Hadoop "foo" au modèle "my-workflow".

gcloud dataproc workflow-templates add-job hadoop \
    --region=region \
    --step-id=foo \
    --workflow-template=my-workflow \
    -- space separated job args

Ajoutez la tâche "bar" au modèle "my-workflow". Elle sera exécutée une fois la tâche du workflow "foo" achevée.

gcloud dataproc workflow-templates add-job job-type \
    --region=region \
    --step-id=bar \
    --start-after=foo \
    --workflow-template=my-workflow \
    -- space separated job args

Ajoutez une autre tâche "baz" au modèle "my-workflow". Elle sera exécutée une fois les tâches "foo" et "bar" terminées.

gcloud dataproc workflow-templates add-job job-type \
    --region=region \
    --step-id=baz \
    --start-after=foo,bar \
    --workflow-template=my-workflow \
    -- space separated job args

API REST

Consultez la section WorkflowTemplate.OrderedJob. Ce champ est fourni dans le cadre d'un WorkflowTemplate complet envoyé avec une requête workflowTemplates.create ou workflowTemplates.update.

Actuellement, les champs maxFailuresPerHour et maxFailuresTotal de OrderedJob.JobScheduling ne sont pas compatibles avec les tâches de modèle de workflow Dataproc.

Console

Vous pouvez afficher les modèles de workflow existants et les workflows instanciés depuis la page Workflows de Dataproc dans la console Google Cloud.

Actuellement, l'option de tâche redémarrable Max restarts per hour n'est pas compatible avec les tâches de modèle de workflow Dataproc.

Exécuter un workflow

Instancier un modèle de workflow permet d'exécuter un workflow défini par le modèle. Les instanciations multiples d'un même modèle sont acceptées : vous pouvez exécuter un workflow plusieurs fois.

Commande gcloud

gcloud dataproc workflow-templates instantiate template-id \
    --region=region

La commande renvoie un ID d'opération, que vous pouvez utiliser pour effectuer le suivi de l'état du workflow.

Exemple de commande et de résultat:

gcloud beta dataproc workflow-templates instantiate my-template-id \
    --region=us-central1
...
WorkflowTemplate [my-template-id] RUNNING
...
Created cluster: my-template-id-rg544az7mpbfa.
Job ID teragen-rg544az7mpbfa RUNNING
Job ID teragen-rg544az7mpbfa COMPLETED
Job ID terasort-rg544az7mpbfa RUNNING
Job ID terasort-rg544az7mpbfa COMPLETED
Job ID teravalidate-rg544az7mpbfa RUNNING
Job ID teravalidate-rg544az7mpbfa COMPLETED
...
Deleted cluster: my-template-id-rg544az7mpbfa.
WorkflowTemplate [my-template-id] DONE

API REST

Consultez la page workflowTemplates.instantiate.

Console

Vous pouvez afficher les modèles de workflow existants et les workflows instanciés depuis la page Workflows de Dataproc dans la console Google Cloud.

Échec d'une tâche de workflow

L'échec d'une tâche dans un workflow entraîne l'échec de celui-ci. Dataproc cherchera à en limiter les conséquences en provoquant l'échec de toutes les tâches exécutées simultanément et en empêchant le démarrage de tâches ultérieures.

Surveiller et répertorier un workflow

Commande gcloud

Pour surveiller un workflow :

gcloud dataproc operations describe operation-id \
    --region=region

Remarque:L'operation-id est renvoyé lorsque vous instanciez le workflow avec gcloud dataproc workflow-templates instantiate (consultez la section Exécuter un workflow).

Pour obtenir l'état du workflow :

gcloud dataproc operations list \
    --region=region \
    --filter="labels.goog-dataproc-operation-type=WORKFLOW AND status.state=RUNNING"

API REST

Pour surveiller un workflow, utilisez l'API operations.get Dataproc.

Pour répertorier les workflows en cours, utilisez l'API operations.list Dataproc avec un filtre de libellé.

Console

Vous pouvez afficher les modèles de workflow existants et les workflows instanciés depuis la page Workflows de Dataproc dans la console Google Cloud.

Supprimer un workflow

Vous pouvez mettre fin à un workflow à l'aide de Google Cloud CLI ou en appelant l'API Dataproc.

Commande gcloud

gcloud dataproc operations cancel operation-id \
    --region=region

Remarque : L'ID "operation-id" est renvoyé lorsque vous instanciez le workflow avec gcloud dataproc workflow-templates instantiate (consultez la section Exécuter un workflow).

API REST

Reportez-vous à l'API operations.cancel.

Console

Vous pouvez afficher les modèles de workflow existants et les workflows instanciés depuis la page Workflows de Dataproc dans la console Google Cloud.

Mettre à jour un modèle de workflow

Les mises à jour n'ont pas d'effet sur les workflows en cours d'exécution. La nouvelle version du modèle s'applique uniquement aux nouveaux workflows.

Commande gcloud

Les modèles de workflow peuvent être mis à jour en émettant de nouvelles commandes gcloud workflow-templates qui associent l'ID "template-id" d'un workflow existant :

gcloud dataproc workflow-templates add job
gcloud dataproc workflow-templates set-managed-cluster
gcloud dataproc workflow-templates set-cluster-selector

à un modèle de workflow existant.

API REST

Pour mettre à jour un modèle avec l'API REST, procédez comme suit :

Appelez workflowTemplates.get qui affiche le modèle actuel avec le champ version renseigné selon la version actuelle du serveur.
Apportez des modifications au modèle récupéré.
Appelez workflowTemplates.update avec le modèle mis à jour.

Pour éviter les modifications simultanées, toute requête de mise à jour d'un modèle doit spécifier la version actuelle du serveur dans le champ workflowTemplate.version.

Console

Vous pouvez afficher les modèles de workflow existants et les workflows instanciés depuis la page Workflows de Dataproc dans la console Google Cloud.

Supprimer un modèle de workflow

Commande gcloud

gcloud dataproc workflow-templates delete template-id \
    --region=region

Remarque : L'ID "operation-id" est renvoyé lorsque vous instanciez le workflow avec gcloud dataproc workflow-templates instantiate (consultez la section Exécuter un workflow).

API REST

Consultez la page workflowTemplates.delete.

Console

Vous pouvez afficher les modèles de workflow existants et les workflows instanciés depuis la page Workflows de Dataproc dans la console Google Cloud.