Gérer les flux de travail

Ce document explique comment gérer les workflows, y compris comment les planifier et les supprimer.

Ce document explique également comment afficher et gérer les métadonnées de workflow dans Dataplex.

Les workflows sont alimentés par Dataform.

Avant de commencer

  1. Créez un workflow.
  2. Pour gérer les métadonnées de workflow dans Dataplex, assurez-vous que l'API Dataplex est activée dans votre projet Google Cloud .

Rôles requis

Pour obtenir les autorisations nécessaires pour gérer les workflows, demandez à votre administrateur de vous accorder les rôles IAM suivants:

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour gérer les métadonnées de workflow dans Dataplex, assurez-vous de disposer des rôles Dataplex requis.

Pour en savoir plus sur IAM pour Dataform, consultez la section Contrôle des accès avec IAM.

Afficher tous les workflows

Pour afficher la liste de tous les workflows de votre projet, procédez comme suit:

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet Explorer, cliquez sur , puis développez Workflows (Workflows).

Afficher les exécutions manuelles précédentes

Pour afficher les exécutions manuelles précédentes d'un workflow sélectionné, procédez comme suit:

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet Explorateur, développez votre projet et le dossier Workflows, puis sélectionnez un workflow.

  3. Cliquez sur Exécutions.

  4. Facultatif: Pour actualiser la liste des exécutions précédentes, cliquez sur Actualiser.

Configurer des alertes pour les exécutions de workflow ayant échoué

Chaque workflow est associé à un ID de dépôt Dataform correspondant. Chaque exécution de workflow BigQuery est enregistrée dans Cloud Logging à l'aide de l'ID de dépôt Dataform correspondant. Vous pouvez utiliser Cloud Monitoring pour observer les tendances dans les journaux Cloud Logging pour les exécutions de workflow BigQuery et pour vous avertir lorsque les conditions que vous décrivez se produisent.

Pour recevoir des alertes en cas d'échec de l'exécution d'un workflow BigQuery, vous pouvez créer une stratégie d'alerte basée sur les journaux pour l'ID de dépôt Dataform correspondant. Pour obtenir des instructions, consultez la section Configurer des alertes pour les invocations de workflow ayant échoué.

Pour trouver l'ID du dépôt Dataform de votre workflow, procédez comme suit:

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet Explorateur, développez votre projet et le dossier Workflows, puis sélectionnez un workflow.

  3. Cliquez sur Paramètres.

    L'ID du dépôt Dataform de votre workflow s'affiche en bas de l'onglet Settings (Paramètres).

Supprimer un workflow

Pour supprimer définitivement un workflow, procédez comme suit:

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet Explorer, développez votre projet et le dossier Workflows. Recherchez le workflow que vous souhaitez supprimer.

  3. Cliquez sur Afficher les actions à côté du workflow, puis sur Supprimer.

  4. Cliquez sur Supprimer.

Gérer les métadonnées dans Dataplex

Dataplex vous permet de stocker et de gérer les métadonnées des workflows. Les workflows sont disponibles dans Dataplex par défaut, sans configuration supplémentaire.

Vous pouvez utiliser Dataplex pour gérer les workflows dans tous les emplacements de workflow. La gestion des workflows dans Dataplex est soumise aux quotas et limites de Dataplex et aux tarifs de Dataplex.

Dataplex récupère automatiquement les métadonnées suivantes à partir des workflows:

  • Nom de l'élément de données
  • Élément de données parent
  • Emplacement de l'élément de données
  • Type d'élément de données
  • Projet Google Cloud correspondant

Dataplex consigne les workflows en tant que entrées avec les valeurs d'entrée suivantes:

Groupe d'entrées système
Le groupe d'entrée système pour les workflows est @dataform. Pour afficher les détails des entrées de workflow dans Dataplex, vous devez afficher le groupe d'entrées système dataform. Pour savoir comment afficher la liste de toutes les entrées d'un groupe d'entrées, consultez la section Afficher les détails d'un groupe d'entrées dans la documentation Dataplex.
Type d'entrée du système
Le type d'entrée système pour les workflows est dataform-code-asset. Pour afficher les détails des workflows, vous devez afficher le type d'entrée système dataform-code-asset, filtrer les résultats avec un filtre basé sur un aspect et définir le champ type dans l'aspect dataform-code-asset sur WORKFLOW. Sélectionnez ensuite une entrée du workflow sélectionné. Pour savoir comment afficher les détails d'un type d'entrée sélectionné, consultez la section Afficher les détails d'un type d'entrée dans la documentation Dataplex. Pour savoir comment afficher les détails d'une entrée sélectionnée, consultez la section Afficher les détails d'une entrée dans la documentation Dataplex.
Type d'aspect du système
Le type d'aspect système pour les workflows est dataform-code-asset. Pour fournir un contexte supplémentaire aux workflows dans Dataplex en annotant les entrées de workflow de données avec des aspects, affichez le type d'aspect dataform-code-asset, filtrez les résultats avec un filtre basé sur l'aspect et définissez le champ type dans l'aspect dataform-code-asset sur WORKFLOW. Pour savoir comment annoter des entrées avec des aspects, consultez la section Gérer les aspects et enrichir les métadonnées dans la documentation Dataplex.
Type
Le type des canevas de données est WORKFLOW. Ce type vous permet de filtrer les workflows dans le type d'entrée système dataform-code-asset et le type d'aspect dataform-code-asset à l'aide de la requête aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW dans un filtre basé sur les aspects.

Pour savoir comment rechercher des éléments dans Dataplex, consultez la section Rechercher des éléments de données dans Dataplex de la documentation Dataplex.

Étape suivante