Créer des workflows

Preview

Ce produit est soumis aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les produits pré-DG sont disponibles "en l'état" et peuvent bénéficier d'une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Pour demander de l'aide ou envoyer des commentaires concernant cette fonctionnalité, envoyez un e-mail à l'adresse [e-mail].

Ce document explique comment créer des workflows dans BigQuery. Les workflows sont alimentés par Dataform.

Avant de commencer

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

8. Suivez les instructions de la page Activer la gestion des composants de code pour enregistrer, partager et gérer des versions de composants de code tels que les workflows.
9. Si c'est la première fois que vous créez un composant de code, définissez la région par défaut pour le stockage des composants de code. Vous ne pouvez pas modifier la région d'un composant de code après sa création.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer des workflows, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

• Pour créer des workflows : Créateur de code (roles/dataform.codeCreator)
• Pour modifier et exécuter des workflows : Éditeur Dataform (roles/dataform.editor)

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur IAM pour Dataform, consultez la section Contrôle des accès avec IAM.

Remarque : Lorsque vous créez un workflow, BigQuery vous attribue le rôle Administrateur Dataform (roles/dataform.admin) spécifiquement pour ce workflow. Vous disposez ainsi d'un accès propriétaire pour le gérer et le modifier. Toute personne disposant du rôle Administrateur Dataform au niveau du projet Google Cloud dispose d'un accès propriétaire à tous les workflows de ce projet.

Créer un workflow

Pour créer un workflow, procédez comme suit :

1. Accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans la barre d'onglets du volet de l'éditeur, cliquez sur la flèche de menu déroulant à côté du signe +, puis sur Workflow.

3. Facultatif : Pour renommer le workflow, cliquez sur son nom, puis saisissez un nouveau nom.

4. Cliquez sur Commencer, puis accédez à l'onglet Paramètres.

5. Dans le champ Compte de service, sélectionnez un compte de service Dataform.

6. Dans la section Emplacement, sélectionnez une région de traitement pour le workflow.

   1. Pour sélectionner une région spécifique, sélectionnez Région, puis sélectionnez une région dans le menu déroulant Région.
   2. Pour sélectionner un emplacement multirégional, sélectionnez Multirégional, puis sélectionnez un emplacement multirégional dans le menu déroulant Multirégional.

   La région de traitement du workflow n'a pas besoin de correspondre à votre région de stockage par défaut pour les composants de code.

7. Si vous prévoyez d'ajouter un notebook à votre workflow, procédez comme suit :

   1. Dans le champ Bucket Cloud Storage, cliquez sur Parcourir, puis sélectionnez ou créez un bucket Cloud Storage pour stocker la sortie des notebooks dans votre workflow.

   2. Suivez la procédure décrite à la section Ajouter un compte principal à une stratégie au niveau du bucket pour ajouter votre compte de service Dataform personnalisé en tant que compte principal au bucket Cloud Storage que vous prévoyez d'utiliser pour stocker le résultat des exécutions de workflow programmées, et attribuer le rôle Administrateur de l'espace de stockage (roles/storage.admin) à ce compte principal.

      Le compte de service Dataform personnalisé sélectionné doit disposer du rôle IAM "Administrateur de stockage" sur le bucket sélectionné.

Ajouter une tâche de workflow

Pour ajouter une tâche à un workflow, procédez comme suit :

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet Explorateur, développez votre projet et le dossier Workflows, puis sélectionnez un workflow.

3. Pour ajouter une requête SQL ou un notebook, procédez comme suit :

   Requête SQL

   1. Cliquez sur Ajouter une tâche, puis sélectionnez Requête.

   2. Facultatif : Dans le volet Détails de la tâche de requête, dans le menu déroulant Exécuter après, sélectionnez une tâche qui précèdera votre requête.

      Votre requête dépendra de la tâche qui la précède.

   3. Pour créer la requête, cliquez sur Créer une requête.

   4. Dans la nouvelle requête, ajoutez la syntaxe de la requête, puis cliquez sur Enregistrer la requête.

   5. Facultatif : Pour renommer la requête, cliquez sur son nom et saisissez un nouveau nom.

   Notebook

   1. Cliquez sur Ajouter une tâche, puis sélectionnez Notebook.

   2. Facultatif : Dans le volet Détails de la tâche de notebook, dans le menu déroulant Exécuter après, sélectionnez une tâche qui précèdera votre notebook.

      Votre notebook dépendra de la tâche qui le précède.

   3. Pour créer le notebook, cliquez sur Créer un notebook.

   4. Dans le nouveau notebook, ajoutez-y du contenu, puis cliquez sur Enregistrer.

   5. Facultatif : Pour renommer le notebook, cliquez sur son nom et saisissez un nouveau nom.

Modifier une tâche de workflow

Pour modifier une tâche de workflow, procédez comme suit :

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet Explorateur, développez votre projet et le dossier Workflows, puis sélectionnez un workflow.

3. Cliquez sur la tâche sélectionnée.

4. Pour modifier la tâche précédente, dans le menu déroulant Exécuter après, sélectionnez une tâche qui précèdera votre notebook.

5. Pour modifier le contenu de la tâche sélectionnée, cliquez sur Modifier.

6. Dans le nouvel onglet qui s'ouvre, modifiez le contenu de la tâche, puis enregistrez les modifications apportées à la tâche.

Supprimer une tâche de workflow

Pour supprimer une tâche d'un workflow, procédez comme suit :

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet Explorateur, développez votre projet et le dossier Workflows, puis sélectionnez un workflow.

3. Cliquez sur la tâche sélectionnée.

4. Dans le volet Détails de la tâche, cliquez sur l'icône SupprimerSupprimer.

Exécuter un workflow

Pour exécuter manuellement la version actuelle d'un workflow, procédez comme suit :

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet Explorateur, développez votre projet et le dossier Workflows, puis sélectionnez un workflow.

3. Cliquez sur Exécuter.

4. Facultatif : Pour inspecter l'exécution, affichez les exécutions manuelles précédentes.

Étape suivante

• Apprenez-en plus sur les workflows dans BigQuery.
• Découvrez comment gérer les workflows.