Informations sur la tâche d'exportation

Cette page explique comment exporter les informations de vos tâches stockées dans Batch vers une table BigQuery à l'aide de workflows. Plus précisément, découvrez comment exécuter l'exemple de workflow export-jobs et afficher les informations de tâche générées dans BigQuery.

L'exportation des informations d'un job est utile lorsque vous souhaitez conserver les informations après la suppression automatique ou manuelle d'un job, ou analyser les informations en dehors de Batch. Si vous exporter uniquement les informations sur le changement d'état des tâches BigQuery, consultez Surveiller les tâches à l'aide de notifications à la place.

Pour savoir comment exporter les informations d'un job stockées dans d'autres services Google Cloud, consultez la documentation sur l'exportation de ce service. Par exemple, consultez les pages suivantes :

• Exporter des journaux Cloud Logging
• Exporter des métriques Cloud Monitoring

Remarque : Les workflows et BigQuery sont des produits Google Cloud distincts qui appliquent des tarifs différents. Pour en savoir plus, consultez les pages Tarifs des workflows et Tarifs de BigQuery.

Avant de commencer

1. Si vous n'avez jamais utilisé Batch auparavant, consultez Premiers pas avec Batch et activez Batch en suivant la les conditions préalables pour les projets et les utilisateurs.

2. Enable the BigQuery and Workflows APIs.

   Enable the APIs

3. Facultatif : Identifiez un ensemble de données ou une table BigQuery existant dans votre projet dans lequel vous souhaitez stocker les informations sur le job. Une table existante doit avoir un schéma correspondant.

   Sinon, vous pouvez utiliser le workflow export-jobs pour créer un ensemble de données ou une table.

4. Préparez un compte de service pour le workflow d'exportation des tâches en procédant comme suit :

   1. Créez un compte de service ou identifiez un compte de service existant.

   2. Pour vous assurer que le compte de service dispose des autorisations les autorisations nécessaires pour exécuter le workflow export-jobs, demandez à votre administrateur d'accorder au compte de service les rôles IAM suivants sur le projet:

      • Écrire des journaux : Rédacteur de journaux (roles/logging.logWriter)
      • Créer et modifier des ensembles de données et des tables BigQuery : Administrateur BigQuery (roles/bigquery.admin)
      • Afficher et supprimer des tâches par lot : Éditeur de tâches par lot (roles/batch.jobsEditor)

      Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

      Votre administrateur peut aussi attribuer au compte de service les autorisations requises à l'aide d'outils personnalisés rôles ou autres prédéfinis rôles.

5. Pour obtenir les autorisations nécessaires pour créer, déployer et exécuter le workflow d'exportation des jobs, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

   • Afficher les tâches : Lecteur de tâches par lot (roles/batch.jobsViewer)
   • Afficher les comptes de service : Afficher les comptes de service (roles/iam.serviceAccountViewer)
   • Afficher des ensembles de données et des tables BigQuery : Lecteur de données BigQuery (roles/bigquery.dataViewer)
   • Créer, déployer et exécuter des workflows : Éditeur de workflows (roles/workflows.editor)

6. Assurez-vous que les utilisateurs de votre projet peuvent consulter les informations sur les jobs exportés.

   Pour vous assurer qu'un utilisateur dispose des autorisations nécessaires pour exporter des informations sur les jobs, demandez à votre administrateur de lui accorder le rôle IAM Lecteur de données BigQuery (roles/bigquery.dataViewer) sur la table, l'ensemble de données ou le projet.

   Remarque:Vous ne pouvez accorder l'accès qu'aux ressources existantes. À moins que vous ne prévoyiez pour exporter des informations sur un job vers une table ou un ensemble de données préexistant, vous devez accorder cet accès soit sur le projet, soit après l'exportation des informations sur le job.

Informations sur le job d'exportation

Cette section explique comment exporter les informations d'un job à l'aide de la classe export-jobs, provenant du Exemple de code export-to-bigquery. Le workflow d'exportation des tâches exporte les informations correspondant aux jobs de votre projet qui se trouvent dans la région spécifiée et répondent aux critères de filtre spécifiés.

Important : Le workflow d'exportation des offres d'emploi ne peut exporter les informations sur les offres d'emploi que d'une région à la fois. Si vous souhaitez exporter des informations pour des emplois dans plusieurs régions ou sous-ensembles d'une région, puis configurer, créer, déployer et exécuter un workflow de jobs d'exportation dédié à chaque cas d'utilisation.

Nous vous recommandons de créer des workflows dédiés pour chaque cas d'utilisation. Bien que vous puissiez modifier et réexécuter un seul workflow, les workflows dédiés vous permettent de suivre plus facilement la date et les tâches que vous avez exportées pour la dernière fois, et de planifier des workflows pour exporter automatiquement vos tâches.

Le workflow d'exportation des tâches exporte les informations du job vers une table spécifiée dans un ensemble de données spécifié, qui sont automatiquement créés par le workflow s'ils n'existent pas déjà dans votre projet. Par défaut, le workflow d'exportation de jobs supprime les jobs exportés de Batch, mais vous pouvez éventuellement modifier le workflow d'exportation des jobs pour ne pas supprimer les jobs ;

Pour chaque workflow d'exportation de tâches que vous souhaitez utiliser, procédez comme suit :

1. Configurez la définition du workflow.
2. Créez et déployez le workflow.
3. Exécutez le workflow. Répétez cette étape chaque fois que vous souhaitez exporter les tâches spécifiées.

Configurer la définition du workflow

1. Téléchargez le export-to-bigquery-delete-batch-jobs.yaml de GitHub.

2. Ouvrez le fichier export-to-bigquery-delete-batch-jobs.yaml dans un éditeur de texte. Apportez ensuite les modifications suivantes:

   1. Remplacez sys.get_env("GOOGLE_CLOUD_PROJECT_ID") par l'ID de votre projet au format chaîne, par exemple "my-project-id".

   2. Remplacez sys.get_env("GOOGLE_CLOUD_LOCATION") par la région contenant les tâches que vous souhaitez exporter, au format chaîne (par exemple, "us-central1").

   3. (Facultatif) Modifiez les critères de filtrage qui spécifient les offres d'emploi à exporter.

      Par défaut, le workflow export-jobs spécifie les critères de filtre "(status.state:SUCCEEDED OR status.state:FAILED) AND create_time<=\"2023-05-01T00:00:00Z\"" Ces critères de filtrage par défaut n'exportent des informations que pour les tâches qui sont dans l'état SUCCEEDED ou FAILED et qui ont été créées avant ou à l'horodatage RFC 3339 2023-05-01T00:00:00Z.

   4. Facultatif: Remplacez default_dataset_id par un autre nom pour le que le workflow d'exportation de tâches doit utiliser ou créer.

   5. Facultatif : remplacez default_table_id par un autre nom de la table que vous souhaitez que le workflow d'exportation de tâches utilise ou crée.

   6. Si vous ne souhaitez pas que les tâches exportées soient supprimées par le workflow, procédez comme suit :

      Conseil :Si vous ne supprimez pas de jobs exportés, vous réexécutez les mêmes jobs d'exportation le workflow peut créer des lignes en double. Pour éviter cela, vous pouvez mettre à jour les critères de filtre create_time avant chaque nouvelle exécution afin de n'inclure que les tâches créées après l'exécution précédente. Pour savoir comment voir quand un workflow a été exécuté précédemment, consultez la section Accéder aux résultats d'exécution d'un workflow.

      1. Supprimez les lignes suivantes :

                 - log_delete_step:
                     call: sys.log
                     args:
                       text: ${"Deleting Batch job " + j.name}
                       severity: NOTICE
                 - delete_job:
                     call: googleapis.batch.v1.projects.locations.jobs.delete
                     args:
                       name: ${j.name}
         

      2. Supprimez + " and deleted".

   7. Enregistrez le fichier. Laissez le fichier ouvert.

Créer et déployer le workflow

1. Dans Google Cloud Console, accédez à la page Workflows :

   Accéder à "Workflows"

2. Sur la page Workflows (Workflows), cliquez sur Create (Créer).

3. Dans le champ Nom du workflow, saisissez un nom pour le workflow (par exemple, export-batch-jobs-us-central1).

4. Dans la liste Compte de service, sélectionnez le compte de service que vous avez préparé.

5. Cliquez sur Suivant.

6. Dans l'éditeur de workflow, remplacez l'exemple par le contenu de le fichier export-to-bigquery-delete-batch-jobs.yaml. Vous pouvez ensuite fermer le fichier.

7. Cliquez sur Déployer. La page Détails du workflow s'ouvre.

Exécuter le workflow

Conseil : Si vous souhaitez exécuter automatiquement le workflow export-jobs, consultez plutôt la section Planifier un workflow à l'aide de Cloud Scheduler dans la documentation Workflows. Par exemple, chaque job est automatiquement supprimé 60 jours après son achèvement, vous pouvez tout vos jobs (qui ne sont pas supprimés manuellement) en planifiant un ou plusieurs jobs d'exportation d'exporter et de supprimer des jobs tous les 59 jours.

1. Sur la page Détails du workflow, cliquez sur Exécuter. La page Exécuter le workflow s'ouvre.

2. Sur la page Exécuter le workflow qui s'affiche, cliquez sur Exécuter.

3. Sur la page Détails de l'exécution qui s'affiche, attendez que le workflow terminer son exécution. Par exemple, l'exécution pour exporter et supprimer quelques tâches prend généralement quelques secondes, mais elle peut prendre plus de temps si vous exportez et supprimez de nombreuses tâches.

   Une fois l'exécution du workflow terminée, le volet Output (Sortie) affiche les résultats.

Afficher les informations sur la tâche exportée

Cette section explique comment afficher les données de table créées par le workflow export-jobs. Par exemple, vous pouvez suivre les étapes ci-dessous pour vérifier que le workflow a bien été exécuté et parcourir les données du tableau. Pour en savoir plus sur comment afficher et utiliser les informations de votre job exporté, comme la rédaction de requêtes, consultez Gérer les données de table dans le dans la documentation BigQuery.

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le panneau Explorer, ouvrez le tableau des informations sur les tâches exportées :

   1. Dans le champ Rechercher des ressources BigQuery, saisissez le nom de la table de votre workflow d'exportation de tâches. Par exemple, la valeur par défaut nom de la table : default_table_id.
   2. Cliquez sur le nom de la table. La page "Détails de la table" s'ouvre.

   3. Sur la page "Détails de la table", cliquez sur l'onglet Details (Détails).

      Dans l'onglet Détails, notez le code temporel Dernière modification et le Nombre de lignes.

   4. Sur la page "Détails de la table", cliquez sur l'onglet Preview (Aperçu).

Étape suivante

• Apprenez-en davantage sur Workflows.
• Obtenez des informations supplémentaires sur BigQuery.
• Apprenez-en davantage sur Batch:
  • Afficher les tâches de votre projet
  • Supprimer des jobs
  • Créer une autre tâche