Informations sur la tâche d'exportation

Cette page explique comment exporter les informations de vos tâches stockées dans Batch vers une table BigQuery à l'aide de workflows. Plus précisément, découvrez comment exécuter l'exemple de workflow export-jobs et afficher les informations de tâche générées dans BigQuery.

L'exportation des informations d'une tâche est utile lorsque vous souhaitez conserver les informations après la suppression automatique ou manuelle d'une tâche ou analyser les informations en dehors de Batch. Si vous souhaitez n'exporter que les informations sur les changements d'état des tâches et des jobs vers BigQuery, consultez plutôt Surveiller les jobs à l'aide de notifications.

Pour savoir comment exporter les informations de tâche stockées dans d'autres servicesGoogle Cloud , consultez la documentation d'exportation de ce service. Par exemple, consultez les pages suivantes:

• Exporter les journaux Cloud Logging
• Exporter des métriques Cloud Monitoring

Remarque :Les workflows et BigQuery sont des produitsGoogle Cloud distincts qui ont leur propre tarification. Pour en savoir plus, consultez les pages Tarifs des workflows et Tarifs de BigQuery.

Avant de commencer

1. Si vous n'avez jamais utilisé Batch, consultez Premiers pas avec Batch et activez Batch en remplissant les conditions préalables pour les projets et les utilisateurs.

2. Enable the BigQuery and Workflows APIs.

   Enable the APIs

3. Facultatif: Identifiez un ensemble de données ou une table BigQuery existant dans votre projet dans lequel vous souhaitez stocker les informations sur le job. Une table existante doit avoir un schéma correspondant.

   Sinon, vous pouvez utiliser le workflow d'exportation des tâches pour créer un ensemble de données ou un tableau.

4. Préparez un compte de service pour le workflow d'exportation des tâches en procédant comme suit:

   1. Créez un compte de service ou identifiez un compte de service existant.

   2. Pour vous assurer que le compte de service dispose des autorisations nécessaires pour exécuter le workflow d'exportation des jobs, demandez à votre administrateur d'accorder au compte de service les rôles IAM suivants sur le projet:

      Important:Vous devez attribuer ces rôles au compte de service, et non à votre compte utilisateur. Si vous n'attribuez pas les rôles au bon compte principal, vous risquez de rencontrer des erreurs d'autorisation.
      • Écrire des journaux : Rédacteur de journaux (roles/logging.logWriter)
      • Créer et modifier des ensembles de données et des tables BigQuery : Administrateur BigQuery (roles/bigquery.admin)
      • Afficher et supprimer des tâches par lot : Éditeur de tâches par lot (roles/batch.jobsEditor)

      Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

      Votre administrateur peut également attribuer au compte de service les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

5. Pour obtenir les autorisations nécessaires pour créer, déployer et exécuter le workflow d'exportation de jobs, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet:

   • Afficher les tâches : Lecteur de tâches par lot (roles/batch.jobsViewer)
   • Afficher les comptes de service : Afficher les comptes de service (roles/iam.serviceAccountViewer)
   • Afficher des ensembles de données et des tables BigQuery : Lecteur de données BigQuery (roles/bigquery.dataViewer)
   • Créer, déployer et exécuter des workflows : Éditeur de workflows (roles/workflows.editor)

6. Assurez-vous que les utilisateurs de votre projet peuvent afficher les informations sur les tâches exportées.

   Pour vous assurer qu'un utilisateur dispose des autorisations nécessaires pour exporter des informations sur les jobs, demandez à votre administrateur de lui accorder le rôle IAM Lecteur de données BigQuery (roles/bigquery.dataViewer) sur la table, l'ensemble de données ou le projet.

   Remarque:Vous ne pouvez accorder l'accès qu'à des ressources existantes. Sauf si vous prévoyez d'exporter les informations de la tâche vers une table ou un ensemble de données préexistants, vous devez accorder cet accès au projet ou après avoir exporté les informations de la tâche.

Informations sur la tâche d'exportation

Cette section explique comment exporter des informations sur les tâches à l'aide du workflow export-jobs, qui provient de l'exemple de code export-to-bigquery. Le workflow export-jobs exporte les informations des tâches de votre projet situées dans la région spécifiée et répondant aux critères de filtrage spécifiés.

Important:Le workflow export-jobs ne peut exporter les informations sur les offres d'emploi que d'une région à la fois. Si vous souhaitez exporter des informations pour des tâches dans plusieurs régions ou plusieurs sous-ensembles d'une région, configurez, créez, déployez et exécutez un workflow d'exportation de tâches dédié pour chaque cas d'utilisation.

Nous vous recommandons de créer des workflows dédiés pour chaque cas d'utilisation. Bien que vous puissiez modifier et réexécuter un workflow, les workflows dédiés vous permettent de suivre plus facilement la date et l'heure de la dernière exportation de vos tâches, et de planifier des workflows pour exporter automatiquement vos tâches.

Le workflow export-jobs exporte les informations sur les jobs vers un tableau spécifié dans un ensemble de données spécifié, qui sont automatiquement créés par le workflow s'ils n'existent pas déjà dans votre projet. Par défaut, le workflow export-jobs supprime également les jobs exportés de Batch, mais vous pouvez éventuellement modifier le workflow export-jobs pour ne pas supprimer les jobs.

Pour chaque workflow d'exportation de tâches que vous souhaitez utiliser, procédez comme suit:

1. Configurez la définition du workflow.
2. Créez et déployez le workflow.
3. Exécutez le workflow. Répétez cette étape chaque fois que vous souhaitez exporter les tâches spécifiées.

Configurer la définition du workflow

1. Téléchargez le fichier export-to-bigquery-delete-batch-jobs.yaml sur GitHub.

2. Ouvrez le fichier export-to-bigquery-delete-batch-jobs.yaml dans un éditeur de texte. Ensuite, apportez les modifications suivantes:

   1. Remplacez sys.get_env("GOOGLE_CLOUD_PROJECT_ID") par votre ID de projet au format chaîne, par exemple "my-project-id".

   2. Remplacez sys.get_env("GOOGLE_CLOUD_LOCATION") par la région contenant les tâches que vous souhaitez exporter, au format chaîne (par exemple, "us-central1").

   3. Facultatif: modifiez les critères de filtrage qui spécifient les tâches à exporter.

      Par défaut, le workflow export-jobs spécifie les critères de filtrage "(status.state:SUCCEEDED OR status.state:FAILED) AND create_time<=\"2023-05-01T00:00:00Z\"". Ces critères de filtrage par défaut n'exportent des informations que pour les tâches qui sont dans l'état SUCCEEDED ou FAILED et qui ont été créées avant ou à l'horodatage RFC 3339 2023-05-01T00:00:00Z.

   4. Facultatif: remplacez default_dataset_id par un autre nom pour le jeu de données que vous souhaitez que le workflow export-jobs utilise ou crée.

   5. Facultatif: remplacez default_table_id par un autre nom de la table que vous souhaitez que le workflow d'exportation de tâches utilise ou crée.

   6. Si vous ne souhaitez pas que les tâches exportées soient supprimées par le workflow, procédez comme suit:

      Conseil :Si vous ne supprimez pas les tâches exportées, la réexécution du même workflow d'exportation de tâches peut créer des lignes en double. Pour éviter cela, vous pouvez mettre à jour les critères de filtre create_time avant chaque nouvelle exécution afin de n'inclure que les tâches créées après l'exécution précédente. Pour savoir comment voir quand un workflow a été exécuté précédemment, consultez la section Accéder aux résultats d'exécution d'un workflow.

      1. Supprimez les lignes suivantes:

                 - log_delete_step:
                     call: sys.log
                     args:
                       text: ${"Deleting Batch job " + j.name}
                       severity: NOTICE
                 - delete_job:
                     call: googleapis.batch.v1.projects.locations.jobs.delete
                     args:
                       name: ${j.name}
         

      2. Supprimez + " and deleted".

   7. Enregistrez le fichier. Laissez le fichier ouvert.

Créer et déployer le workflow

1. Dans Google Cloud Console, accédez à la page Workflows :

   Accéder à "Workflows"

2. Sur la page Workflows (Workflows), cliquez sur Create (Créer).

3. Dans le champ Nom du workflow, saisissez un nom pour le workflow (par exemple, export-batch-jobs-us-central1).

4. Dans la liste Compte de service, sélectionnez le compte de service que vous avez préparé.

5. Cliquez sur Suivant.

6. Dans l'éditeur de workflow, remplacez l'exemple de workflow par le contenu du fichier export-to-bigquery-delete-batch-jobs.yaml. Vous pouvez ensuite fermer le fichier.

7. Cliquez sur Déployer. La page Détails du workflow s'ouvre.

Exécuter le workflow

Conseil :Si vous souhaitez exécuter automatiquement le workflow d'exportation des tâches, consultez plutôt la section Planifier un workflow à l'aide de Cloud Scheduler dans la documentation Workflows. Par exemple, comme chaque tâche est automatiquement supprimée 60 jours après sa fin, vous pouvez exporter toutes vos tâches (qui ne sont pas supprimées manuellement) en planifiant un ou plusieurs workflows d'exportation de tâches pour exporter et supprimer les tâches tous les 59 jours.

1. Sur la page Détails du workflow, cliquez sur Exécuter. La page Exécuter le workflow s'ouvre.

2. Sur la page Exécuter le workflow qui s'affiche, cliquez sur Exécuter.

3. Sur la page Détails de l'exécution qui s'ouvre, attendez que l'exécution du workflow soit terminée. Par exemple, le temps d'exécution pour exporter et supprimer quelques tâches prend généralement quelques secondes, mais l'exécution peut prendre plus de temps si vous exportez et supprimez de nombreuses tâches.

   Une fois l'exécution du workflow terminée, le volet Output (Sortie) affiche les résultats.

Afficher les informations sur la tâche exportée

Cette section explique comment afficher les données de table créées par le workflow export-jobs. Par exemple, vous pouvez suivre les étapes ci-dessous pour vérifier que le workflow a bien été exécuté et parcourir les données du tableau. Pour savoir comment afficher et utiliser les informations de vos tâches exportées, comme écrire des requêtes, consultez la section Gérer les données de table dans la documentation BigQuery.

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le panneau Explorer, ouvrez le tableau contenant les informations sur votre tâche exportée:

   1. Dans le champ Rechercher des ressources BigQuery, saisissez le nom de la table de votre workflow d'exportation de tâches. Par exemple, le nom de table par défaut est default_table_id.
   2. Cliquez sur le nom de la table. La page des détails de la table s'ouvre.

   3. Sur la page "Détails de la table", cliquez sur l'onglet Details (Détails).

      Dans l'onglet Détails, notez le code temporel Dernière modification et le Nombre de lignes.

   4. Sur la page "Détails de la table", cliquez sur l'onglet Preview (Aperçu).

Étape suivante

• Apprenez-en davantage sur Workflows.
• Obtenez des informations supplémentaires sur BigQuery.
• En savoir plus sur le traitement par lot :
  • Afficher les tâches de votre projet
  • Supprimer des jobs
  • Créer une autre tâche