Gérer la préparation des données

Ce document explique comment gérer les préparations de données dans BigQuery, y compris comment déployer et planifier des préparations de données. Les préparations de données sont des ressources BigQuery fournies par Dataform.

Avant de commencer

Rôles requis

Pour vous assurer que le compte de service Dataform dispose des autorisations nécessaires pour préparer des données dans BigQuery, consultez les rôles requis pour les comptes de service Dataform.

Pour obtenir les autorisations nécessaires pour préparer des données dans BigQuery, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet:

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Afficher les préparations de données existantes

Pour afficher la liste des préparations de données existantes, procédez comme suit:

  1. Sur la page BigQuery Studio, accédez au volet Explorateur.
  2. Développez votre projet.
  3. Développez la liste Préparations des données.

Planifier des préparations de données

Vous pouvez créer des planifications dans l'éditeur de préparation des données et les gérer sur la page Orchestration de BigQuery.

Créer une programmation

Pour créer un planning qui exécute les étapes de préparation des données et charge les données préparées dans la table de destination, planifiez une exécution de préparation des données ponctuelle ou récurrente:

  1. Dans la barre d'outils de préparation des données, cliquez sur Planifier.
  2. Saisissez un nom de programmation.
  3. Saisissez le nom du compte de service associé à l'exécution.
  4. Définissez une fréquence.
  5. Cliquez sur Créer la programmation.

Afficher les plannings

Pour afficher toutes les planifications de préparation des données de votre projet, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Orchestration.

    Accéder à "Orchestration"

  2. Facultatif: Pour afficher les détails d'une programmation sélectionnée et de ses exécutions précédentes, cliquez sur le nom de la programmation.

Supprimer une programmation

Pour supprimer définitivement une programmation pour une préparation de données sélectionnée, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Orchestration.

    Accéder à "Orchestration"

  2. Sur la ligne contenant la planification, cliquez sur  Actions > Supprimer.

Optimiser la préparation des données en les traitant de manière incrémentielle

Pour configurer la manière dont vos données préparées sont écrites dans une table de destination, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page BigQuery Studio.

    Accéder à BigQuery

  2. Dans le volet Activité, sélectionnez votre préparation des données.

  3. Dans la barre d'outils de la préparation des données, sélectionnez Plus > Mode d'écriture.

  4. Sélectionnez l'une des options proposées. Pour en savoir plus, consultez la section Mode écriture.

  5. Cliquez sur Enregistrer.

Contribuer à améliorer les suggestions

Vous pouvez contribuer à améliorer les suggestions de Gemini en partageant avec Google les données de requête que vous envoyez aux fonctionnalités en mode Preview. Pour partager vos données de requête, procédez comme suit :

  1. Ouvrez l'éditeur de préparation des données dans BigQuery.
  2. Dans la barre d'outils de préparation des données, cliquez sur Paramètres Plus.
  3. Sélectionnez Partager des données pour améliorer Gemini dans BigQuery.

Les paramètres de partage des données s'appliquent à l'ensemble du projet et ne peuvent être définis que par un administrateur du projet disposant des autorisations IAM serviceusage.services.enable et serviceusage.services.list. Pour en savoir plus sur l'utilisation des données dans le programme Testeur de confiance, consultez la page Gemini dans le programme Testeur de confiance de Google Cloud.

Versions de préparation des données

Les préparations de données BigQuery ne permettent pas d'afficher, de comparer ni de restaurer les versions de préparation de données.

Pour obtenir la liste des versions de préparation des données par ordre chronologique, procédez comme suit:

  1. Sur la page BigQuery Studio, accédez au volet Explorateur.
  2. Sélectionnez votre préparation des données. Les versions sont listées dans l'onglet Activité du volet Explorer.

Télécharger une préparation de données

Pour télécharger une préparation de données dans un fichier YAML, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page BigQuery Studio.

    Accéder à BigQuery

  2. Dans le volet Explorer, développez votre projet et le dossier Préparation des données. Cliquez sur le nom de la préparation des données que vous souhaitez télécharger.

  3. Cliquez sur Télécharger. La préparation des données est enregistrée au format de fichier YAML (par exemple, NAME data preparation.dp.yaml).

Importer une préparation des données

Pour importer une préparation de données à partir d'un fichier YAML, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page BigQuery Studio.

    Accéder à BigQuery

  2. Dans le volet Explorateur, développez votre projet.

  3. Accédez au dossier Préparation des données, puis cliquez sur more_vert > Menu > Importer dans la préparation des données.

  4. Dans la boîte de dialogue Importer la préparation des données, sélectionnez un fichier à importer ou saisissez l'URL de la préparation des données.

  5. Attribuez un nom à la préparation des données.

  6. Sélectionnez un emplacement de préparation des données où les ressources sont gérées et stockées.

  7. Cliquez sur Importer.

Étape suivante