Utiliser le modèle de flux de modifications Bigtable vers BigQuery

Dans ce guide de démarrage rapide, vous allez apprendre à configurer une table Bigtable avec un flux de modifications activé, à exécuter un pipeline de flux de modifications, à apporter des modifications à votre table, puis à voir les modifications diffusées.

Avant de commencer

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, and BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  4. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    Créer un ensemble de données BigQuery

    Utilisez la console Google Cloud pour créer un ensemble de données destiné à stocker les données.

    1. Dans la console Google Cloud , accédez à la page "BigQuery".

      Accéder à BigQuery

    2. Dans le volet Explorateur, cliquez sur le nom de votre projet.

    3. Développez l'option Actions, puis cliquez sur Créer un ensemble de données.

    4. Sur la page Créer un ensemble de données, procédez comme suit :

      1. Dans le champ ID de l'ensemble de données, saisissez bigtable_bigquery_quickstart.
      2. Conservez les autres paramètres par défaut, puis cliquez sur Créer un ensemble de données.

    Créer une table avec un flux de modifications activé

    1. Dans la console Google Cloud , accédez à la page Instances Bigtable.

      Accéder à la page "Instances"

    2. Cliquez sur l'ID de l'instance que vous utilisez pour ce guide de démarrage rapide.

      Si vous n'avez pas d'instance disponible, créez-en une avec les configurations par défaut dans une région proche de vous.

    3. Dans le volet de navigation de gauche, cliquez sur Tables.

    4. Cliquez sur Créer une table.

    5. Nommez la table bigquery-changestream-quickstart.

    6. Ajoutez une famille de colonnes nommée cf.

    7. Sélectionnez Activer le flux de modifications.

    8. Cliquez sur Créer.

    9. Sur la page Tables de Bigtable, recherchez votre table bigquery-changestream-quickstart.

    10. Dans la colonne Flux de modifications, cliquez sur Connecter.

    11. Dans la boîte de dialogue, sélectionnez BigQuery.

    12. Cliquez sur Créer un job Dataflow.

    13. Dans les champs fournis, saisissez vos valeurs de paramètres. Vous n'avez pas besoin de fournir de paramètres facultatifs.

      1. Définissez l'ID du profil d'application Bigtable sur default.
      2. Définissez l'ensemble de données BigQuery sur bigtable_bigquery_quickstart.

    14. Cliquez sur Run Job (Exécuter la tâche).

    15. Attendez que l'état du job soit Démarrage ou En cours d'exécution avant de continuer. Une fois le job mis en file d'attente, il faut environ cinq minutes pour qu'il soit exécuté.

    16. Laissez le job ouvert dans un onglet pour pouvoir l'arrêter lorsque vous nettoierez vos ressources.

    Écrire des données dans Bigtable

    1. Dans Cloud Shell, écrivez quelques lignes dans Bigtable afin que le journal des modifications puisse écrire des données dans BigQuery. Tant que vous écrivez les données après la création du job, les modifications apparaissent. Vous n'avez pas besoin d'attendre que l'état du job devienne running.

      cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user123 cf:col1=abc
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user546 cf:col1=def
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user789 cf:col1=ghi

      Remplacez les éléments suivants :

      • PROJECT_ID : ID du projet que vous utilisez
      • BIGTABLE_INSTANCE_ID : ID de l'instance contenant la table bigquery-changestream-quickstart

    Afficher les journaux des modifications dans BigQuery

    1. Dans la console Google Cloud , accédez à la page BigQuery.

      Accéder à BigQuery

    2. Dans le volet Explorateur, développez votre projet et l'ensemble de données bigtable_bigquery_quickstart.

    3. Cliquez sur la table bigquery-changestream-quickstart_changelog.

    4. Pour afficher le journal des modifications, cliquez sur Aperçu.

      Aperçu du journal des modifications dans BigQuery

    Effectuer un nettoyage

    Pour éviter que les ressources utilisées dans cette démonstration soient facturées sur votre compte Google Cloud , procédez comme suit :

    1. Désactivez le flux de modifications sur la table :

      gcloud bigtable instances tables update bigquery-changestream-quickstart \
--project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

    2. Supprimez la table bigquery-changestream-quickstart :

      cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart

    3. Arrêtez le pipeline de flux de modifications :

      1. Dans la console Google Cloud , accédez à la page Tâches Dataflow.

        Accéder aux tâches

      2. Sélectionnez votre tâche de traitement par flux dans la liste des tâches.

      3. Dans la barre de navigation, cliquez sur Arrêter.

      4. Dans la boîte de dialogue Arrêter la tâche, sélectionnez Annuler, puis cliquez sur Arrêter la tâche.

    4. Supprimez l'ensemble de données BigQuery :

      1. Dans la console Google Cloud , accédez à la page "BigQuery".

        Accéder à BigQuery

      2. Dans le panneau Explorateur, recherchez l'ensemble de données bigtable_bigquery_quickstart et cliquez dessus.

      3. Cliquez sur Supprimer, saisissez delete, puis cliquez sur Supprimer pour confirmer.

    5. Facultatif : Supprimez l'instance si vous en avez créé une pour ce démarrage rapide :

      cbt deleteinstance BIGTABLE_INSTANCE_ID

    Étapes suivantes