Usa la plantilla del flujo de cambios de Bigtable a BigQuery

En esta guía de inicio rápido, aprenderás a configurar una tabla de Bigtable con un flujo de cambios habilitado, ejecutar una canalización de flujo de cambios, realizar cambios en tu tabla y, luego, ver los cambios transmitidos.

Antes de comenzar

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

  3. Habilita las API de Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, and BigQuery.

    Habilita las API

  4. En la consola de Google Cloud, activa Cloud Shell.

    Activar Cloud Shell

Crea un conjunto de datos de BigQuery

Usa la consola de Google Cloud para crear un conjunto de datos que almacene los datos.

  1. En la consola de Google Cloud, ve a la página de BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, haz clic en el nombre de tu proyecto.

  3. Expande la opción Acciones y haz clic en Crear conjunto de datos.

  4. En la página Crear conjunto de datos, haz lo siguiente:

    1. En ID del conjunto de datos, ingresa bigtable_bigquery_quickstart.
    2. Deja la configuración predeterminada restante como está y haz clic en Crear conjunto de datos.

Crea una tabla con un flujo de cambios habilitado

  1. En la consola de Google Cloud, ve a la página Instancias de Bigtable.

    Ir a Instancias

  2. Haz clic en el ID de la instancia que estás usando para esta guía de inicio rápido.

    Si no tienes una instancia disponible, crea una instancia con la configuración predeterminada en una región cercana.

  3. En el panel de navegación izquierdo, haz clic en Tablas.

  4. Haz clic en Crea una tabla.

  5. Asígnale el nombre bigquery-changestream-quickstart a la tabla.

  6. Agrega una familia de columnas llamada cf.

  7. Selecciona Habilitar flujo de cambios.

  8. Haz clic en Crear.

  9. En la página Tablas de Bigtable, busca la tabla bigquery-changestream-quickstart.

  10. En la columna Flujo de cambios, haz clic en Conectar.

  11. En el cuadro de diálogo, selecciona BigQuery.

  12. Haz clic en Crear trabajo de Dataflow.

  13. En los campos de parámetros proporcionados, ingresa los valores de tus parámetros. No necesitas proporcionar ningún parámetro opcional.

    1. Establece el ID de perfil de aplicación de Bigtable en default.
    2. Establece el conjunto de datos de BigQuery en bigtable_bigquery_quickstart.

  14. Haga clic en Ejecutar trabajo.

  15. Espera hasta que el estado del trabajo sea Iniciando o En ejecución antes de continuar. El trabajo tarda alrededor de 5 minutos en poner en cola.

  16. Mantén el trabajo abierto en una pestaña para que puedas detenerlo cuando limpies tus recursos.

Escribe algunos datos en Bigtable

  1. En Cloud Shell, escribe algunas filas en Bigtable para que el registro de cambios pueda escribir algunos datos en BigQuery. Siempre que escribas los datos después de crear el trabajo, aparecerán los cambios. No tienes que esperar a que el estado del trabajo se convierta en running.

    cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user123 cf:col1=abc
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user546 cf:col1=def
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user789 cf:col1=ghi

    Reemplaza lo siguiente:

    • PROJECT_ID: Es el ID del proyecto que estás usando.
    • BIGTABLE_INSTANCE_ID: El ID de la instancia que contiene la tabla bigquery-changestream-quickstart

Consulta los registros de cambios en BigQuery

  1. En la consola de Google Cloud, ve a la página de BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y el conjunto de datos bigtable_bigquery_quickstart.

  3. Haz clic en la tabla bigquery-changestream-quickstart_changelog.

  4. Para ver el registro de cambios, haz clic en Vista previa.

    Cambia la vista previa del registro en BigQuery

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que se usaron en esta página.

  1. Inhabilita el flujo de cambios en la tabla:

    gcloud bigtable instances tables update bigquery-changestream-quickstart \
--project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

  2. Borra la tabla bigquery-changestream-quickstart:

    cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart

  3. Detén la canalización del flujo de cambios:

    1. En la consola de Google Cloud, ve a la página Trabajos de Dataflow.

      Ir a Trabajos

    2. Selecciona tu trabajo de transmisión en la lista de trabajos.

    3. En la navegación, haz clic en Detener.

    4. En el cuadro de diálogo Detener trabajo, selecciona Cancelar y, luego, haz clic en Detener trabajo.

  4. Borra el conjunto de datos de BigQuery:

    1. En la consola de Google Cloud, ve a la página de BigQuery.

      Ir a BigQuery

    2. En el panel Explorador, busca el conjunto de datos bigtable_bigquery_quickstart y haz clic en él.

    3. Haz clic en Borrar, escribe delete y, luego, haz clic en Borrar para confirmar.

  5. Borra la instancia si creaste una nueva para esta guía de inicio rápido (opcional):

    cbt deleteinstance BIGTABLE_INSTANCE_ID

¿Qué sigue?