Usa la plantilla de flujo de cambios de Bigtable a BigQuery

En esta guía de inicio rápido, aprenderás cómo configurar una tabla de Bigtable con un flujo de cambios habilitado, ejecutar una de flujos de cambios, realizar cambios en la tabla y, luego, ver los cambios transmitirse.

Antes de comenzar

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, and BigQuery APIs.

    Enable the APIs

  4. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

Crea un conjunto de datos de BigQuery

Usa la consola de Google Cloud para crear un conjunto de datos que almacene los datos.

  1. En la consola de Google Cloud, ve a la página de BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, haz clic en el nombre de tu proyecto.

  3. Expande la opción Acciones y haz clic en Crear conjunto de datos.

  4. En la página Crear conjunto de datos, haz lo siguiente:

    1. En ID del conjunto de datos, ingresa bigtable_bigquery_quickstart.
    2. Deja la configuración predeterminada restante como está y haz clic en Crear conjunto de datos.

Crea una tabla con una transmisión de cambios habilitada

  1. En la consola de Google Cloud, ve a la página Instancias de Bigtable.

    Ir a Instancias

  2. Haz clic en el ID de la instancia que usas para esta guía de inicio rápido.

    Si no tienes una instancia disponible, crea una con la configuración parámetros de configuración de una región cercana a ti.

  3. En el panel de navegación izquierdo, haz clic en Tablas.

  4. Haz clic en Crea una tabla.

  5. Asigna el nombre bigquery-changestream-quickstart a la tabla.

  6. Agrega una familia de columnas llamada cf.

  7. Selecciona Habilitar flujo de cambios.

  8. Haz clic en Crear.

  9. En la página Tablas de Bigtable, busca tu tabla. bigquery-changestream-quickstart

  10. En la columna Flujo de cambios, haz clic en Conectar.

  11. En el cuadro de diálogo, selecciona BigQuery.

  12. Haz clic en Crear trabajo de Dataflow.

  13. En los campos de parámetros proporcionados, ingresa los valores de tus parámetros. No debes proporcionar cualquier parámetro opcional.

    1. Establece el ID de perfil de aplicación de Bigtable en default.
    2. Establece el conjunto de datos de BigQuery en bigtable_bigquery_quickstart

  14. Haga clic en Ejecutar trabajo.

  15. Espera hasta que el estado del trabajo sea Iniciando o En ejecución antes de continuar. Tarda alrededor de 5 minutos una vez que la tarea está en cola.

  16. Mantén el trabajo abierto en una pestaña para que puedas detenerlo cuando realices la limpieza tus recursos.

Cómo escribir algunos datos en Bigtable

  1. En Cloud Shell, escribe algunas filas en Bigtable para que las el registro de cambios puede escribir algunos datos en BigQuery. Siempre y cuando escribas los datos una vez creado el trabajo, aparecerán los cambios. No tienes que esperar a que el estado del trabajo sea running.

    cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user123 cf:col1=abc
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user546 cf:col1=def
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user789 cf:col1=ghi

    Reemplaza lo siguiente:

    • PROJECT_ID: Es el ID del proyecto que estás usando.
    • BIGTABLE_INSTANCE_ID: Es el ID de la instancia que contiene la tabla bigquery-changestream-quickstart.

Consulta los registros de cambios en BigQuery

  1. En la consola de Google Cloud, ve a la página de BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y el conjunto de datos bigtable_bigquery_quickstart.

  3. Haz clic en la tabla bigquery-changestream-quickstart_changelog.

  4. Para ver el registro de cambios, haz clic en Vista previa.

    Cambia la vista previa del registro en BigQuery

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

  1. Inhabilita el flujo de cambios en la tabla:

    gcloud bigtable instances tables update bigquery-changestream-quickstart \
--project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

  2. Borra la tabla bigquery-changestream-quickstart:

    cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart

  3. Detén la canalización del flujo de cambios:

    1. En la consola de Google Cloud, ve a la página Trabajos de Dataflow.

      Ir a Trabajos

    2. Selecciona tu trabajo de transmisión en la lista de trabajos.

    3. En la navegación, haz clic en Detener.

    4. En el diálogo Detener trabajo, selecciona Cancelar y, luego, haz clic en Detener trabajo.

  4. Borra el conjunto de datos de BigQuery:

    1. En la consola de Google Cloud, ve a la página de BigQuery.

      Ir a BigQuery

    2. En el panel Explorador, busca el conjunto de datos bigtable_bigquery_quickstart y haz clic en él.

    3. Haz clic en Borrar, escribe delete y, luego, haz clic en Borrar para confirmar.

  5. Borra la instancia si creaste una nueva para esta guía de inicio rápido (opcional):

    cbt deleteinstance BIGTABLE_INSTANCE_ID

¿Qué sigue?