Transmite cambios a Pub/Sub con el activador opcional de funciones de Cloud Run

---

En este instructivo, se muestra cómo usar la plantilla Bigtable change streams to Pub/Sub, incluida la configuración de un tema y la plantilla. De manera opcional, puedes crear una función de Cloud Run, en el lenguaje de programación que elijas, que se active con el flujo de eventos.

Este instructivo está dirigido a usuarios técnicos que estén familiarizados con Bigtable, la escritura de código y los servicios de transmisión de eventos.

Objetivos

En este instructivo, se muestra cómo realizar lo siguiente:

• Crea una tabla de Bigtable con un flujo de cambios habilitado.
• Crea un tema de Pub/Sub con el esquema del flujo de cambios de Bigtable.
• Implementa un flujo de cambios de Bigtable en una canalización de Pub/Sub en Dataflow con la plantilla.
• Consulta el flujo de eventos en Pub/Sub directamente o en los registros de una función de Cloud Run.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• Bigtable
• Compute Engine
• Dataflow
• Cloud Run functions
• Pub/Sub
• Cloud Storage

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Cuando finalices las tareas que se describen en este documento, puedes borrar los recursos que creaste para evitar que continúe la facturación. Para obtener más información, consulta Cómo realizar una limpieza.

Antes de comenzar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

   Enable the APIs

8. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

9. Instala y actualiza la CLI de cbt.

   gcloud components update
   gcloud components install cbt

Crea un tema de Pub/Sub

1. En la consola de Google Cloud, ve a la página Temas de Pub/Sub.

   Ir a temas

2. Haz clic en Crear tema.

3. Establece el ID como bigtable-change-stream-topic.

4. Selecciona Usar un esquema.

5. En el menú desplegable Selecciona un esquema de Pub/Sub, haz clic en Crear esquema nuevo. Se abrirá una pestaña nueva en la que definirás el esquema.

   1. Establece el ID del esquema en bigtable-change-stream-schema.
   2. Establece el tipo de esquema en Avro.
   3. Pega lo siguiente como la definición del esquema. Puedes encontrar más información sobre el esquema en la página de documentación de la plantilla.

     {
         "name" : "ChangelogEntryMessage",
         "type" : "record",
         "namespace" : "com.google.cloud.teleport.bigtable",
         "fields" : [
           { "name" : "rowKey", "type" : "bytes"},
           {
             "name" : "modType",
             "type" : {
               "name": "ModType",
               "type": "enum",
               "symbols": ["SET_CELL", "DELETE_FAMILY", "DELETE_CELLS", "UNKNOWN"]}
           },
           { "name": "isGC", "type": "boolean" },
           { "name": "tieBreaker", "type": "int"},
           { "name": "columnFamily", "type": "string"},
           { "name": "commitTimestamp", "type" : "long"},
           { "name" : "sourceInstance", "type" : "string"},
           { "name" : "sourceCluster", "type" : "string"},
           { "name" : "sourceTable", "type" : "string"},
           { "name": "column", "type" : ["null", "bytes"]},
           { "name": "timestamp", "type" : ["null", "long"]},
           { "name": "timestampFrom", "type" : ["null", "long"]},
           { "name": "timestampTo", "type" : ["null", "long"]},
           { "name" : "value", "type" : ["null", "bytes"]}
       ]
     }
   

   1. Haz clic en Crear para crear el esquema.

6. Cierra la pestaña Create schema, actualiza la lista de esquemas y selecciona el esquema que acabas de definir.

7. Haz clic en Crear para crear el tema.

Opcional: Crea una función de Cloud Run

Te recomendamos que proceses el flujo de Pub/Sub con una función de Cloud Run.

1. En la página Detalles del tema bigtable-change-stream-topic, haz clic en Activar Cloud Function .
2. En el campo Nombre de la función, ingresa el nombre bt-ps-tutorial-function.
3. En la sección Código fuente, haz clic en el menú desplegable Entorno de ejecución y, luego, selecciona el entorno de ejecución y el lenguaje de programación que elijas. Se genera un hello world que imprime el flujo de cambios a medida que llega. Consulta la documentación para obtener más información sobre cómo escribir funciones de Cloud Run.
4. Usa los valores predeterminados para todos los demás campos.
5. Haz clic en Implementar función.

Crea una tabla con una transmisión de cambios habilitada

1. En la consola de Google Cloud, ve a la página Instancias de Bigtable.

   Ir a Instancias

2. Haz clic en el ID de la instancia que usas para este instructivo.

   Si no tienes una instancia disponible, crea una con la configuración predeterminada en una región cercana.

3. En el panel de navegación izquierdo, haz clic en Tablas.

4. Haz clic en Crea una tabla.

5. Asigna el nombre change-streams-pubsub-tutorial a la tabla.

6. Agrega una familia de columnas llamada cf.

7. Selecciona Habilitar el flujo de cambios.

8. Haz clic en Crear.

Inicializa una canalización de datos para capturar el flujo de cambios

1. En la página Tablas de Bigtable, busca tu tabla change-streams-pubsub-tutorial.
2. En la columna Change stream, haz clic en Conectar.
3. En el diálogo, selecciona Pub/Sub.
4. Haz clic en Crear trabajo de Dataflow.
5. En la página Crear trabajo de Dataflow, establece el nombre del tema de Pub/Sub de salida en bigtable-change-stream-topic.
6. Establece el ID del perfil de aplicación de Bigtable en default.
7. Haga clic en Ejecutar trabajo.
8. Espera hasta que el estado del trabajo sea Starting o Running antes de continuar. Tarda alrededor de 5 minutos una vez que la tarea está en cola.

Cómo escribir algunos datos en Bigtable

1. En Cloud Shell, escribe algunas filas en Bigtable para que el registro de cambios pueda escribir algunos datos en el flujo de Pub/Sub. Los cambios aparecerán siempre que escribas los datos después de crear el trabajo. No tienes que esperar a que el estado del trabajo sea running.

   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user123 cf:col1=abc
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user546 cf:col1=def
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user789 cf:col1=ghi
   

Consulta los registros de cambios en Pub/Sub

1. En la consola de Google Cloud, ve a la página Suscripciones de Pub/Sub.

   Ir a Suscripciones

2. Haz clic en la suscripción creada automáticamente para tu tema bigtable-change-stream-topic. Debería llamarse bigtable-change-stream-topic-sub.

3. Ve a la pestaña Mensajes.

4. Haz clic en Extraer.

5. Explora la lista de mensajes y consulta los datos que escribiste.

   

Opcional: Visualiza los cambios en los registros de las funciones de Cloud Run

Si creaste una función de Cloud Run Functions, puedes ver los cambios en los registros.

1. En la consola de Google Cloud, ve a Funciones de Cloud Run.

   Ve a las funciones de Cloud Run

2. Haz clic en tu función bt-ps-tutorial-function.

3. Ve a la pestaña Registros.

4. Asegúrate de que Gravedad esté configurada como mínimo en Info para que puedas ver los registros.

5. Explora los registros y consulta los datos que escribiste.

El resultado es similar al siguiente:

Pub/Sub message: {"rowKey":"user789","modType":"SET_CELL","isGC":false,"tieBreaker":0,"columnFamily":"cf","commitTimestamp":1695653833064548,"sourceInstance":"YOUR-INSTANCE","sourceCluster":"YOUR-INSTANCE-c1","sourceTable":"change-streams-pubsub-tutorial","column":{"bytes":"col1"},"timestamp":{"long":1695653832278000},"timestampFrom":null,"timestampTo":null,"value":{"bytes":"ghi"}}

Limpia

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Borra la tabla de Bigtable

1. En la consola de Google Cloud, ve a la página Instancias de Bigtable.

   Ir a Instancias

2. Haz clic en el ID de la instancia que usas para este instructivo.

3. En el panel de navegación izquierdo, haz clic en Tablas.

4. Busca la tabla change-streams-pubsub-tutorial.

5. Haz clic en Editar.

6. Borra la opción Habilitar el flujo de cambios.

7. Haz clic en Guardar.

8. Abre el menú ampliado de la tabla.

9. Haz clic en Borrar y, luego, ingresa el nombre de la tabla para confirmar.

Detén la canalización de flujos de cambios

1. En la consola de Google Cloud, ve a la página Trabajos de Dataflow.

   Ir a Trabajos

2. Selecciona tu trabajo de transmisión en la lista de trabajos.

3. En la navegación, haz clic en Detener.

4. En el diálogo Detener trabajo, cancela tu canalización y, luego, haz clic en Detener trabajo.

Borra el tema y la suscripción de Pub/Sub

1. En la consola de Google Cloud, ve a la página Temas de Pub/Sub.

   Ir a temas

2. Selecciona el tema bigtable-change-stream-topic.

3. Haz clic en Borrar y confirma tu decisión.

4. Haz clic en Suscripciones en la barra lateral.

5. Selecciona la suscripción a bigtable-change-stream-topic-sub.

6. Haz clic en Borrar y confirma tu decisión.

Borra la Cloud Run Function

1. En la consola de Google Cloud, ve a Funciones de Cloud Run.

   Ve a las funciones de Cloud Run

2. Selecciona la función bt-ps-tutorial-function.

3. Haz clic en Borrar y confirma tu decisión.

¿Qué sigue?

• Lee la documentación de los flujos de cambios.
• Obtén más información para escribir funciones orientadas a eventos con Cloud Run Functions.