Transmitir alterações para o Pub/Sub usando o acionador opcional da função do Cloud Run

---

Neste tutorial, mostramos como usar o modelo de fluxos de alterações do Bigtable para o Pub/Sub, incluindo como definir um tópico e configurar o modelo. Também é possível criar uma função do Cloud Run no linguagem de programação de sua escolha, que é acionada pelo fluxo de eventos.

Este tutorial é destinado a usuários técnicos familiarizados com o Bigtable, a escrita de código e os serviços de streaming de eventos.

Objetivos

Este tutorial mostra como fazer o seguinte:

• Criar uma tabela do Bigtable com um fluxo de alterações ativado
• Criar um tópico do Pub/Sub com o esquema de fluxo de alterações do Bigtable.
• Implantar um fluxo de alterações do Bigtable em um pipeline do Pub/Sub no Dataflow usando o modelo.
• Acesse o fluxo de eventos no Pub/Sub diretamente ou nos registros de uma função do Cloud Run.

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

• Bigtable
• Compute Engine
• Dataflow
• Cloud Run functions
• Pub/Sub
• Cloud Storage

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Ao concluir as tarefas descritas neste documento, é possível evitar o faturamento contínuo excluindo os recursos criados. Saiba mais em Limpeza.

Antes de começar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

   Enable the APIs

8. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

9. Atualize e instale a CLI cbt .

   gcloud components update
   gcloud components install cbt

Criar um tópico do Pub/Sub

1. No console do Google Cloud, acesse a página Tópicos do Pub/Sub.

   Acesse Tópicos

2. Selecione Criar tópico.

3. Defina o ID como bigtable-change-stream-topic.

4. Selecione Usar um esquema.

5. No menu suspenso Selecionar um esquema do Pub/Sub, clique em Criar novo esquema. Isso abre uma nova guia para definir o esquema.

   1. Defina o ID do esquema como bigtable-change-stream-schema.
   2. Defina o tipo de esquema como Avro.
   3. Cole o código abaixo como a definição do esquema. Mais informações sobre o esquema podem ser encontradas na página de documentação do modelo.

     {
         "name" : "ChangelogEntryMessage",
         "type" : "record",
         "namespace" : "com.google.cloud.teleport.bigtable",
         "fields" : [
           { "name" : "rowKey", "type" : "bytes"},
           {
             "name" : "modType",
             "type" : {
               "name": "ModType",
               "type": "enum",
               "symbols": ["SET_CELL", "DELETE_FAMILY", "DELETE_CELLS", "UNKNOWN"]}
           },
           { "name": "isGC", "type": "boolean" },
           { "name": "tieBreaker", "type": "int"},
           { "name": "columnFamily", "type": "string"},
           { "name": "commitTimestamp", "type" : "long"},
           { "name" : "sourceInstance", "type" : "string"},
           { "name" : "sourceCluster", "type" : "string"},
           { "name" : "sourceTable", "type" : "string"},
           { "name": "column", "type" : ["null", "bytes"]},
           { "name": "timestamp", "type" : ["null", "long"]},
           { "name": "timestampFrom", "type" : ["null", "long"]},
           { "name": "timestampTo", "type" : ["null", "long"]},
           { "name" : "value", "type" : ["null", "bytes"]}
       ]
     }
   

   1. Clique em Criar para criar o esquema.

6. Feche a guia Criar esquema, atualize a lista de esquemas e selecione o esquema recém-definido.

7. Clique em Criar para criar o tópico.

Opcional: criar uma função do Cloud Run

É recomendável processar o fluxo do Pub/Sub com uma função do Cloud Run.

1. Na página Detalhes do tópico bigtable-change-stream-topic, clique em Acionar função do Cloud.
2. No campo Nome da função, digite o nome bt-ps-tutorial-function.
3. Na seção Código-fonte, clique no menu suspenso Ambiente de execução e selecione o ambiente de execução e a linguagem de programação que preferir. É gerado um hello world que mostra o fluxo de alterações à medida que ele chega. Consulte a documentação para saber mais sobre como gravar funções do Cloud Run.
4. Use os valores padrão para todos os outros campos.
5. Clique em Implantar função.

Criar uma tabela com um fluxo de alterações ativado

1. No console do Google Cloud, acesse a página Instâncias do Bigtable.

   Acesse "Instâncias"

2. Clique no ID da instância que você está usando neste tutorial.

   Se você não tiver uma instância disponível, crie uma com as configurações padrão em uma região perto de você.

3. No painel de navegação à esquerda, clique em Tabelas.

4. Clique em Criar uma tabela.

5. Nomeie a tabela como change-streams-pubsub-tutorial.

6. Adicione um grupo de colunas chamado cf.

7. Selecione Ativar fluxo de alterações.

8. Clique em Criar.

Inicializar um pipeline de dados para capturar o fluxo de alterações

1. Na página Tabelas do Bigtable, encontre sua tabela change-streams-pubsub-tutorial.
2. Na coluna Fluxo de alterações, clique em Conectar.
3. Na caixa de diálogo, selecione Pub/Sub.
4. Clique em Criar job do Dataflow.
5. Na página Criar job do Dataflow, defina o nome do tópico de saída do Pub/Sub como: bigtable-change-stream-topic.
6. Defina o ID do perfil do aplicativo Bigtable como default.
7. Cliquem em Executar job.
8. Aguarde o status do job ser Iniciando ou Em execução antes de continuar. Leva cerca de cinco minutos assim que job é colocado na fila.

Gravar alguns dados no Bigtable

1. No Cloud Shell, escreva algumas linhas no Bigtable para que o registro de alterações possa gravar alguns dados no fluxo do Pub/Sub. Se você gravar os dados após a criação do job, as alterações aparecerão. Não é necessário esperar que o status do job seja running.

   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user123 cf:col1=abc
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user546 cf:col1=def
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user789 cf:col1=ghi
   

Ver os registros de alterações no Pub/Sub

1. No console do Google Cloud, acesse a página Assinaturas do Pub/Sub.

   Acessar "Assinaturas"

2. Clique na assinatura criada automaticamente para seu tópico bigtable-change-stream-topic. O nome dele precisa ser bigtable-change-stream-topic-sub.

3. Acesse a guia Mensagens.

4. Clique em Pull.

5. Explore a lista de mensagens e veja os dados que você escreveu.

   

Opcional: conferir as mudanças nos registros das funções do Cloud Run

Se você criou uma função de funções do Cloud Run, é possível visualizar as alterações no os registros.

1. No console do Google Cloud, acesse Funções do Cloud Run.

   Acessar as funções do Cloud Run

2. Clique na sua função bt-ps-tutorial-function.

3. Acesse a guia Registros.

4. Verifique se a Gravidade está definida como pelo menos Informações para ser possível ver os registros.

5. Analise os registros e veja os dados que você gravou.

A saída será assim:

Pub/Sub message: {"rowKey":"user789","modType":"SET_CELL","isGC":false,"tieBreaker":0,"columnFamily":"cf","commitTimestamp":1695653833064548,"sourceInstance":"YOUR-INSTANCE","sourceCluster":"YOUR-INSTANCE-c1","sourceTable":"change-streams-pubsub-tutorial","column":{"bytes":"col1"},"timestamp":{"long":1695653832278000},"timestampFrom":null,"timestampTo":null,"value":{"bytes":"ghi"}}

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Excluir a tabela do Bigtable

1. No console do Google Cloud, acesse a página Instâncias do Bigtable.

   Acesse "Instâncias"

2. Clique no ID da instância que você está usando neste tutorial.

3. No painel de navegação à esquerda, clique em Tabelas.

4. Localize a tabela change-streams-pubsub-tutorial.

5. Clique em Editar.

6. Desmarque Ativar fluxo de alterações.

7. Clique em Salvar.

8. Abra o menu flutuante da tabela.

9. Clique em Excluir e insira o nome da tabela para confirmar.

Interromper o pipeline de fluxo de alterações

1. No console do Google Cloud, acesse a página Jobs do Dataflow.

   Acessar jobs

2. Selecione o job de streaming na lista de jobs.

3. Na navegação, clique em Parar.

4. Na caixa de diálogo Interromper job, cancele o pipeline e clique em Interromper job.

Excluir o tópico e a assinatura do Pub/Sub

1. No console do Google Cloud, acesse a página Tópicos do Pub/Sub.

   Acesse Tópicos

2. Selecione o tópico bigtable-change-stream-topic.

3. Clique em Excluir e confirme.

4. Clique em Assinaturas na barra lateral.

5. Selecione a assinatura bigtable-change-stream-topic-sub.

6. Clique em Excluir e confirme.

Excluir a função do Cloud Run

1. No console do Google Cloud, acesse Funções do Cloud Run.

   Acessar as funções do Cloud Run

2. Selecione a função bt-ps-tutorial-function.

3. Clique em Excluir e confirme.

A seguir

• Leia toda a documentação de fluxos de alterações.
• Saiba mais sobre como escrever funções orientadas por eventos com as funções do Cloud Run.