Transmitir alterações para o Pub/Sub usando o acionador opcional da função do Cloud Run

Neste tutorial, mostramos como usar o modelo de fluxos de alterações do Bigtable para o Pub/Sub, incluindo como definir um tópico e configurar o modelo. Você tem a opção de criar uma função do Cloud Run na linguagem de programação da sua escolha, que é acionada pelo fluxo de eventos.

Este tutorial é destinado a usuários técnicos familiarizados com o Bigtable, a escrita de códigos e os serviços de fluxo de eventos.

Criar um tópico do Pub/Sub

  1. No console Google Cloud , acesse a página Tópicos do Pub/Sub.

    Acesse Tópicos

  2. Selecione Criar tópico.

  3. Defina o ID como bigtable-change-stream-topic.

  4. Selecione Usar um esquema.

  5. No menu suspenso Selecionar um esquema do Pub/Sub, clique em Criar novo esquema. Isso abre uma nova guia para definir o esquema.

    1. Defina o ID do esquema como bigtable-change-stream-schema.
    2. Defina o tipo de esquema como Avro.
    3. Cole o código abaixo como a definição do esquema. Para mais informações sobre o esquema, consulte a página de documentação do modelo.
      {
      "name" : "ChangelogEntryMessage",
      "type" : "record",
      "namespace" : "com.google.cloud.teleport.bigtable",
      "fields" : [
        { "name" : "rowKey", "type" : "bytes"},
        {
          "name" : "modType",
          "type" : {
            "name": "ModType",
            "type": "enum",
            "symbols": ["SET_CELL", "DELETE_FAMILY", "DELETE_CELLS", "UNKNOWN"]}
        },
        { "name": "isGC", "type": "boolean" },
        { "name": "tieBreaker", "type": "int"},
        { "name": "columnFamily", "type": "string"},
        { "name": "commitTimestamp", "type" : "long"},
        { "name" : "sourceInstance", "type" : "string"},
        { "name" : "sourceCluster", "type" : "string"},
        { "name" : "sourceTable", "type" : "string"},
        { "name": "column", "type" : ["null", "bytes"]},
        { "name": "timestamp", "type" : ["null", "long"]},
        { "name": "timestampFrom", "type" : ["null", "long"]},
        { "name": "timestampTo", "type" : ["null", "long"]},
        { "name" : "value", "type" : ["null", "bytes"]}
    ]
  }
    1. Clique em Criar para criar o esquema.

  6. Feche a guia Criar esquema, atualize a lista de esquemas e selecione o esquema recém-definido.

  7. Clique em Criar para criar o tópico.

Opcional: criar uma função do Cloud Run

É recomendável processar o fluxo do Pub/Sub com uma função do Cloud Run.

  1. Na página Detalhes do tópico bigtable-change-stream-topic, clique em Acionar função do Cloud.
  2. No campo Nome da função, digite o nome bt-ps-tutorial-function.
  3. Na seção Código-fonte, clique no menu suspenso Ambiente de execução e selecione o ambiente de execução e a linguagem de programação que preferir. É gerado um hello world que mostra o fluxo de alterações à medida que ele chega. Consulte a documentação para saber mais sobre como escrever funções do Cloud Run.
  4. Use os valores padrão para todos os outros campos.
  5. Clique em Implantar função.

Criar uma tabela com um fluxo de alterações ativado

  1. No console do Google Cloud , acesse a página Instâncias do Bigtable.

    Acesse "Instâncias"

  2. Clique no ID da instância que você está usando neste tutorial.

    Se você não tiver uma instância disponível, crie uma com as configurações padrão em uma região perto de você.

  3. No painel de navegação à esquerda, clique em Tabelas.

  4. Clique em Criar uma tabela.

  5. Nomeie a tabela como change-streams-pubsub-tutorial.

  6. Adicione um grupo de colunas chamado cf.

  7. Selecione Ativar fluxo de alterações.

  8. Clique em Criar.

Inicializar um pipeline de dados para capturar o fluxo de alterações

  1. Na página Tabelas do Bigtable, encontre sua tabela change-streams-pubsub-tutorial.
  2. Na coluna Fluxo de alterações, clique em Conectar.
  3. Na caixa de diálogo, selecione Pub/Sub.
  4. Clique em Criar job do Dataflow.
  5. Na página Criar job do Dataflow, defina o nome do tópico de saída do Pub/Sub como: bigtable-change-stream-topic.
  6. Defina o ID do perfil de aplicativo do Bigtable como default.
  7. Cliquem em Executar job.
  8. Aguarde o status do job ser Iniciando ou Em execução antes de continuar. Leva cerca de cinco minutos assim que job é colocado na fila.

Gravar alguns dados no Bigtable

  1. No Cloud Shell, escreva algumas linhas no Bigtable para que o registro de alterações possa gravar alguns dados no fluxo do Pub/Sub. Se você gravar os dados após a criação do job, as alterações aparecerão. Não é necessário esperar que o status do job seja running.

    cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
    set change-streams-pubsub-tutorial user123 cf:col1=abc
cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
    set change-streams-pubsub-tutorial user546 cf:col1=def
cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
    set change-streams-pubsub-tutorial user789 cf:col1=ghi

Ver os registros de alterações no Pub/Sub

  1. No console Google Cloud , acesse a página Assinaturas do Pub/Sub.

    Acessar "Assinaturas"

  2. Clique na assinatura criada automaticamente para seu tópico bigtable-change-stream-topic. O nome dele precisa ser bigtable-change-stream-topic-sub.

  3. Acesse a guia Mensagens.

  4. Clique em Pull.

  5. Explore a lista de mensagens e veja os dados que você escreveu.

    Mensagens de registro de alterações no Pub/Sub

Opcional: ver as mudanças nos registros de funções do Cloud Run

Se você criou uma função do Cloud Run, é possível ver as mudanças nos registros.

  1. No console Google Cloud , acesse Funções do Cloud Run.

    Acessar as funções do Cloud Run

  2. Clique na sua função bt-ps-tutorial-function.

  3. Acesse a guia Registros.

  4. Verifique se a Gravidade está definida como pelo menos Informações para ser possível ver os registros.

  5. Analise os registros e veja os dados que você gravou.

A saída será assim:

Pub/Sub message: {"rowKey":"user789","modType":"SET_CELL","isGC":false,"tieBreaker":0,"columnFamily":"cf","commitTimestamp":1695653833064548,"sourceInstance":"YOUR-INSTANCE","sourceCluster":"YOUR-INSTANCE-c1","sourceTable":"change-streams-pubsub-tutorial","column":{"bytes":"col1"},"timestamp":{"long":1695653832278000},"timestampFrom":null,"timestampTo":null,"value":{"bytes":"ghi"}}