Consulte os conectores compatíveis com a Application Integration.

Gatilho do Apache Kafka

Visualização — Apache Kafka trigger

Esse recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos de serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

O gatilho do Apache Kafka é um acionador de evento do conector que permite invocar uma integração com base nos eventos do Apache Kafka em que você se inscreveu na conexão do Apache Kafka.

Importante:o Integration Connectors é um componente faturável do Google Cloud. Saiba mais sobre os custos e as cobranças do uso do Integration Connectors em Preços do Integration Connectors.

Antes de começar

Se você planeja criar ou configurar uma nova conexão para o gatilho do Apache Kafka, verifique se tem o seguinte papel do Identity and Access Management (IAM) no projeto:

• Administrador de conectores (roles/connectors.admin)

Para informações sobre como conceder papéis, consulte Gerenciar acesso.

Conceda os seguintes papéis do IAM à conta de serviço que você quer usar para o acionador do Apache Kafka:

• Invocador do Application Integration (roles/integrations.integrationInvoker)

Para informações sobre como conceder papéis a uma conta de serviço, consulte Gerenciar o acesso a contas de serviço.

Limitação

O gatilho do Apache Kafka está sujeito às seguintes limitações:

• Oferece suporte ao protocolo de segurança SASL_SSL para assinaturas de eventos.
• Não aceita mTLS para inscrições em eventos.

Adicionar o gatilho do Apache Kafka

Para adicionar um gatilho do Apache Kafka à integração, siga estas etapas:

1. No console do Google Cloud, acesse a página Application Integration.

   Acessar o Application Integration

2. No menu de navegação, clique em Integrações.

   A página Lista de integrações aparece listando todas as integrações disponíveis no projeto do Google Cloud.

3. Selecione uma integração existente ou clique em Criar integração para criar uma nova.

   Se você estiver criando uma integração:

   1. Digite um nome e uma descrição no painel Create Integration.
   2. Selecione uma região para a integração.
      Observação: o menu suspenso Regiões lista apenas as regiões provisionadas no projeto do Google Cloud. Para provisionar uma nova região, clique em Ativar região. Consulte Ativar nova região para obter mais informações.
   3. Selecione uma conta de serviço para a integração. Você pode mudar ou atualizar os detalhes da conta de serviço de uma integração a qualquer momento no painel Resumo da integração na barra de ferramentas.
      Observação:a opção de selecionar uma conta de serviço só vai aparecer se você tiver ativado a governança de integração na região selecionada.
   4. Clique em Criar.

   Isso abre a integração na página do editor de integração.

4. Na barra de navegação do editor de integração, clique em Gatilhos para conferir a lista de gatilhos disponíveis.
5. Clique e coloque o elemento gatilho do Apache Kafka no editor de integração.

Para configurar o gatilho do Apache Kafka, use uma conexão do Apache Kafka existente disponível nos Integration Connectors ou crie uma nova conexão do Apache Kafka usando a opção de criação de conexão in-line.

Configurar o gatilho do Apache Kafka usando uma conexão atual

É possível configurar o gatilho do Apache Kafka usando uma conexão do Apache Kafka atual nos Integration Connectors. O gatilho do Apache Kafka é um acionador de evento do conector, portanto, só é possível usar uma conexão do Apache Kafka com assinatura de evento ativada para configurar o gatilho.

Saiba como configurar um gatilho do Apache Kafka usando uma nova conexão do Apache Kafka em Configurar gatilho do Apache Kafka usando uma nova conexão.

Para configurar um acionador do Apache Kafka usando uma conexão atual do Apache Kafka, siga estas etapas:

1. Clique no elemento Acionador do Apache Kafka no editor de integração para abrir o painel de configuração do acionador.
2. Clique em Configurar gatilho.
3. Forneça os seguintes detalhes de configuração na página Editor do gatilho de evento do conector:
   1. Região:selecione a região da sua conexão do Apache Kafka.
   2. Conexão:selecione a conexão do Apache Kafka que você quer usar.

      A Application Integration exibe apenas as conexões do Apache Kafka que estão ativas e com uma assinatura de evento ativada.

   3. Nome do tópico: digite o nome do tópico.
   4. ID do grupo de consumidores: como opção, insira o ID do grupo de consumidores que especifica o nome do grupo a que o consumidor do Kafka pertence.
   5. Partição: insira a partição para se inscrever em uma determinada partição. As partições são uma maneira de dividir um tópico em várias partes e armazenar cada uma delas em um nó diferente do cluster.
   6. Deslocamento inicial: selecione a estratégia de redefinição de deslocamento:
      • Se você selecionar mais cedo, a conexão vai consumir mensagens não consumidas, inclusive aquelas produzidas antes do ciclo de vida do grupo de consumidores.
      • Se você selecionar latest, sua conexão consumirá mensagens produzidas após a criação do grupo de consumidores.
   7. Conta de serviço: selecione uma conta de serviço com os papéis do IAM necessários para o gatilho do Apache Kafka.
4. Clique em Concluído.

Configurar o gatilho do Apache Kafka usando uma nova conexão

Para configurar o gatilho do Apache Kafka usando uma nova conexão do Apache Kafka, siga estas etapas:

1. Clique no elemento Acionador do Apache Kafka no editor de integração para abrir o painel de configuração do acionador.
2. Clique em Configurar gatilho do Apache Kafka.
3. Ignore o campo Região.
4. Clique em Conexão e selecione a opção Criar conexão na lista. O painel Criar conexão é exibido.
5. Na etapa Local, escolha o local da nova conexão do Apache Kafka:
   1. Região:selecione uma região na lista.
   2. Clique em Próxima.
6. Na etapa Detalhes da conexão, informe detalhes sobre a nova conexão do Apache Kafka:
   1. Versão do conector: escolha uma versão disponível do conector Apache Kafka na lista.
   2. Nome da conexão: insira um nome para a conexão do Apache Kafka.
      Observação: os nomes de conexão precisam atender aos seguintes critérios:

      • Os nomes de conexões podem usar letras, números ou hifens.
      • As letras precisam ser minúsculas.
      • Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
      • Os nomes das conexões não podem exceder 63 caracteres.
   3. (Opcional) Descrição : insira uma descrição para a conexão.
   4. (Opcional) Ativar o Cloud Logging:marque essa caixa de seleção para armazenar todos os dados de registro da conexão.
   5. Conta de serviço: selecione uma conta de serviço com os papéis do IAM necessários para a conexão do Apache Kafka.
   6. A opção Ativar inscrição de eventos, entidades e ações é selecionada por padrão para a conexão do Apache Kafka.
      Observação : este conector não é compatível com a opção Enable only event subscription.
   7. Esquema de detecção de tipo: selecione MessageOnly.
   8. Serviço de registro: o serviço de registro de esquema usado para trabalhar com esquemas de tópicos.
   9. Tipo de registro: tipo de esquema especificado para um tópico específico.
   10. Versão do registro: versão do esquema lida em RegistryUrl para o tópico especificado.
   11. Usuário do Registro: nome de usuário ou chave de acesso a ser autorizado no servidor especificado em RegistryUrl.
   12. Senha de Registro: Secret Manager contendo o valor de senha/chave secreta a ser autorizada no servidor especificado em RegistryUrl.
   13. Opcionalmente, defina as Configurações do nó de conexão:
       • Número mínimo de nós: digite o número mínimo de nós de conexão.
       • Número máximo de nós: digite o número máximo de nós de conexão.

       Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.

   Observação: você só poderá personalizar os valores do nó de conexão se for um cliente de pagamento por utilização.
   14. Também é possível clicar em + ADICIONAR RÓTULO para adicionar um rótulo à conexão na forma de um par de chave-valor.
   15. Ativar SSL: este campo define se o SSL está ativado.
   16. Clique em Próxima.
7. Na seção Destinos, insira os detalhes do host remoto (sistema de back-end) ao qual você quer se conectar.
   1. Tipo de destino: selecione um Tipo de destino.
      1. No campo Endereço do host, especifique o nome do host ou o endereço IP do destino.
         1. Se você quiser estabelecer uma conexão privada com seus sistemas de back-end, siga estas etapas:
            1. Crie um anexo do serviço PSC.
            2. Crie um anexo de endpoint e insira os detalhes dele no campo Endereço do host.
         2. Se você quiser estabelecer uma conexão pública com seus sistemas de back-end com mais segurança, considere configurar endereços IP estáticos de saída para suas conexões e, em seguida, configure suas regras de firewall para colocar na lista de permissões apenas os endereços IP estáticos específicos.

      Para inserir outros destinos, clique em +ADICIONAR DESTINO.

   2. Clique em Próxima.
8. Na seção Autenticação, insira os detalhes da autenticação.
   1. Selecione um Tipo de autenticação e insira os detalhes relevantes.

      Os seguintes tipos de autenticação são compatíveis com a conexão do Apache Kafka:

      • Nome de usuário e senha
        • Nome de usuário: o nome de usuário do Apache Kafka que vai ser usado para a conexão.
        • Senha: o Secret do Secret Manager que contém a senha associada ao nome de usuário do Apache Kafka.
        • Esquema de autenticação: o esquema usado para autenticação.

          A conexão do Apache Kafka aceita o esquema de autenticação a seguir:

          • Simples
          • SCRAM-SHA-1 (em inglês)
          • SCRAM-SHA-256 (em inglês)
      • Indisponível

        Se você quiser usar o login anônimo, selecione Não disponível.

   2. Clique em Próxima.
9. Insira a configuração de mensagens inativas. Se você configurar a mensagem inativa, a conexão gravará os eventos não processados no tópico do Pub/Sub especificado. Digite os seguintes detalhes:
   1. ID do projeto de mensagens inativas: o ID do projeto do Google Cloud em que você configurou o tópico do Pub/Sub de mensagens inativas.
   2. Tópico de mensagens inativas: o tópico do Pub/Sub em que você quer escrever os detalhes do evento não processado.
10. Clique em Próxima.
11. Revisão: revise os detalhes de conexão e autenticação.
12. Clique em Criar.

Saída do gatilho

O gatilho do Apache Kafka leva alguns minutos para concluir a configuração da assinatura do evento. É possível ver o status da assinatura do evento no painel de configuração do acionador, em Detalhes da assinatura do evento.

O acionador do Apache Kafka indica o status de uma assinatura de evento usando os seguintes estados:

• Creating: indica que o acionador está assinando a assinatura do evento.
• Active: indica que o acionador foi inscrito em uma assinatura de evento.
• Error: indica que há um problema com a inscrição de eventos configurada.

Além do status da inscrição do evento, a seção Detalhes da assinatura de evento também exibe outros detalhes, como região da conexão, nome da conexão e nome da inscrição do evento.

Variável de saída do acionador

Para cada evento, o gatilho do Apache Kafka gera uma variável de saída ConnectorEventPayload (no formato JSON) que pode ser usada nas tarefas downstream. A variável de saída terá o payload do seu evento do Apache Kafka. Exemplo:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Ver inscrições em eventos

Para conferir e gerenciar todas as assinaturas de eventos associadas a uma conexão no Integration Connectors, faça o seguinte:

1. Acesse a página Conectores de integração > Conexões.

   Acessar a página "Conexões"

2. Clique na conexão em que você quer exibir as assinaturas.
3. Clique na guia Inscrições em eventos.

   Todas as inscrições de eventos da conexão são exibidas.

Editar gatilho do Apache Kafka

É possível editar um acionador do Apache Kafka para alterar ou atualizar a configuração da conexão e os detalhes da inscrição de eventos.

Importante:ao editar ou modificar um gatilho Apache Kafka, é possível manter ou excluir a assinatura de evento configurada anteriormente que está anexada ao gatilho. A exclusão de uma assinatura de evento afeta todas as integrações publicadas que usam essa assinatura.

Para editar um gatilho do Apache Kafka, siga estas etapas:

1. Clique no elemento Acionador do Apache Kafka no editor de integração para abrir o painel de configuração do acionador.
2. Clique em Configurar gatilho do Apache Kafka.
3. Faça o seguinte na página Editor do gatilho de evento do conector:
   1. Para manter a assinatura de eventos configurada anteriormente, clique em Reter. Caso contrário, clique em Excluir.
      Aviso:a exclusão de uma assinatura de evento afeta todas as integrações publicadas que usam essa assinatura. Esta tarefa não pode ser desfeita.
   2. Atualize a configuração da conexão e os detalhes da inscrição no evento conforme desejado.
   3. Clique em Concluído.

Você pode ver os detalhes atualizados da conexão e das inscrições de eventos no painel de configuração do acionador, em Detalhes da inscrição de eventos.