Confira os conectores compatíveis com o Application Integration.

Gatilho do Apache Kafka

Visualização — Apache Kafka trigger

Esse recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos de serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

O gatilho do Apache Kafka é um acionador de evento do conector que permite invocar uma integração com base nos eventos do Apache Kafka em que você se inscreveu na conexão do Apache Kafka.

Importante:os Integration Connectors são um componente faturável do Google Cloud. Para informações sobre os custos e as cobranças do uso do Integration Connectors, consulte Preços do Integration Connectors.

Antes de começar

Se você planeja criar ou configurar uma nova conexão para o gatilho do Apache Kafka, confirme que tem o seguinte papel no Identity and Access Management (IAM) no projeto:

• Administrador de conectores (roles/connectors.admin)

Para informações sobre como conceder papéis, consulte Gerenciar acesso.

Conceda os seguintes papéis do IAM à conta de serviço que você quer usar para o acionador do Apache Kafka:

• Invocador do Application Integration (roles/integrations.integrationInvoker)

Para informações sobre como conceder papéis a uma conta de serviço, consulte Gerenciar o acesso a contas de serviço.

Limitação

O gatilho do Apache Kafka está sujeito às seguintes limitações:

• Dá suporte ao protocolo de segurança SASL_SSL para inscrições de eventos.
• Não é compatível com mTLS para assinaturas de eventos.

Adicionar o gatilho do Apache Kafka

Para adicionar um acionador do Apache Kafka à integração, siga estas etapas:

1. No console do Google Cloud, acesse a página Application Integration.

   Acessar o Application Integration

2. No menu de navegação, clique em Integrations.

   A página Lista de integrações aparece listando todas as integrações disponíveis no projeto do Google Cloud.

3. Selecione uma integração ou clique em Criar integração para criar uma nova.

   Se você estiver criando uma nova integração:

   1. Insira um nome e uma descrição no painel Criar integração.
   2. Selecione uma região para a integração.
      Observação: o menu suspenso Regiões lista apenas as regiões provisionadas no projeto do Google Cloud. Para provisionar uma nova região, clique em Ativar região. Consulte Ativar nova região para obter mais informações.
   3. Selecione uma conta de serviço para a integração. Você pode mudar ou atualizar os detalhes da conta de serviço de uma integração a qualquer momento no painel Resumo da integração na barra de ferramentas da integração.
      Observação:a opção de selecionar uma conta de serviço só vai aparecer se você tiver ativado a governança de integração para a região selecionada.
   4. Clique em Criar.

   Isso abre a integração na página do editor de integração.

4. Na barra de navegação do editor de integração, clique em Gatilhos para ver a lista de gatilhos disponíveis.
5. Clique e coloque o elemento Apache Kafka trigger no editor de integração.

Para configurar o gatilho do Apache Kafka, use uma conexão do Apache Kafka disponível no Integration Connectors ou crie uma nova conexão do Apache Kafka usando a opção de criação de conexão inline.

Configurar o gatilho do Apache Kafka usando uma conexão atual

É possível configurar o gatilho do Apache Kafka usando uma conexão atual do Apache Kafka no Integration Connectors. O gatilho do Apache Kafka é um acionador de evento do conector. Portanto, só é possível usar uma conexão do Apache Kafka com a assinatura de evento ativada para configurar o acionador.

Saiba como configurar um gatilho do Apache Kafka usando uma nova conexão do Apache Kafka, consulte Configurar o gatilho do Apache Kafka usando uma nova conexão.

Para configurar um gatilho do Apache Kafka usando uma conexão atual do Apache Kafka, siga estas etapas:

1. Clique no elemento de gatilho do Apache Kafka no editor de integração para abrir o painel de configuração do acionador.
2. Clique em Configurar gatilho.
3. Informe os seguintes detalhes de configuração na página Editor do acionador de evento do conector:
   1. Região:selecione a região da sua conexão do Apache Kafka.
   2. Conexão:selecione a conexão do Apache Kafka que você quer usar.

      A Application Integration exibe apenas as conexões do Apache Kafka que estão ativas e têm uma assinatura de evento ativada.

   3. Nome do tópico: digite o nome do tópico.
   4. ID do grupo de consumidores: como opção, insira o ID do grupo de consumidores que especifica o nome do grupo a que o consumidor Kafka pertence.
   5. Partição: insira a partição se você quiser se inscrever em uma partição específica. As partições são uma maneira de dividir um tópico em várias partes e armazenar cada parte em um nó diferente do cluster.
   6. Deslocamento inicial: selecione a estratégia de redefinição de deslocamento:
      • Se você selecionar mais cedo, sua conexão consumirá mensagens não consumidas, incluindo aquelas produzidas antes do ciclo de vida do grupo de consumidores.
      • Se você selecionar latest, sua conexão consumirá mensagens produzidas após a criação do grupo de consumidores.
   7. Conta de serviço: selecione uma conta de serviço com os papéis do IAM necessários para o gatilho do Apache Kafka.
4. Clique em Concluído.

Configurar o gatilho do Apache Kafka usando uma nova conexão

Para configurar o acionador do Apache Kafka usando uma nova conexão do Apache Kafka, siga estas etapas:

1. Clique no elemento de gatilho do Apache Kafka no editor de integração para abrir o painel de configuração do acionador.
2. Clique em Configurar gatilho do Apache Kafka.
3. Ignore o campo Região.
4. Clique em Conexão e selecione a opção Criar conexão na lista. O painel Criar conexão será exibido.
5. Na etapa Local, escolha o local da nova conexão do Apache Kafka:
   1. Região:selecione uma região na lista.
   2. Clique em Seguinte.
6. Na etapa Detalhes da conexão, inclua detalhes sobre a nova conexão do Apache Kafka:
   1. Versão do conector:escolha na lista uma versão do conector Apache Kafka disponível.
   2. Connection Name:insira um nome para a conexão do Apache Kafka.
      Observação: os nomes de conexão precisam atender aos seguintes critérios:

      • Os nomes de conexões podem usar letras, números ou hifens.
      • As letras precisam ser minúsculas.
      • Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
      • Os nomes das conexões não podem exceder 63 caracteres.
   3. (Opcional) Descrição : insira uma descrição para a conexão.
   4. (Opcional) Ativar o Cloud Logging:marque essa caixa de seleção para armazenar todos os dados de registro da conexão.
   5. Conta de serviço: selecione uma conta de serviço com os papéis do IAM necessários para a conexão do Apache Kafka.
   6. A opção Ativar assinatura de eventos, entidade e ações é selecionada por padrão para a conexão do Apache Kafka.
      Observação : esse conector não é compatível com a opção Enable only event subscription.
   7. Esquema de detecção de tipo : selecione MessageOnly.
   8. Serviço de registro: o serviço de registro de esquema usado para trabalhar com esquemas de tópicos.
   9. Tipo de registro: tipo de esquema especificado para um tópico específico.
   10. Versão do registro: versão do esquema lida em RegistryUrl para o tópico especificado.
   11. Usuário do Registro: valor do nome de usuário ou da chave de acesso a ser autorizado com o servidor especificado em RegistryUrl.
   12. Senha de registro: secret do Secret Manager que contém o valor da senha/chave secreta para autorizar com o servidor especificado em RegistryUrl.
   13. Opcionalmente, defina as Configurações do nó de conexão:
       • Número mínimo de nós: digite o número mínimo de nós de conexão.
       • Número máximo de nós: digite o número máximo de nós de conexão.

       Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.

   Observação: você só poderá personalizar os valores do nó de conexão se for um cliente de pagamento por utilização.
   14. Também é possível clicar em + ADICIONAR RÓTULO para adicionar um rótulo à conexão na forma de um par de chave e valor.
   15. Ativar SSL: este campo define se o SSL será ativado.
   16. Clique em Seguinte.
7. Na seção Destinos, insira os detalhes do host remoto (sistema de back-end) ao qual você quer se conectar.
   1. Tipo de destino: selecione um Tipo de destino.
      • Selecione Endereço do host na lista para especificar o nome do host ou o endereço IP do destino.
      • Para estabelecer uma conexão particular com seus sistemas de back-end, Selecione Anexo de endpoint na lista e depois selecione o anexo de endpoint necessário. na lista Endpoint Attachment.
        Observação : para entender como criar um anexo de endpoint, consulte Anexo de serviço PSC e anexo de endpoint. Depois de ter criado o anexo de endpoint, ele vai aparecer na lista Anexo do endpoint.

      Se você quiser estabelecer uma conexão pública com os sistemas de back-end com mais segurança, considere configurar endereços IP de saída estáticos para suas conexões e, em seguida, configure as regras de firewall para colocar na lista de permissões apenas os endereços IP estáticos específicos.

      Para inserir outros destinos, clique em +ADICIONAR DESTINO.

   2. Clique em Seguinte.
8. Na seção Autenticação, insira os detalhes da autenticação.
   1. Selecione um Tipo de autenticação e insira os detalhes relevantes.

      A conexão do Apache Kafka oferece suporte aos seguintes tipos de autenticação:

      • Nome de usuário e senha
        • Nome de usuário: o nome de usuário do Apache Kafka que vai ser usado para a conexão.
        • Senha: o Secret do Secret Manager que contém a senha associada ao nome de usuário do Apache Kafka.
        • Esquema de autenticação: o esquema usado para autenticação.

          O esquema de autenticação a seguir é compatível com a conexão do Apache Kafka:

          • Simples
          • SCRAM-SHA-1 (link em inglês)
          • SCRAM-SHA-256 (link em inglês)
      • Não disponível

        Se você quiser usar o login anônimo, selecione Não disponível.

   2. Clique em Seguinte.
9. Insira a configuração de mensagens inativas. Se você configurar mensagens inativas, a conexão gravará os eventos não processados no tópico do Pub/Sub especificado. Digite os seguintes detalhes:
   1. ID do projeto de mensagens inativas: o ID do projeto do Google Cloud em que você configurou o tópico de mensagens inativas do Pub/Sub.
   2. Tópico de mensagens inativas: o tópico do Pub/Sub em que você quer gravar os detalhes do evento não processado.
10. Clique em Seguinte.
11. Revisão: revise os detalhes de conexão e autenticação.
12. Clique em Criar.

Saída do gatilho

O acionador do Apache Kafka leva alguns minutos para concluir a configuração da assinatura do evento. É possível ver o status da assinatura do evento no painel de configuração do acionador, em Detalhes da assinatura do evento.

O acionador do Apache Kafka indica o status de uma assinatura de evento usando os seguintes estados:

• Creating: indica que o acionador está fazendo a assinatura da assinatura de eventos.
• Active: indica que o acionador foi inscrito em uma assinatura de eventos.
• Error: indica que há um problema com a inscrição de eventos configurada.

Além do status da assinatura do evento, a seção Detalhes da assinatura do evento também exibe outros detalhes, como região da conexão, nome da conexão e nome da assinatura do evento.

Variável de saída do acionador

Para cada evento, o acionador do Apache Kafka gera uma variável de saída ConnectorEventPayload (no formato JSON) que pode ser usada nas tarefas downstream. A variável de saída terá o payload do evento do Apache Kafka. Exemplo:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Ver inscrições em eventos

Para visualizar e gerenciar todas as assinaturas de eventos associadas a uma conexão no Integration Connectors, faça o seguinte:

1. Acesse a página Integration Connectors > Conexões.

   Acessar a página "Conexões"

2. Clique na conexão que tem as assinaturas que você quer conferir.
3. Clique na guia Inscrições de eventos.

   Isso exibe todas as inscrições de eventos da conexão.

Editar gatilho do Apache Kafka

É possível editar um gatilho do Apache Kafka para alterar ou atualizar a configuração da conexão e os detalhes da assinatura de eventos.

Importante:ao editar ou modificar um gatilho do Apache Kafka, é possível manter ou excluir a assinatura de evento configurada anteriormente que está anexada ao gatilho. A exclusão de uma assinatura de evento vai afetar todas as integrações publicadas que usam essa assinatura de evento.

Para editar um gatilho do Apache Kafka, siga estas etapas:

1. Clique no elemento de gatilho do Apache Kafka no editor de integração para abrir o painel de configuração do acionador.
2. Clique em Configurar gatilho do Apache Kafka.
3. Faça o seguinte na página Editor do acionador de evento do conector:
   1. Para manter a assinatura de eventos configurada anteriormente, clique em Reter. Caso contrário, clique em Excluir.
      Aviso:a exclusão de uma assinatura de evento vai afetar todas as integrações publicadas que usam essa assinatura. Essa tarefa não pode ser desfeita.
   2. Atualize a configuração da conexão e os detalhes de inscrição no evento conforme desejado.
   3. Clique em Concluído.

Confira os detalhes atualizados da conexão e da assinatura do evento no painel de configuração do acionador em Detalhes da assinatura do evento.