Consulte os conectores compatíveis com o Application Integration.

Gatilho do Apache Kafka

O gatilho do Apache Kafka é um acionador de evento do conector que permite invocar uma integração com base nos eventos do Apache Kafka em que você se inscreveu na conexão do Apache Kafka.

Antes de começar

Se você planeja criar ou configurar uma nova conexão para o gatilho do Apache Kafka, verifique se tem o seguinte papel do Identity and Access Management (IAM) no projeto:

  • Administrador do conector (roles/connectors.admin)

    • Para mais informações sobre como conceder papéis, consulte Gerenciar o acesso.

Conceda os seguintes papéis do IAM à conta de serviço que você quer usar para o acionador do Apache Kafka:

  • Invocador do Application Integration (roles/integrations.integrationInvoker)

    • Para informações sobre como conceder papéis a uma conta de serviço, consulte Gerenciar o acesso a contas de serviço.

Limitação

O acionador do Apache Kafka está sujeito às seguintes limitações:

  • Suporte ao protocolo de segurança SASL_SSL para assinaturas de eventos.
  • Não é compatível com mTLS para assinaturas de eventos.

Adicionar o gatilho do Apache Kafka

Para adicionar um acionador do Apache Kafka à integração, siga estas etapas:

  1. No console do Google Cloud, acesse a página Application Integration.

    Acessar o Application Integration

  2. No menu de navegação, clique em Integrations.

    A página Lista de integrações aparece com todas as integrações disponíveis no projeto do Google Cloud.

  3. Selecione uma integração ou clique em Criar integração para criar uma nova.

    Caso você esteja criando uma nova integração, siga estas etapas:

    1. Insira um nome e uma descrição no painel Criar integração.
    2. Selecione uma região para a integração.
    3. Selecione uma conta de serviço para a integração. É possível mudar ou atualizar os detalhes da conta de serviço de uma integração a qualquer momento no painel Resumo da integração na barra de ferramentas de integração.
    4. Clique em Criar.

    Isso abre a integração na página do editor de integração.

  4. Na barra de navegação do editor de integração, clique em Gatilhos para conferir a lista de acionadores disponíveis.
  5. Clique e coloque o elemento Gatilho do Apache Kafka no editor de integração.

    6. Para configurar o gatilho do Apache Kafka, use uma conexão do Apache Kafka disponível nos conectores de integração ou crie uma nova usando a opção de criação de conexão inline.

Configurar o acionador do Apache Kafka usando uma conexão existente

É possível configurar o gatilho do Apache Kafka usando uma conexão atual do Apache Kafka no Integration Connectors. O gatilho do Apache Kafka é um acionador de evento do conector. Portanto, só é possível usar uma conexão do Apache Kafka com a assinatura de evento ativada para configurar o acionador.

Saiba como configurar um gatilho do Apache Kafka usando uma nova conexão do Apache Kafka, consulte Configurar o gatilho do Apache Kafka usando uma nova conexão.

Para configurar um gatilho do Apache Kafka usando uma conexão do Apache Kafka, siga estas etapas:

  1. Clique no elemento de gatilho do Apache Kafka no editor de integração para abrir o painel de configuração do acionador.
  2. Clique em Configurar gatilho.
  3. Informe os seguintes detalhes de configuração na página Editor de gatilho de evento do conector:
    1. Região: selecione a região da sua conexão do Apache Kafka.
    2. Conexão:selecione a conexão do Apache Kafka que você quer usar.

      A Application Integration exibe apenas as conexões do Apache Kafka que estão ativas e têm uma assinatura de evento ativada.

    3. Nome do tópico: digite o nome do tópico.
    4. ID do grupo de consumidores: se preferir, insira o ID do grupo de consumidores que especifica o nome do grupo ao qual o consumidor do Kafka pertence.
    5. Partição: insira a partição se você quiser se inscrever em uma partição específica. As partições são uma maneira de dividir um tópico em várias partes e armazenar cada parte em um nó diferente do cluster.
    6. Deslocamento inicial: selecione a estratégia de redefinição de deslocamento:
      • Se você selecionar mais cedo, sua conexão consumirá mensagens não consumidas, incluindo aquelas produzidas antes do ciclo de vida do grupo de consumidores.
      • Se você selecionar latest, sua conexão consumirá mensagens produzidas após a criação do grupo de consumidores.
    7. Conta de serviço: selecione uma conta de serviço com os papéis do IAM necessários para o acionador do Apache Kafka.
  4. Clique em Concluído.

Configurar o gatilho do Apache Kafka usando uma nova conexão

Para configurar o acionador do Apache Kafka usando uma nova conexão do Apache Kafka, siga estas etapas:

  1. Clique no elemento Gatilho do Apache Kafka no editor de integração para abrir o painel de configuração do gatilho.
  2. Clique em Configurar gatilho do Apache Kafka.
  3. Ignore o campo Região.
  4. Clique em Conexão e selecione a opção Criar conexão na lista. O painel Criar conexão é exibido.
  5. Na etapa Local, escolha o local da nova conexão do Apache Kafka:
    1. Região: selecione uma região na lista.
    2. Clique em Próxima.
  6. Na etapa Detalhes da conexão, forneça detalhes sobre a nova conexão do Apache Kafka:
    1. Versão do conector:escolha na lista uma versão do conector Apache Kafka disponível.
    2. Nome da conexão: insira um nome para a conexão do Apache Kafka.
    3. (Opcional) Descrição: insira uma descrição para a conexão.
    4. (Opcional) Ativar o Cloud Logging: marque esta caixa de seleção para armazenar todos os dados de registro da conexão.
    5. Conta de serviço: selecione uma conta de serviço com os papéis do IAM necessários para a conexão do Apache Kafka.
    6. A opção Ativar assinatura de eventos, entidade e ações é selecionada por padrão para a conexão com o Apache Kafka.
    7. Esquema de detecção de tipo: selecione MessageOnly.
    8. Serviço de registro: o serviço de registro de esquema usado para trabalhar com esquemas de tópicos.
    9. Tipo de registro: tipo de esquema especificado para um tópico específico.
    10. Versão do registro: versão do esquema lido de RegistryUrl para o tópico especificado.
    11. Usuário do Registro: valor do nome de usuário ou da chave de acesso a ser autorizado com o servidor especificado em RegistryUrl.
    12. Senha do registro: o Secret do Secret Manager que contém o valor da senha/chave secreta para autorizar com o servidor especificado em RegistryUrl.
    13. Opcionalmente, defina as Configurações do nó de conexão:

      • Número mínimo de nós: digite o número mínimo de nós de conexão.
      • Número máximo de nós: digite o número máximo de nós de conexão.

      Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.

    14. Outra opção é clicar em + ADICIONAR MARCADOR para adicionar um rótulo à conexão na forma de um par de chave-valor.
    15. Ativar SSL: este campo define se o SSL será ativado.
    16. Clique em Próxima.
  7. Na seção Destinos, insira os detalhes do host remoto (sistema de back-end) ao qual você quer se conectar.
    1. Tipo de destino: selecione um Tipo de destino.
      • Selecione Endereço do host na lista para especificar o nome do host ou o endereço IP do destino.
      • Para estabelecer uma conexão particular com seus sistemas de back-end, Selecione Anexo de endpoint na lista e depois selecione o anexo de endpoint necessário. na lista Endpoint Attachment.

      Para estabelecer uma conexão pública com os sistemas de back-end com mais segurança, considere configurar endereços IP de saída estáticos para suas conexões e configure as regras de firewall para autorizar apenas os endereços IP estáticos específicos.

      Para inserir outros destinos, clique em +ADICIONAR DESTINO.

    2. Clique em Next.
  8. Na seção Autenticação, insira os detalhes da autenticação.
    1. Selecione um Tipo de autenticação e insira os detalhes relevantes.

      A conexão do Apache Kafka oferece suporte aos seguintes tipos de autenticação:

      • Nome de usuário e senha
        • Nome de usuário: o nome de usuário do Apache Kafka que vai ser usado para a conexão.
        • Senha: o Secret do Secret Manager que contém a senha associada ao nome de usuário do Apache Kafka.
        • Esquema de autenticação: o esquema usado para autenticação.

          O esquema de autenticação a seguir é compatível com a conexão do Apache Kafka:

          • Simples
          • SCRAM-SHA-1 (link em inglês)
          • SCRAM-SHA-256
      • Indisponível

        Se você quiser usar o login anônimo, selecione Não disponível.

    2. Clique em Próxima.
  9. Insira a configuração de mensagens inativas. Se você configurar a letra inativa, a conexão vai gravar os eventos não processados no tópico do Pub/Sub especificado. Digite os seguintes detalhes:
    1. ID do projeto de caixa de destino: o ID do projeto do Google Cloud em que você configurou o tópico de caixa de destino do Pub/Sub.
    2. Tópico de mensagens inativas: o tópico do Pub/Sub em que você quer gravar os detalhes do evento não processado.
  10. Clique em Próxima.
  11. Revisão: revise os detalhes de conexão e autenticação.
  12. Clique em Criar.

Saída do gatilho

O gatilho do Apache Kafka leva alguns minutos para concluir a configuração da assinatura de eventos. É possível conferir o status da assinatura de evento no painel de configuração do acionador em Detalhes da assinatura de evento.

O acionador do Apache Kafka indica o status de uma assinatura de evento usando os seguintes estados:

  • Creating: indica que o acionador está se inscrevendo na assinatura de eventos.
  • Active: indica que o acionador foi inscrito em uma assinatura de evento.
  • Error: indica que há um problema com a assinatura de evento configurada.

Além do status da inscrição no evento, a seção Detalhes da assinatura do evento também exibe outros detalhes, como a região da conexão, o nome da conexão e o nome da assinatura do evento.

Variável de saída do acionador

Para cada evento, o acionador do Apache Kafka gera um ConnectorEventPayload. variável de saída (no formato JSON) que pode ser usada nas tarefas downstream. A variável de saída terá o payload do evento do Apache Kafka. Exemplo: 

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Conferir assinaturas de eventos

Para conferir e gerenciar todas as assinaturas de eventos associadas a uma conexão nos Conectores de integração, faça o seguinte:

  1. Acesse Integration Connectors > Conexões.

    Acessar a página "Conexões"

  2. Clique na conexão que tem as assinaturas que você quer conferir.
  3. Clique na guia Inscrições de eventos.

    Isso mostra todas as assinaturas de eventos da conexão.

Editar acionador do Apache Kafka

É possível editar um gatilho do Apache Kafka para alterar ou atualizar a configuração da conexão e os detalhes da assinatura de eventos.

Para editar um gatilho do Apache Kafka, siga estas etapas:

  1. Clique no elemento Gatilho do Apache Kafka no editor de integração para abrir o painel de configuração do gatilho.
  2. Clique em Configurar acionador do Apache Kafka.
  3. Faça o seguinte na página Editor do acionador de evento do conector:
    1. Para manter a assinatura de eventos configurada anteriormente, clique em Reter. Caso contrário, clique em Excluir.
    2. Atualize a configuração da conexão e os detalhes de inscrição no evento conforme desejado.
    3. Clique em Concluído.

    4. Confira os detalhes atualizados da conexão e da assinatura do evento no painel de configuração do acionador em Detalhes da assinatura do evento.

Cotas e limites

Para informações sobre o assunto, consulte Cotas e limites.

A seguir