Consulte os conectores compatíveis com o Application Integration.

Gatilho do Apache Kafka

O gatilho do Apache Kafka é um gatilho de evento do conector que permite invocar uma integração com base nos eventos do Apache Kafka a que você se inscreveu na sua conexão com o Apache Kafka.

Antes de começar

Se você planeja criar ou configurar uma nova conexão para o gatilho do Apache Kafka, verifique se tem o seguinte papel do Identity and Access Management (IAM) no projeto:

  • Administrador do conector (roles/connectors.admin)

    • Para mais informações sobre como conceder papéis, consulte Gerenciar o acesso.

Conceda os seguintes papéis do IAM à conta de serviço que você quer usar para o gatilho do Apache Kafka:

  • Invocador do Application Integration (roles/integrations.integrationInvoker)

    • Para informações sobre como conceder papéis a uma conta de serviço, consulte Gerenciar o acesso a contas de serviço.

Limitação

O gatilho do Apache Kafka está sujeito às seguintes limitações:

  • Não é compatível com o protocolo de segurança SASL_SSL para assinaturas de eventos com um truststore particular.
  • Não há suporte para mTLS em assinaturas de eventos.

Adicionar o gatilho do Apache Kafka

Para adicionar um gatilho do Apache Kafka à sua integração, siga estas etapas:

  1. No console Google Cloud , acesse a página Application Integration.

    Acessar o Application Integration

  2. No menu de navegação, clique em Integrações.

    A página Lista de integrações aparece com todas as integrações disponíveis no projeto do Google Cloud.

  3. Selecione uma integração ou clique em Criar integração para criar uma.

    Caso você esteja criando uma nova integração, siga estas etapas:

    1. Digite um nome e uma descrição no painel Criar integração.
    2. Selecione uma região para a integração.
    3. Selecione uma conta de serviço para a integração. É possível mudar ou atualizar os detalhes da conta de serviço de uma integração a qualquer momento no painel Resumo da integração na barra de ferramentas de integração.
    4. Clique em Criar.

    A integração recém-criada é aberta no editor de integração.

  4. Na barra de navegação do editor de integração, clique em Acionadores para conferir a lista de acionadores disponíveis.
  5. Clique e posicione o elemento Gatilho do Apache Kafka no editor de integração.

    6. Para configurar o gatilho do Apache Kafka, use uma conexão do Apache Kafka disponível no Integration Connectors ou crie uma nova usando a opção de criação de conexão inline.

Configurar um gatilho do Apache Kafka usando uma conexão existente

É possível configurar o acionador do Apache Kafka usando uma conexão do Apache Kafka nos Conectores de integração. O gatilho do Apache Kafka é um gatilho de evento do conector. Portanto, só é possível usar uma conexão do Apache Kafka com a assinatura de eventos ativada para configurar o gatilho.

Para saber como configurar um gatilho do Apache Kafka usando uma nova conexão do Apache Kafka, consulte Configurar um gatilho do Apache Kafka usando uma nova conexão.

Para configurar um gatilho do Apache Kafka usando uma conexão do Apache Kafka, siga estas etapas:

  1. Clique no elemento gatilho do Apache Kafka no editor de integração para abrir o painel de configuração do gatilho.
  2. Clique em Configurar acionador.
  3. Forneça os seguintes detalhes de configuração na página Editor de gatilho de evento do conector:
    1. Região:selecione a região da sua conexão do Apache Kafka.
    2. Conexão:selecione a conexão do Apache Kafka que você quer usar.

      Application Integration mostra apenas as conexões do Apache Kafka que estão ativas e têm uma assinatura de evento ativada.

    3. Nome do tópico: insira o nome do tópico.
    4. ID do grupo de consumidores: opcionalmente, insira o ID do grupo de consumidores que especifica o nome do grupo a que o consumidor do Kafka pertence.
    5. Partição: insira a partição se quiser assinar uma específica. As partições são uma maneira de dividir um tópico em várias partes e armazenar cada parte em um nó diferente no cluster.
    6. Deslocamento inicial: selecione a estratégia de redefinição de deslocamento:
      • Se você selecionar mais antiga, sua conexão vai consumir mensagens não consumidas, incluindo as produzidas antes da vida útil do grupo de consumidores.
      • Se você selecionar latest, sua conexão vai consumir mensagens produzidas depois da criação do grupo de consumidores.
    7. Conta de serviço: selecione uma conta de serviço com os papéis do IAM necessários para o gatilho do Apache Kafka.
  4. Clique em Concluído.

Configurar um gatilho do Apache Kafka usando uma nova conexão

Para configurar o gatilho do Apache Kafka usando uma nova conexão do Apache Kafka, siga estas etapas:

  1. Clique no elemento gatilho do Apache Kafka no editor de integração para abrir o painel de configuração do gatilho.
  2. Clique em Configurar acionador do Apache Kafka.
  3. Ignore o campo Região.
  4. Clique em Conexão e selecione a opção Criar conexão na lista. O painel Criar conexão é exibido.
  5. Na etapa Local, escolha o local da nova conexão do Apache Kafka:
    1. Região:selecione uma região na lista.
    2. Clique em Próxima.
  6. Na etapa Detalhes da conexão, forneça detalhes sobre a nova conexão do Apache Kafka:
    1. Versão do conector:escolha uma versão disponível do conector do Apache Kafka na lista.
    2. Nome da conexão:insira um nome para a conexão do Apache Kafka.
    3. (Opcional) Descrição : insira uma descrição para a conexão.
    4. (Opcional) Ativar o Cloud Logging:marque esta caixa de seleção para armazenar todos os dados de registro da conexão.
    5. Conta de serviço: selecione uma conta de serviço com os papéis do IAM necessários para a conexão do Apache Kafka.
    6. A opção Ativar assinatura de eventos, entidade e ações é selecionada por padrão para a conexão do Apache Kafka.
    7. Esquema de detecção de tipo : selecione MessageOnly.
    8. Serviço de registro: o serviço de registro de esquema usado para trabalhar com esquemas de tópicos.
    9. Tipo de registro: tipo de esquema especificado para um tópico específico.
    10. Versão do registro: versão do esquema lido de RegistryUrl para o tópico especificado.
    11. Usuário do registro: valor do nome de usuário ou da chave de acesso para autorizar com o servidor especificado em RegistryUrl.
    12. Senha do registro: o Secret do Secret Manager que contém o valor da senha/chave secreta para autorizar com o servidor especificado em RegistryUrl.
    13. Opcionalmente, defina as Configurações do nó de conexão:

      • Número mínimo de nós: digite o número mínimo de nós de conexão.
      • Número máximo de nós: digite o número máximo de nós de conexão.

      Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.

    14. Outra opção é clicar em + ADICIONAR MARCADOR para adicionar um rótulo à conexão na forma de um par de chave-valor.
    15. Ativar SSL: este campo define se o SSL está ativado.
    16. Clique em Próxima.
  7. Na seção Destinos, insira os detalhes do servidor de bootstrap do Kafka a que você quer se conectar.
    1. Tipo de destino: selecione um Tipo de destino.
      • Para especificar o nome do host ou o endereço IP de destino, selecione Endereço do host e insira o endereço no campo Host 1.
      • Para estabelecer uma conexão particular, selecione Anexo de endpoint e escolha o anexo necessário na lista Anexo de endpoint.

      Para estabelecer uma conexão pública com os sistemas de back-end com mais segurança, considere configurar endereços IP de saída estáticos para suas conexões e configure as regras de firewall para autorizar apenas os endereços IP estáticos específicos.

      Para especificar outros servidores de inicialização do Kafka, clique em + ADICIONAR DESTINO.

    2. Clique em Próxima.
  8. Na seção Autenticação, insira os detalhes da autenticação.
    1. Selecione um Tipo de autenticação e insira os detalhes relevantes.

      Os seguintes tipos de autenticação são compatíveis com a conexão do Apache Kafka:

      • Nome de usuário e senha
        • Nome de usuário: o nome de usuário do Apache Kafka que vai ser usado para a conexão.
        • Senha: o Secret do Secret Manager que contém a senha associada ao nome de usuário do Apache Kafka.
        • Esquema de autenticação: o esquema usado para autenticação.

          A conexão do Apache Kafka é compatível com os seguintes esquemas de autenticação:

          • Simples
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Indisponível

        Se você quiser usar o login anônimo, selecione Não disponível.

    2. Clique em Próxima.
  9. Insira a configuração de mensagens inativas. Se você configurar a carta inativa, a conexão gravará os eventos não processados no tópico do Pub/Sub especificado. Digite os seguintes detalhes:
    1. ID do projeto de dead-letter : o ID do projeto do Google Cloud em que você configurou o tópico de dead-letter do Pub/Sub.
    2. Tópico de mensagens mortas : o tópico do Pub/Sub em que você quer gravar os detalhes do evento não processado.
  10. Clique em Próxima.
  11. Revisão: revise os detalhes de conexão e autenticação.
  12. Clique em Criar.

Saída do gatilho

O gatilho do Apache Kafka leva alguns minutos para concluir a configuração da assinatura de evento. É possível conferir o status da sua assinatura de evento no painel de configuração do gatilho, em Detalhes da assinatura de evento.

O gatilho do Apache Kafka indica o status de uma assinatura de evento usando os seguintes estados:

  • Creating: indica que o gatilho está se inscrevendo na assinatura de evento.
  • Active: indica que o acionador foi inscrito em uma assinatura de evento.
  • Error: indica que há um problema com a assinatura de evento configurada.

Além do status da inscrição no evento, a seção Detalhes da inscrição no evento também mostra outros detalhes, como região e nome da conexão e nome da inscrição no evento.

Variável de saída do acionador

Para cada evento, o acionador do Apache Kafka gera uma variável de saída ConnectorEventPayload (no formato JSON) que pode ser usada nas tarefas downstream. A variável de saída terá o payload do evento do Apache Kafka. Exemplo: 

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Ver inscrições em eventos

Para visualizar e gerenciar todas as assinaturas de eventos associadas a uma conexão no Integration Connectors, faça o seguinte:

  1. Acesse a página Integration Connectors > Conexões.

    Acessar a página "Conexões"

  2. Clique na conexão para ver as assinaturas.
  3. Clique na guia Assinaturas de eventos.

    Isso mostra todas as inscrições em eventos da conexão.

Editar gatilho do Apache Kafka

É possível editar um gatilho do Apache Kafka para mudar ou atualizar a configuração de conexão e os detalhes da inscrição no evento.

Para editar um gatilho do Apache Kafka, siga estas etapas:

  1. Clique no elemento gatilho do Apache Kafka no editor de integração para abrir o painel de configuração do gatilho.
  2. Clique em Configurar acionador do Apache Kafka.
  3. Faça o seguinte na página Editor de gatilho de evento do conector:
    1. Para manter a assinatura de evento configurada anteriormente, clique em Manter. Caso contrário, clique em Excluir.
    2. Atualize a configuração de conexão e os detalhes da inscrição no evento conforme necessário.
    3. Clique em Concluído.

    4. Você pode conferir os detalhes atualizados da conexão e da assinatura de evento no painel de configuração do gatilho em Detalhes da assinatura de evento.

Cotas e limites

Para informações sobre o assunto, consulte Cotas e limites.

A seguir