Apache Kafka

Com o conector do Apache Kafka, você realiza operações de inserção, exclusão, atualização e leitura no banco de dados do Apache Kafka.

Versões compatíveis

O conector do Apache Kafka aproveita as bibliotecas de cliente nativas para estabelecer uma conexão com um determinado cluster do Kafka, e o conector funciona com a versão 3.3.1 do cliente. No entanto, o conector pode estabelecer conectividade com clusters do Kafka das versões 3.0 a 3.3.1.

Antes de começar

Antes de usar o conector do Apache Kafka, faça as seguintes tarefas:

  • No seu projeto do Google Cloud, faça o seguinte:
    • Conceda o papel do IAM roles/connectors.admin ao usuário que estiver configurando o conector.
    • Conceda os seguintes papéis de IAM à conta de serviço que você quer usar para o conector:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Uma conta de serviço é um tipo especial de Conta do Google destinada a representar um usuário não humano que precisa ser autenticado e autorizado a acessar dados nas APIs do Google. Se você não tiver uma conta de serviço, será necessário criar uma. Para mais informações, consulte Como criar uma conta de serviço.

    • Ative os seguintes serviços:
      • secretmanager.googleapis.com (API Secret Manager)
      • connectors.googleapis.com (API Connectors)

      Para entender como ativar os serviços, consulte Como ativar serviços.

    Se esses serviços ou permissões não tiverem sido ativados no seu projeto, você precisará ativá-los ao configurar o conector.

Configurar o conector

Para configurar o conector, crie uma conexão com a fonte de dados (sistema de back-end). Uma conexão é específica a uma fonte de dados. Isso significa que, se você tiver muitas fontes de dados, precisará criar uma conexão separada para cada uma. Para criar uma conexão, siga estas etapas:

  1. No console do Cloud, acesse a página Integration Connectors > Conexões e selecione ou crie um projeto do Google Cloud.

    Acesse a página "Conexões"

  2. Clique em + CRIAR NOVO para abrir a página Criar conexão.
  3. Na etapa Local, escolha o local da nova conexão do Apache Kafka:
    1. Região:selecione uma região na lista.
    2. Clique em Próxima.
  4. Na etapa Detalhes da conexão, informe detalhes sobre a nova conexão do Apache Kafka:
    1. Versão do conector: escolha uma versão disponível do conector Apache Kafka na lista.
    2. Nome da conexão: insira um nome para a conexão do Apache Kafka.
    3. (Opcional) Descrição : insira uma descrição para a conexão.
    4. (Opcional) Ativar o Cloud Logging:marque essa caixa de seleção para armazenar todos os dados de registro da conexão.
    5. Conta de serviço: selecione uma conta de serviço com os papéis do IAM necessários para a conexão do Apache Kafka.
    6. A opção Ativar inscrição de eventos, entidades e ações é selecionada por padrão para a conexão do Apache Kafka.
    7. Esquema de detecção de tipo: selecione MessageOnly.
    8. Serviço de registro: o serviço de registro de esquema usado para trabalhar com esquemas de tópicos.
    9. Tipo de registro: tipo de esquema especificado para um tópico específico.
    10. Versão do registro: versão do esquema lida em RegistryUrl para o tópico especificado.
    11. Usuário do Registro: nome de usuário ou chave de acesso a ser autorizado no servidor especificado em RegistryUrl.
    12. Senha de Registro: Secret Manager contendo o valor de senha/chave secreta a ser autorizada no servidor especificado em RegistryUrl.
    13. Opcionalmente, defina as Configurações do nó de conexão:

      • Número mínimo de nós: digite o número mínimo de nós de conexão.
      • Número máximo de nós: digite o número máximo de nós de conexão.

      Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.

    14. Também é possível clicar em + ADICIONAR RÓTULO para adicionar um rótulo à conexão na forma de um par de chave-valor.
    15. Ativar SSL: este campo define se o SSL está ativado.
    16. Clique em Próxima.
  5. Na seção Destinos, insira os detalhes do host remoto (sistema de back-end) ao qual você quer se conectar.
    1. Tipo de destino: selecione um Tipo de destino.
      1. No campo Endereço do host, especifique o nome do host ou o endereço IP do destino.
        1. Se você quiser estabelecer uma conexão privada com seus sistemas de back-end, siga estas etapas:
          1. Crie um anexo do serviço PSC.
          2. Crie um anexo de endpoint e insira os detalhes dele no campo Endereço do host.
        2. Se você quiser estabelecer uma conexão pública com seus sistemas de back-end com mais segurança, considere configurar endereços IP estáticos de saída para suas conexões e, em seguida, configure suas regras de firewall para colocar na lista de permissões apenas os endereços IP estáticos específicos.

      Para inserir outros destinos, clique em +ADICIONAR DESTINO.

    2. Clique em Próxima.
  6. Na seção Autenticação, insira os detalhes da autenticação.
    1. Selecione um Tipo de autenticação e insira os detalhes relevantes.

      Os seguintes tipos de autenticação são compatíveis com a conexão do Apache Kafka:

      • Nome de usuário e senha
        • Nome de usuário: o nome de usuário do Apache Kafka que vai ser usado para a conexão.
        • Senha: o Secret do Secret Manager que contém a senha associada ao nome de usuário do Apache Kafka.
        • Esquema de autenticação: o esquema usado para autenticação.

          A conexão do Apache Kafka aceita o esquema de autenticação a seguir:

          • Simples
          • SCRAM-SHA-1 (em inglês)
          • SCRAM-SHA-256 (em inglês)
      • Indisponível

        Se você quiser usar o login anônimo, selecione Não disponível.

    2. Clique em Próxima.
  7. Insira a configuração de mensagens inativas. Se você configurar a mensagem inativa, a conexão gravará os eventos não processados no tópico do Pub/Sub especificado. Digite os seguintes detalhes:
    1. ID do projeto de mensagens inativas: o ID do projeto do Google Cloud em que você configurou o tópico do Pub/Sub de mensagens inativas.
    2. Tópico de mensagens inativas: o tópico do Pub/Sub em que você quer escrever os detalhes do evento não processado.
  8. Clique em Próxima.
  9. Revisão: revise os detalhes de conexão e autenticação.
  10. Clique em Criar.

Entidades, operações e ações

Todos os Integration Connectors fornecem uma camada de abstração para os objetos do aplicativo conectado. Só é possível acessar os objetos de um aplicativo por esta abstração. A abstração é exposta a você como entidades, operações e ações.

  • Entidade: uma entidade pode ser considerada um objeto ou um conjunto de propriedades no aplicativo ou serviço conectado. A definição de uma entidade difere de um conector para outro. Por exemplo, em um conector de banco de dados, as tabelas são as entidades, em um conector de servidor de arquivos, as pastas são as entidades e, em um conector de sistema de mensagens, as filas são as entidades.

    No entanto, é possível que um conector não aceite ou não tenha entidades. Nesse caso, a lista Entities estará vazia.

  • Operação: uma operação é a atividade que pode ser realizada em uma entidade. É possível executar qualquer uma das seguintes operações em uma entidade:

    Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para ela. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa "Conectores". No entanto, se um conector não oferecer suporte a nenhuma das operações da entidade, essas operações não serão listadas na lista Operations.

  • Ação: uma ação é uma função de primeira classe disponibilizada para a integração por meio da interface do conector. Uma ação permite fazer alterações em uma ou mais entidades e varia de um conector para outro. No entanto, é possível que o conector não ofereça suporte a nenhuma ação. Nesse caso, a lista Actions estará vazia.

Limitações do sistema

O conector do Apache Kafka pode processar no máximo 50 transações por segundo, por nó, e limitar qualquer transação além desse limite. Por padrão, os Integration Connectors alocam dois nós (para melhor disponibilidade) para uma conexão.

Para informações sobre os limites aplicáveis aos Integration Connectors, consulte Limites.

Ações

Ação PublishMessage

Esta ação publica uma mensagem em um tópico do Apache Kafka. As tabelas a seguir descrevem os parâmetros de entrada e saída da ação PublishMessage.

Parâmetros de entrada

Nome do parâmetro Obrigatório Tipo de dados Descrição
Tópico Sim String O nome do tópico em que você quer publicar a mensagem.
Partição Não String A partição à qual a mensagem é atribuída. O valor precisa ser válido para o tópico especificado. Se você não definir esse valor, ele será definido automaticamente pelo cliente nativo.
Chave Não String A chave da mensagem.
Mensagem Sim String A mensagem que você quer publicar. A mensagem precisa ser um JSON em string e o tamanho máximo permitido é de 10 MB.
HasBytes Não Booleano Especifica se a mensagem está no formato binário.
MessageBytes Não String A mensagem na forma de uma string codificada em Base64.
Validar Não Booleano Especifica se a mensagem a ser publicada precisa ser validada em relação ao esquema de mensagem definido no registro de esquema do tópico. Se você tiver especificado o registro de esquema ao criar uma conexão, a definição de esquema do tópico do registro será usada para fins de validação. O valor padrão deste campo é false.

Parâmetros de saída

Nome do parâmetro Tipo de dados Descrição
PartitionWritten Inteiro A partição em que a mensagem foi gravada.
OffsetWritten Longo A posição na partição em que a mensagem foi gravada.
TimestampWritten Longo A hora (carimbo de data/hora Unix) em que a mensagem foi confirmada na partição.
KeyWritten String O valor da chave de mensagem que foi gravada. O valor será NULL se nenhuma chave de mensagem tiver sido fornecida durante a gravação da mensagem.
Concluído Booleano Especifica se a mensagem foi publicada.

Um exemplo de resposta da ação PublishMessage é o seguinte:

{Success: true,
PartitionWritten: 1,
OffsetWritten: 22301,
KeyWritten: "dGVzdA==",
TimestampWritten: 1690806748}

Configuração do Confluent Cloud

A configuração do Confluent Cloud é um pouco diferente das etapas documentadas anteriormente para o Apache Kafka. Considere os seguintes pontos ao criar uma conexão com o Confluent Cloud:

  • A chave de API do cluster do Confluent Cloud é usada como nome de usuário, e o secret do Secret Manager da chave é usado como senha para se conectar aos servidores de inicialização. Crie uma chave de API no Confluent Cloud se ainda não tiver uma.
  • Selecione Usar SSL na seção Connection Details.
  • Se você estiver usando o registro de esquema, configure os seguintes valores:
    • Na seção Connection Details:
      • Versão do registro: digite o número da versão do registro. Se você quiser usar a versão mais recente, insira latest.
      • Usuário do registro: insira a chave de API do registro do esquema. Crie uma chave de API do registro do esquema se ainda não tiver uma.
      • Senha do registro: digite o secret do Secret Manager da senha do registro.
      • Versão do secret: selecione o número da versão do secret.
      • Tipo de registro: selecione Confluent.
      • Esquema de detecção de tipo: selecione MessageOnly
    • Na seção Destinations, digite o URL do registro no campo nome do host.

    Usar o Terraform para criar conexões

    Use o recurso do Terraform (em inglês) para criar uma nova conexão.

    Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform.

    Confira um exemplo de modelo do Terraform para criar uma conexão em exemplo.

    Ao criar essa conexão usando o Terraform, você precisa definir as seguintes variáveis no arquivo de configuração do Terraform:

    Nome do parâmetro Tipo de dados Obrigatório Descrição
    type_detection_scheme ENUM Verdadeiro O esquema usado para autenticação com o agente Apache Kafka. Os valores aceitos são: MessageOnly
    registry_service ENUM Falso O serviço de registro de esquema usado para trabalhar com esquemas de tópicos. Os valores aceitos são: Confluent
    registry_type ENUM Falso Tipo de esquema especificado para um tópico específico. Os valores aceitos são: AVRO, JSON
    registry_version STRING Falso Versão do esquema lida do RegistryUrl para o tópico especificado. Os valores válidos para a versão do registro estão entre [1,2^31-1] ou a string "latest", que retorna o último esquema registrado.
    registry_user STRING Falso Nome de usuário a ser autorizado com o servidor especificado em RegistryUrl .
    registry_password SECRET Falso Secret do Secret Manager que contém o valor da senha/chave secreta a ser autorizado com o servidor especificado no RegistryUrl.
    usessl BOOLEAN Falso Este campo define se o SSL está ativado.

    Usar a conexão do Apache Kafka em uma integração

    Depois de criar a conexão, ela ficará disponível tanto na Apigee Integration quanto na Application Integration. Use a conexão em uma integração por meio da tarefa Conectores.

    • Para entender como criar e usar a tarefa Conectores na integração da Apigee, consulte Tarefa Conectores.
    • Para entender como criar e usar a tarefa de conectores na Application Integration, consulte Tarefa "Conectores".

    Receber ajuda da comunidade do Google Cloud

    Poste suas dúvidas e converse sobre esse conector na comunidade do Google Cloud em Fóruns do Cloud.

    A seguir