Apache Kafka

O conector do Apache Kafka permite executar operações de inserção, exclusão, atualização e leitura no banco de dados do Apache Kafka.

Versões compatíveis

O conector Apache Kafka aproveita as bibliotecas de cliente nativas para estabelecer uma conexão com em um determinado cluster do Kafka, e o conector funciona com a versão 3.3.1 do cliente. No entanto, o conector pode estabelecer conectividade com clusters do Kafka das versões 3.0 a 3.3.1.

Antes de começar

Antes de usar o conector do Apache Kafka, faça o seguinte:

• No seu projeto do Google Cloud, faça o seguinte:
  • Conceder o papel do IAM roles/connectors.admin ao usuário e configurar o conector.
  • Conceda os seguintes papéis de IAM à conta de serviço que você quer usar para o conector:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Uma conta de serviço é um tipo especial de Conta do Google destinada a representar um usuário não humano que precisa ser autenticado e autorizado a acessar dados nas APIs do Google. Se você não tiver uma conta de serviço, será necessário criar uma. Para mais informações, consulte Como criar uma conta de serviço.

  • Ative os seguintes serviços:
    • secretmanager.googleapis.com (API Secret Manager)
    • connectors.googleapis.com (API Connectors)

    Para entender como ativar os serviços, consulte Como ativar serviços.

  Se esses serviços ou permissões não tiverem sido ativados no seu projeto, você precisará ativá-los ao configurar o conector.

Configurar o conector

Para configurar o conector, crie uma conexão com a fonte de dados (sistema de back-end). Uma conexão é específica a uma fonte de dados. Isso significa que, se você tiver muitas fontes de dados, precisará criar uma conexão separada para cada uma. Para criar uma conexão, siga estas etapas:

1. No console do Cloud, acesse a página Integration Connectors > Conexões e selecione ou crie um projeto do Google Cloud.

   Acessar a página "Conexões"

2. Clique em + CRIAR NOVO para abrir a página Criar conexão.
3. Na etapa Local, escolha o local da nova conexão do Apache Kafka:
   1. Região: selecione uma região na lista.
   2. Clique em Próxima.
4. Na etapa Detalhes da conexão, forneça detalhes sobre a nova conexão do Apache Kafka:
   1. Versão do conector:escolha na lista uma versão do conector Apache Kafka disponível.
   2. Connection Name:insira um nome para a conexão do Apache Kafka.
      Observação: os nomes de conexão precisam atender aos seguintes critérios:

      • Os nomes de conexões podem usar letras, números ou hifens.
      • As letras precisam ser minúsculas.
      • Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
      • Os nomes das conexões não podem ter mais de 49 caracteres.
      • Para conectores que oferecem suporte à assinatura de eventos, os nomes de conexão não podem começar com o prefixo "goog".
   3. (Opcional) Descrição: insira uma descrição para a conexão.
   4. (Opcional) Ativar o Cloud Logging: marque esta caixa de seleção para armazenar todos os dados de registro da conexão.
   5. Conta de serviço: selecione uma conta de serviço com os papéis do IAM necessários para a conexão do Apache Kafka.
   6. A opção Ativar assinatura de eventos, entidade e ações é selecionada por padrão para a conexão do Apache Kafka.
      Observação : esse conector não tem suporte ao Enable only event subscription.
   7. Esquema de detecção de tipo: selecione MessageOnly.
   8. Serviço de registro: o serviço de registro de esquema usado para trabalhar com esquemas de tópicos.
   9. Tipo de registro: tipo de esquema especificado para um tópico específico.
   10. Versão do registro: versão do esquema lido de RegistryUrl para o tópico especificado.
   11. Usuário do registro: valor do nome de usuário ou da chave de acesso para autorizar com o servidor especificado em RegistryUrl.
   12. Senha de registro: secret do Secret Manager que contém o valor da senha/chave secreta para autorizar com o servidor especificado em RegistryUrl.
   13. Opcionalmente, defina as Configurações do nó de conexão:
       • Número mínimo de nós: digite o número mínimo de nós de conexão.
       • Número máximo de nós: digite o número máximo de nós de conexão.

       Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.

   Observação: você só poderá personalizar os valores do nó de conexão se for um cliente de pagamento por utilização.
   14. Também é possível clicar em + ADICIONAR RÓTULO para adicionar um rótulo à conexão na forma de um par de chave e valor.
   15. Ativar SSL: este campo define se o SSL será ativado.
   16. Clique em Próxima.
5. Na seção Destinos, insira os detalhes do host remoto (sistema de back-end) ao qual você quer se conectar.
   1. Tipo de destino: selecione um Tipo de destino.
      • Selecione Endereço do host na lista para especificar o nome do host ou o endereço IP do destino.
      • Para estabelecer uma conexão particular com seus sistemas de back-end, Selecione Anexo de endpoint na lista e depois selecione o anexo de endpoint necessário. na lista Endpoint Attachment.
        Observação : para entender como criar um anexo de endpoint, consulte Anexo de serviço PSC e anexo de endpoint. Depois de ter criado o anexo de endpoint, ele vai aparecer na lista Anexo do endpoint.

      Para estabelecer uma conexão pública com os sistemas de back-end com mais segurança, considere configurar endereços IP de saída estáticos para suas conexões e configure as regras de firewall para autorizar apenas os endereços IP estáticos específicos.

      Para inserir outros destinos, clique em +ADICIONAR DESTINO.

   2. Clique em Next.
6. Na seção Autenticação, insira os detalhes da autenticação.
   1. Selecione um Tipo de autenticação e insira os detalhes relevantes.

      A conexão do Apache Kafka oferece suporte aos seguintes tipos de autenticação:

      • Nome de usuário e senha
        • Nome de usuário: o nome de usuário do Apache Kafka que vai ser usado para a conexão.
        • Senha: o Secret do Secret Manager que contém a senha associada ao nome de usuário do Apache Kafka.
        • Esquema de autenticação: o esquema usado para autenticação.

          O esquema de autenticação a seguir é compatível com a conexão do Apache Kafka:

          • Simples
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Indisponível

        Se você quiser usar o login anônimo, selecione Não disponível.

   2. Clique em Próxima.
7. Insira a configuração de mensagens inativas. Se você configurar mensagens inativas, a conexão gravará os eventos não processados para o tópico do Pub/Sub especificado. Digite os seguintes detalhes:
   1. ID do projeto de caixa de destino: o ID do projeto do Google Cloud em que você configurou o tópico de caixa de destino do Pub/Sub.
   2. Tópico de mensagem morta: o tópico do Pub/Sub em que você quer gravar os detalhes do evento não processado.
8. Clique em Próxima.
9. Revisão: revise os detalhes de conexão e autenticação.
10. Clique em Criar.

Entidades, operações e ações

Todos os Integration Connectors fornecem uma camada de abstração para os objetos do aplicativo conectado. Só é possível acessar os objetos de um aplicativo por esta abstração. A abstração é exposta a você como entidades, operações e ações.

Observação:você pode ver as entidades, as operações e as ações de um conector na tarefa de conectores.

• Entidade: uma entidade pode ser considerada um objeto ou um conjunto de propriedades no aplicativo ou serviço conectado. A definição de uma entidade difere de um conector para outro. Por exemplo, em um conector de banco de dados, as tabelas são as entidades, em um conector de servidor de arquivos, as pastas são as entidades e, em um conector de sistema de mensagens, as filas são as entidades.

  No entanto, é possível que um conector não aceite ou não tenha entidades. Nesse caso, a lista Entities estará vazia.

• Operação: uma operação é a atividade que pode ser realizada em uma entidade. É possível executar qualquer uma das seguintes operações em uma entidade:
  • Lista
  • Receber
  • Criar
  • Atualizar
  • Excluir

  Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para ela. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa "Conectores". No entanto, se um conector não oferecer suporte a nenhuma das operações da entidade, como as operações não estão listadas na lista Operations.

• Ação: uma ação é uma função de primeira classe disponibilizada para a integração por meio da interface do conector. Uma ação permite fazer alterações em uma ou mais entidades e varia de um conector para outro. Normalmente, uma ação tem alguns parâmetros de entrada, . No entanto, é possível que o conector não ofereça suporte a nenhuma ação. Nesse caso, a lista Actions estará vazia.

Observação: todas as entidades e ações terão um esquema associado a elas. Por exemplo, um esquema de ação terá os detalhes do parâmetro como: o parâmetro e o tipo de dados correspondente. O esquema (metadados) de entidades e ações é buscado pela conexão no ambiente de execução do back-end. Se houver atualizações no esquema, elas não serão refletidas automaticamente nas suas conexões. Faça isso manualmente. Atualizar o esquema de uma conexão, abra a página Detalhes da conexão e clique em Atualizar o esquema de conexão.

Limitações do sistema

O conector Apache Kafka pode processar no máximo 50 transações por segundo, por nó, e limita qualquer transação além desse limite. Por padrão, o Integration Connectors aloca dois nós para melhor disponibilidade para uma conexão.

Para informações sobre os limites aplicáveis aos Integration Connectors, consulte Limites.

Observação: o número de nós de Integration Connectors vai ser escalonado automaticamente de forma dinâmica com base no seu uso. No entanto, se você quiser reservar capacidade para grandes volumes aguardando o escalonamento automático, ajuste o valor mínimo do nó para uma conexão. Mais nós são necessários para processar mais transações para uma conexão. Por outro lado, menos nós são necessários se uma conexão processa menos transações. Para configurar o nó , faça o seguinte:

• Se você é um cliente de pagamento por uso, configure os valores mínimo e máximo do nó na página "Editar conexão".
• Se você tem uma assinatura entre em contato com o suporte.

O número máximo de transações que um nó pode processar depende de vários fatores. Portanto, antes de ajustar os nós mínimos para melhorar a capacidade de processamento, verifique se os sistemas de back-end estão configurados de maneira ideal para lidar com o tráfego necessário.

Ações

Ação PublishMessage

Esta ação publica uma mensagem em um tópico do Apache Kafka. As tabelas a seguir descrevem os parâmetros de entrada e saída da ação PublishMessage.

Parâmetros de entrada

Nome do parâmetro	Obrigatório	Tipo de dados	Descrição
Tópico	Sim	String	O nome do tópico em que você quer publicar a mensagem.
Partição	Não	String	A partição à qual a mensagem é atribuída. O valor deve ser válido para o tópico em questão. Se você não definir esse valor, ele será definido automaticamente pelo cliente nativo.
Chave	Não	String	A chave da mensagem.
Mensagem	Sim	String	A mensagem que você quer publicar. A mensagem precisa ser um JSON em string e o tamanho máximo permitido é de 10 MB.
HasBytes	Não	Booleano	Especifica se a mensagem está no formato binário.
MessageBytes	Não	String	A mensagem na forma de uma string codificada em Base64.
Validar	Não	Booleano	Especifica se a mensagem a ser publicada precisa ser validada em relação ao esquema de mensagem definido no registro de esquema do tópico. Se você tiver especificado o registro de esquema ao criar uma conexão, a definição de esquema do tópico do registro será usada para fins de validação. O valor padrão deste campo é false.

Parâmetros de saída

Nome do parâmetro	Tipo de dados	Descrição
PartitionWritten	Número inteiro	A partição em que a mensagem foi gravada.
OffsetWritten	Longo	A posição na partição para onde a mensagem foi gravada.
TimestampWritten	Longo	O horário (carimbo de data/hora do Unix) em que a mensagem foi confirmada na partição.
KeyWritten	String	O valor da chave de mensagem que foi gravada. O valor será NULL se nenhuma chave de mensagem tiver sido fornecida. ao escrever a mensagem.
Sucesso	Booleano	Especifica se a mensagem foi publicada.

Observação: os resultados de todas as operações e ações da entidade estarão disponíveis como uma resposta JSON no parâmetro de resposta da tarefa do Connectors connectorOutputPayload após a execução da integração.

Confira um exemplo de resposta da ação PublishMessage:

{Success: true,
PartitionWritten: 1,
OffsetWritten: 22301,
KeyWritten: "dGVzdA==",
TimestampWritten: 1690806748}

Configuração do Confluent Cloud

A configuração da Confluent Cloud é um pouco diferente das etapas documentadas anteriormente para o Apache Kafka. Considere os seguintes pontos ao criar uma conexão para a Confluent Cloud:

• A chave de API do cluster do Confluent Cloud é usada como nome de usuário, e o secret do Secret Manager da chave é usado como senha para se conectar aos servidores de inicialização. Crie uma chave de API no Confluent Cloud se ainda não tiver uma.
• Selecione Usar SSL na seção Connection Details.
• Se você estiver usando o registro de esquema, configure os seguintes valores:
  • Na seção Connection Details:
    • Versão do registro: digite o número da versão do registro. Se você quiser usar a versão mais recente versão, digite latest.
    • Usuário do registro: insira a chave de API do registro do esquema. Crie uma chave de API do registro do esquema se ainda não tiver uma.
    • Senha do registro: digite o secret do Secret Manager da senha do registro.
    • Versão do secret: selecione o número da versão do secret.
    • Tipo de registro: selecione Confluent.
    • Esquema de detecção de tipo : selecione MessageOnly
  • Na seção Destinations, digite o URL do registro no campo nome do host.

  Usar o Terraform para criar conexões

  Use o recurso do Terraform para criar uma nova conexão.

  Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform.

  Para conferir um exemplo de modelo do Terraform para criação de conexão, consulte Exemplo de modelo.

  Ao criar essa conexão usando o Terraform, defina as seguintes variáveis no arquivo de configuração do Terraform:

  Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
  type_detection_scheme	ENUM	Verdadeiro	O esquema usado para autenticação com o agente do Apache Kafka. Os valores aceitos são: MessageOnly
  registry_service	ENUM	Falso	O serviço Schema Registry usado para trabalhar com esquemas de tópicos. Os valores aceitos são: Confluent
  registry_type	ENUM	Falso	Tipo de esquema especificado para um tópico específico. Os valores aceitos são: AVRO, JSON
  registry_version	STRING	Falso	Versão do esquema lido de RegistryUrl para o tópico especificado. Os valores válidos para a versão do registro estão entre [1,2^31-1] ou a string "latest", que retorna o último esquema registrado.
  registry_user	STRING	Falso	Nome de usuário a ser autorizado com o servidor especificado em RegistryUrl .
  registry_password	SECRET	Falso	Secret do Secret Manager que contém o valor da senha/chave secreta para autorizar com o servidor especificado em RegistryUrl.
  usessl	BOOLEAN	Falso	Esse campo define se o SSL está ativado.

  Usar a conexão do Apache Kafka em uma integração

  Depois que você cria a conexão, ela fica disponível nos Apigee Integration e Application Integration. É possível usar a conexão em uma integração pela tarefa de conectores.

  • Para entender como criar e usar a tarefa Conectores na integração da Apigee, consulte a Tarefa Conectores.
  • Para entender como criar e usar a tarefa "Conectores" na integração de aplicativos, consulte Tarefa "Conectores".

  Receber ajuda da comunidade do Google Cloud

  Poste suas dúvidas e converse sobre esse conector na comunidade do Google Cloud em Fóruns do Cloud.

  A seguir

  • Entenda como suspender e retomar uma conexão.
  • Entenda como monitorar o uso do conector.
  • Saiba como acessar os registros do conector.