E/S gerenciada do Dataflow para Apache Kafka

A E/S gerenciada oferece suporte à leitura e gravação no Apache Kafka.

Requisitos

Requer a versão 2.58.0 ou posterior do SDK do Apache Beam para Java.

Configuração

A E/S gerenciada usa os seguintes parâmetros de configuração para o Apache Kafka.

Ler e gravar configuração Tipo de dado Descrição
bootstrap_servers string Obrigatório. Uma lista separada por vírgulas de servidores de inicialização Kafka. Exemplo: localhost:9092.
topic string Obrigatório. O tópico do Kafka a ser lido ou gravado.
file_descriptor_path string O caminho para um conjunto de descritores de arquivos de buffer de protocolo. Aplicável apenas se data_format for "PROTO".
data_format string O formato das mensagens. Valores aceitos: "AVRO", "JSON", "PROTO", "RAW". O valor padrão é "RAW", que lê ou grava os bytes brutos do payload da mensagem.
message_name string O nome da mensagem do buffer de protocolo. Obrigatório se data_format for "PROTO".
schema string

O esquema de mensagem do Kafka. O tipo de esquema esperado depende do formato de dados:

Para pipelines de leitura, esse parâmetro é ignorado se confluent_schema_registry_url estiver definido.

Ler configuração Tipo de dado Descrição
auto_offset_reset_config string

Especifica o comportamento quando não há um deslocamento inicial ou o deslocamento atual não existe mais no servidor Kafka. Os valores a seguir são compatíveis:

  • "earliest": redefinir o deslocamento para o valor mais antigo.
  • "latest": redefine o deslocamento para o mais recente.

O valor padrão é "latest".

confluent_schema_registry_subject string O assunto de um registro de esquema do Confluent. Obrigatório se confluent_schema_registry_url for especificado
confluent_schema_registry_url string O URL de um registro de esquema do Confluent. Se especificado, o parâmetro schema será ignorado.
consumer_config_updates mapa Define parâmetros de configuração para o consumidor do Kafka. Para mais informações, consulte Configurações do consumidor na documentação do Kafka. É possível usar esse parâmetro para personalizar o consumidor do Kafka.
max_read_time_seconds int O tempo máximo de leitura, em segundos. Essa opção produz um PCollection limitado e é destinada principalmente a testes ou outros cenários que não são de produção.
Gravar configuração Tipo de dado Descrição
producer_config_updates mapa Define parâmetros de configuração para o produtor do Kafka. Para mais informações, consulte Configurações do produtor na documentação do Kafka. É possível usar esse parâmetro para personalizar o produtor do Kafka.

Para ler mensagens Avro ou JSON, você precisa especificar um esquema de mensagem. Para definir um esquema diretamente, use o parâmetro schema. Para fornecer o esquema por um registro de esquema do Confluent, defina os parâmetros confluent_schema_registry_url e confluent_schema_registry_subject.

Para ler ou gravar mensagens do buffer de protocolo, especifique um esquema de mensagem ou defina o parâmetro file_descriptor_path.

Para mais informações e exemplos de código, consulte os seguintes tópicos: