A E/S gerenciada oferece suporte à leitura e gravação no Apache Kafka.
Requisitos
Requer a versão 2.58.0 ou posterior do SDK do Apache Beam para Java.
Configuração
A E/S gerenciada usa os seguintes parâmetros de configuração para o Apache Kafka.
| Ler e gravar configuração | Tipo de dado | Descrição |
|---|---|---|
bootstrap_servers |
string | Obrigatório. Uma lista separada por vírgulas de servidores de inicialização
Kafka.
Exemplo: localhost:9092. |
topic |
string | Obrigatório. O tópico do Kafka a ser lido ou gravado. |
file_descriptor_path |
string | O caminho para um conjunto de descritores de arquivos de buffer de protocolo. Aplicável apenas se
data_format for "PROTO". |
data_format |
string | O formato das mensagens. Valores aceitos: "AVRO",
"JSON", "PROTO", "RAW". O
valor padrão é "RAW", que lê ou grava os bytes brutos
do payload da mensagem. |
message_name |
string | O nome da mensagem do buffer de protocolo. Obrigatório se data_format for "PROTO". |
schema |
string | O esquema de mensagem do Kafka. O tipo de esquema esperado depende do formato de dados:
Para pipelines de leitura, esse parâmetro é ignorado se
|
| Ler configuração | Tipo de dado | Descrição |
auto_offset_reset_config |
string | Especifica o comportamento quando não há um deslocamento inicial ou o deslocamento atual não existe mais no servidor Kafka. Os valores a seguir são compatíveis:
O valor padrão é |
confluent_schema_registry_subject |
string | O assunto de um registro de esquema do Confluent. Obrigatório se confluent_schema_registry_url for especificado |
confluent_schema_registry_url |
string | O URL de um registro de esquema do Confluent. Se especificado, o
parâmetro schema será ignorado. |
consumer_config_updates |
mapa | Define parâmetros de configuração para o consumidor do Kafka. Para mais informações, consulte Configurações do consumidor na documentação do Kafka. É possível usar esse parâmetro para personalizar o consumidor do Kafka. |
max_read_time_seconds |
int | O tempo máximo de leitura, em segundos. Essa opção produz um PCollection
limitado e é destinada principalmente a testes ou outros
cenários que não são de produção. |
| Gravar configuração | Tipo de dado | Descrição |
producer_config_updates |
mapa | Define parâmetros de configuração para o produtor do Kafka. Para mais informações, consulte Configurações do produtor na documentação do Kafka. É possível usar esse parâmetro para personalizar o produtor do Kafka. |
Para ler mensagens Avro ou JSON, você precisa especificar um esquema de mensagem. Para definir um
esquema diretamente, use o parâmetro schema. Para fornecer o esquema por um
registro de esquema do Confluent, defina os parâmetros confluent_schema_registry_url e
confluent_schema_registry_subject.
Para ler ou gravar mensagens do buffer de protocolo, especifique um esquema de mensagem ou
defina o parâmetro file_descriptor_path.
Para mais informações e exemplos de código, consulte os seguintes tópicos: