Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
A E/S gerenciada oferece suporte à leitura e gravação no
Apache Kafka.
Requisitos
Os seguintes SDKs são compatíveis com o Managed I/O para Apache Kafka:
SDK do Apache Beam para Java versão 2.58.0 ou mais recente
SDK do Apache Beam para Python versão 2.61.0 ou mais recente
Configuração
A E/S gerenciada para BigQuery é compatível com os seguintes parâmetros de configuração:
KAFKA Ler
Configuração
Tipo
Descrição
bootstrap_servers
str
Uma lista de pares host/porta a serem usados para estabelecer a conexão inicial com o cluster do Kafka. O cliente vai usar todos os servidores, independente de quais forem especificados aqui para inicialização. Esta lista afeta apenas os hosts iniciais usados para descobrir o conjunto completo de servidores. Essa lista precisa estar no formato "host1:port1,host2:port2,..."
tema
str
n/a
confluent_schema_registry_subject
str
n/a
confluent_schema_registry_url
str
n/a
consumer_config_updates
map[str, str]
Uma lista de pares de chave-valor que atuam como parâmetros de configuração para consumidores do Kafka. A maioria dessas configurações não será necessária, mas você pode usar isso se precisar personalizar seu consumidor do Kafka. Confira uma lista detalhada: https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html
file_descriptor_path
str
O caminho para o arquivo de conjunto de descritores de arquivos de buffer de protocolo. Esse arquivo é usado para definição de esquema e serialização de mensagens.
formato
str
O formato de codificação dos dados armazenados no Kafka. As opções válidas são: RAW,STRING,AVRO,JSON,PROTO
message_name
str
O nome da mensagem do buffer de protocolo a ser usada para extração de esquema e conversão de dados.
schema
str
O esquema em que os dados são codificados no tópico do Kafka. Para dados AVRO, esse é um esquema definido com a sintaxe de esquema AVRO (https://avro.apache.org/docs/1.10.2/spec.html#schemas). Para dados JSON, esse é um esquema definido com a sintaxe JSON-schema (https://json-schema.org/). Se um URL para o registro de esquema do Confluent for fornecido, esse campo será ignorado, e o esquema será buscado no registro de esquema do Confluent.
KAFKA Gravar
Configuração
Tipo
Descrição
bootstrap_servers
str
Uma lista de pares host/porta a serem usados para estabelecer a conexão inicial com o cluster do Kafka. O cliente vai usar todos os servidores, independente de quais forem especificados aqui para inicialização. Esta lista afeta apenas os hosts iniciais usados para descobrir o conjunto completo de servidores. | Formato: host1:port1,host2:port2,...
formatar
str
O formato de codificação dos dados armazenados no Kafka. As opções válidas são: RAW,JSON,AVRO,PROTO
tema
str
n/a
file_descriptor_path
str
O caminho para o arquivo de conjunto de descritores de arquivos de buffer de protocolo. Esse arquivo é usado para definição de esquema e serialização de mensagens.
message_name
str
O nome da mensagem do buffer de protocolo a ser usada para extração de esquema e conversão de dados.
producer_config_updates
map[str, str]
Uma lista de pares de chave-valor que atuam como parâmetros de configuração para produtores do Kafka. A maioria dessas configurações não será necessária, mas você pode usar isso se precisar personalizar seu produtor do Kafka. Consulte uma lista detalhada: https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html
schema
str
n/a
A seguir
Para mais informações e exemplos de código, consulte os seguintes tópicos:
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-09-10 UTC."],[[["\u003cp\u003eManaged I/O supports reading and writing data to and from Apache Kafka, requiring Apache Beam SDK for Java version 2.58.0 or later.\u003c/p\u003e\n"],["\u003cp\u003eConfiguration for Kafka operations requires specifying \u003ccode\u003ebootstrap_servers\u003c/code\u003e and \u003ccode\u003etopic\u003c/code\u003e, and supports various data formats such as \u003ccode\u003e"AVRO"\u003c/code\u003e, \u003ccode\u003e"JSON"\u003c/code\u003e, \u003ccode\u003e"PROTO"\u003c/code\u003e, and \u003ccode\u003e"RAW"\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eSchemas for Avro, JSON, or Protocol Buffer messages can be provided directly via the \u003ccode\u003eschema\u003c/code\u003e parameter or through a Confluent schema registry using \u003ccode\u003econfluent_schema_registry_url\u003c/code\u003e and \u003ccode\u003econfluent_schema_registry_subject\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eKafka consumer and producer configurations can be customized using \u003ccode\u003econsumer_config_updates\u003c/code\u003e and \u003ccode\u003eproducer_config_updates\u003c/code\u003e respectively, allowing for fine-tuning of the Kafka interaction.\u003c/p\u003e\n"],["\u003cp\u003e\u003ccode\u003eauto_offset_reset_config\u003c/code\u003e is responsible for managing offsets and can be set to \u003ccode\u003e"earliest"\u003c/code\u003e or \u003ccode\u003e"latest"\u003c/code\u003e to handle situations where no offset exists.\u003c/p\u003e\n"]]],[],null,["[Managed I/O](/dataflow/docs/guides/managed-io) supports reading and writing to\nApache Kafka.\n\nRequirements\n\nThe following SDKs support managed I/O for Apache Kafka:\n\n- Apache Beam SDK for Java version 2.58.0 or later\n- Apache Beam SDK for Python version 2.61.0 or later\n\nConfiguration\n\nManaged I/O for BigQuery supports the following configuration\nparameters:\n\n`KAFKA` Read \n\n| Configuration | Type | Description |\n|-----------------------------------|---------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| **bootstrap_servers** | `str` | A list of host/port pairs to use for establishing the initial connection to the Kafka cluster. The client will make use of all servers irrespective of which servers are specified here for bootstrapping---this list only impacts the initial hosts used to discover the full set of servers. This list should be in the form \\`host1:port1,host2:port2,...\\` |\n| **topic** | `str` | n/a |\n| confluent_schema_registry_subject | `str` | n/a |\n| confluent_schema_registry_url | `str` | n/a |\n| consumer_config_updates | `map[`str`, `str`]` | A list of key-value pairs that act as configuration parameters for Kafka consumers. Most of these configurations will not be needed, but if you need to customize your Kafka consumer, you may use this. See a detailed list: https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html |\n| file_descriptor_path | `str` | The path to the Protocol Buffer File Descriptor Set file. This file is used for schema definition and message serialization. |\n| format | `str` | The encoding format for the data stored in Kafka. Valid options are: RAW,STRING,AVRO,JSON,PROTO |\n| message_name | `str` | The name of the Protocol Buffer message to be used for schema extraction and data conversion. |\n| schema | `str` | The schema in which the data is encoded in the Kafka topic. For AVRO data, this is a schema defined with AVRO schema syntax (https://avro.apache.org/docs/1.10.2/spec.html#schemas). For JSON data, this is a schema defined with JSON-schema syntax (https://json-schema.org/). If a URL to Confluent Schema Registry is provided, then this field is ignored, and the schema is fetched from Confluent Schema Registry. |\n\n\u003cbr /\u003e\n\n`KAFKA` Write \n\n| Configuration | Type | Description |\n|-------------------------|---------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| **bootstrap_servers** | `str` | A list of host/port pairs to use for establishing the initial connection to the Kafka cluster. The client will make use of all servers irrespective of which servers are specified here for bootstrapping---this list only impacts the initial hosts used to discover the full set of servers. \\| Format: host1:port1,host2:port2,... |\n| **format** | `str` | The encoding format for the data stored in Kafka. Valid options are: RAW,JSON,AVRO,PROTO |\n| **topic** | `str` | n/a |\n| file_descriptor_path | `str` | The path to the Protocol Buffer File Descriptor Set file. This file is used for schema definition and message serialization. |\n| message_name | `str` | The name of the Protocol Buffer message to be used for schema extraction and data conversion. |\n| producer_config_updates | `map[`str`, `str`]` | A list of key-value pairs that act as configuration parameters for Kafka producers. Most of these configurations will not be needed, but if you need to customize your Kafka producer, you may use this. See a detailed list: https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html |\n| schema | `str` | n/a |\n\n\u003cbr /\u003e\n\nWhat's next\n\nFor more information and code examples, see the following topics:\n\n- [Read from Apache Kafka](/dataflow/docs/guides/read-from-kafka)\n- [Write to Apache Kafka](/dataflow/docs/guides/write-to-kafka)"]]
