Organízate con las colecciones
Guarda y clasifica el contenido según tus preferencias.
E/S gestionada admite la lectura y escritura en Apache Kafka.
Requisitos
Los siguientes SDKs admiten la entrada/salida gestionada para Apache Kafka:
Versión 2.58.0 o posterior del SDK de Apache Beam para Java
Versión 2.61.0 o posterior del SDK de Apache Beam para Python
Configuración
La E/gestionada de BigQuery admite los siguientes parámetros de configuración:
KAFKA Leer
Configuración
Tipo
Descripción
bootstrap_servers
str
Lista de pares de host y puerto que se usan para establecer la conexión inicial con el clúster de Kafka. El cliente usará todos los servidores, independientemente de los que se especifiquen aquí para el arranque. Esta lista solo afecta a los hosts iniciales que se usan para descubrir el conjunto completo de servidores. Esta lista debe tener el formato `host1:port1,host2:port2,...`.
topic
str
n/a
confluent_schema_registry_subject
str
n/a
confluent_schema_registry_url
str
n/a
consumer_config_updates
map[str, str]
Lista de pares clave-valor que actúan como parámetros de configuración de los consumidores de Kafka. La mayoría de estas configuraciones no serán necesarias, pero puedes usarlas si necesitas personalizar tu consumidor de Kafka. Consulta una lista detallada en https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html.
file_descriptor_path
str
Ruta al archivo de conjunto de descriptores de archivos de Protocol Buffer. Este archivo se usa para la definición de esquemas y la serialización de mensajes.
formato
str
Formato de codificación de los datos almacenados en Kafka. Las opciones válidas son: RAW, STRING, AVRO, JSON y PROTO.
message_name
str
Nombre del mensaje de Protocol Buffer que se usará para la extracción de esquemas y la conversión de datos.
schema
str
El esquema en el que se codifican los datos en el tema de Kafka. En el caso de los datos AVRO, se trata de un esquema definido con la sintaxis de esquema AVRO (https://avro.apache.org/docs/1.10.2/spec.html#schemas). En el caso de los datos JSON, se trata de un esquema definido con la sintaxis de JSON Schema (https://json-schema.org/). Si se proporciona una URL a Confluent Schema Registry, este campo se ignora y el esquema se obtiene de Confluent Schema Registry.
KAFKA Escribir
Configuración
Tipo
Descripción
bootstrap_servers
str
Lista de pares de host y puerto que se usan para establecer la conexión inicial con el clúster de Kafka. El cliente usará todos los servidores, independientemente de los que se especifiquen aquí para el arranque. Esta lista solo afecta a los hosts iniciales que se usan para descubrir el conjunto completo de servidores. | Formato: host1:puerto1,host2:puerto2,...
formato
str
Formato de codificación de los datos almacenados en Kafka. Las opciones válidas son RAW, JSON, AVRO y PROTO.
topic
str
n/a
file_descriptor_path
str
Ruta al archivo de conjunto de descriptores de archivos de Protocol Buffer. Este archivo se usa para la definición de esquemas y la serialización de mensajes.
message_name
str
Nombre del mensaje de Protocol Buffer que se usará para la extracción de esquemas y la conversión de datos.
producer_config_updates
map[str, str]
Lista de pares clave-valor que actúan como parámetros de configuración de los productores de Kafka. La mayoría de estas configuraciones no serán necesarias, pero puedes usarlas si necesitas personalizar tu productor de Kafka. Consulta una lista detallada en https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html.
schema
str
n/a
Siguientes pasos
Para obtener más información y ejemplos de código, consulta los siguientes temas:
[[["Es fácil de entender","easyToUnderstand","thumb-up"],["Me ofreció una solución al problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Es difícil de entender","hardToUnderstand","thumb-down"],["La información o el código de muestra no son correctos","incorrectInformationOrSampleCode","thumb-down"],["Me faltan las muestras o la información que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-10 (UTC)."],[[["\u003cp\u003eManaged I/O supports reading and writing data to and from Apache Kafka, requiring Apache Beam SDK for Java version 2.58.0 or later.\u003c/p\u003e\n"],["\u003cp\u003eConfiguration for Kafka operations requires specifying \u003ccode\u003ebootstrap_servers\u003c/code\u003e and \u003ccode\u003etopic\u003c/code\u003e, and supports various data formats such as \u003ccode\u003e"AVRO"\u003c/code\u003e, \u003ccode\u003e"JSON"\u003c/code\u003e, \u003ccode\u003e"PROTO"\u003c/code\u003e, and \u003ccode\u003e"RAW"\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eSchemas for Avro, JSON, or Protocol Buffer messages can be provided directly via the \u003ccode\u003eschema\u003c/code\u003e parameter or through a Confluent schema registry using \u003ccode\u003econfluent_schema_registry_url\u003c/code\u003e and \u003ccode\u003econfluent_schema_registry_subject\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eKafka consumer and producer configurations can be customized using \u003ccode\u003econsumer_config_updates\u003c/code\u003e and \u003ccode\u003eproducer_config_updates\u003c/code\u003e respectively, allowing for fine-tuning of the Kafka interaction.\u003c/p\u003e\n"],["\u003cp\u003e\u003ccode\u003eauto_offset_reset_config\u003c/code\u003e is responsible for managing offsets and can be set to \u003ccode\u003e"earliest"\u003c/code\u003e or \u003ccode\u003e"latest"\u003c/code\u003e to handle situations where no offset exists.\u003c/p\u003e\n"]]],[],null,["[Managed I/O](/dataflow/docs/guides/managed-io) supports reading and writing to\nApache Kafka.\n\nRequirements\n\nThe following SDKs support managed I/O for Apache Kafka:\n\n- Apache Beam SDK for Java version 2.58.0 or later\n- Apache Beam SDK for Python version 2.61.0 or later\n\nConfiguration\n\nManaged I/O for BigQuery supports the following configuration\nparameters:\n\n`KAFKA` Read \n\n| Configuration | Type | Description |\n|-----------------------------------|---------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| **bootstrap_servers** | `str` | A list of host/port pairs to use for establishing the initial connection to the Kafka cluster. The client will make use of all servers irrespective of which servers are specified here for bootstrapping---this list only impacts the initial hosts used to discover the full set of servers. This list should be in the form \\`host1:port1,host2:port2,...\\` |\n| **topic** | `str` | n/a |\n| confluent_schema_registry_subject | `str` | n/a |\n| confluent_schema_registry_url | `str` | n/a |\n| consumer_config_updates | `map[`str`, `str`]` | A list of key-value pairs that act as configuration parameters for Kafka consumers. Most of these configurations will not be needed, but if you need to customize your Kafka consumer, you may use this. See a detailed list: https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html |\n| file_descriptor_path | `str` | The path to the Protocol Buffer File Descriptor Set file. This file is used for schema definition and message serialization. |\n| format | `str` | The encoding format for the data stored in Kafka. Valid options are: RAW,STRING,AVRO,JSON,PROTO |\n| message_name | `str` | The name of the Protocol Buffer message to be used for schema extraction and data conversion. |\n| schema | `str` | The schema in which the data is encoded in the Kafka topic. For AVRO data, this is a schema defined with AVRO schema syntax (https://avro.apache.org/docs/1.10.2/spec.html#schemas). For JSON data, this is a schema defined with JSON-schema syntax (https://json-schema.org/). If a URL to Confluent Schema Registry is provided, then this field is ignored, and the schema is fetched from Confluent Schema Registry. |\n\n\u003cbr /\u003e\n\n`KAFKA` Write \n\n| Configuration | Type | Description |\n|-------------------------|---------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| **bootstrap_servers** | `str` | A list of host/port pairs to use for establishing the initial connection to the Kafka cluster. The client will make use of all servers irrespective of which servers are specified here for bootstrapping---this list only impacts the initial hosts used to discover the full set of servers. \\| Format: host1:port1,host2:port2,... |\n| **format** | `str` | The encoding format for the data stored in Kafka. Valid options are: RAW,JSON,AVRO,PROTO |\n| **topic** | `str` | n/a |\n| file_descriptor_path | `str` | The path to the Protocol Buffer File Descriptor Set file. This file is used for schema definition and message serialization. |\n| message_name | `str` | The name of the Protocol Buffer message to be used for schema extraction and data conversion. |\n| producer_config_updates | `map[`str`, `str`]` | A list of key-value pairs that act as configuration parameters for Kafka producers. Most of these configurations will not be needed, but if you need to customize your Kafka producer, you may use this. See a detailed list: https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html |\n| schema | `str` | n/a |\n\n\u003cbr /\u003e\n\nWhat's next\n\nFor more information and code examples, see the following topics:\n\n- [Read from Apache Kafka](/dataflow/docs/guides/read-from-kafka)\n- [Write to Apache Kafka](/dataflow/docs/guides/write-to-kafka)"]]
