E/S gestionada admite la lectura y escritura en Apache Kafka.
Requisitos
Los siguientes SDKs admiten la entrada/salida gestionada para Apache Kafka:
- Versión 2.58.0 o posterior del SDK de Apache Beam para Java
- Versión 2.61.0 o posterior del SDK de Apache Beam para Python
Configuración
La E/gestionada de BigQuery admite los siguientes parámetros de configuración:
KAFKA Leer
| Configuración | Tipo | Descripción |
|---|---|---|
| bootstrap_servers |
str
|
Lista de pares de host y puerto que se usan para establecer la conexión inicial con el clúster de Kafka. El cliente usará todos los servidores, independientemente de los que se especifiquen aquí para el arranque. Esta lista solo afecta a los hosts iniciales que se usan para descubrir el conjunto completo de servidores. Esta lista debe tener el formato `host1:port1,host2:port2,...`. |
| topic |
str
|
n/a |
| confluent_schema_registry_subject |
str
|
n/a |
| confluent_schema_registry_url |
str
|
n/a |
| consumer_config_updates |
map[str, str]
|
Lista de pares clave-valor que actúan como parámetros de configuración de los consumidores de Kafka. La mayoría de estas configuraciones no serán necesarias, pero puedes usarlas si necesitas personalizar tu consumidor de Kafka. Consulta una lista detallada en https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html. |
| file_descriptor_path |
str
|
Ruta al archivo de conjunto de descriptores de archivos de Protocol Buffer. Este archivo se usa para la definición de esquemas y la serialización de mensajes. |
| formato |
str
|
Formato de codificación de los datos almacenados en Kafka. Las opciones válidas son: RAW, STRING, AVRO, JSON y PROTO. |
| message_name |
str
|
Nombre del mensaje de Protocol Buffer que se usará para la extracción de esquemas y la conversión de datos. |
| schema |
str
|
El esquema en el que se codifican los datos en el tema de Kafka. En el caso de los datos AVRO, se trata de un esquema definido con la sintaxis de esquema AVRO (https://avro.apache.org/docs/1.10.2/spec.html#schemas). En el caso de los datos JSON, se trata de un esquema definido con la sintaxis de JSON Schema (https://json-schema.org/). Si se proporciona una URL a Confluent Schema Registry, este campo se ignora y el esquema se obtiene de Confluent Schema Registry. |
KAFKA Escribir
| Configuración | Tipo | Descripción |
|---|---|---|
| bootstrap_servers |
str
|
Lista de pares de host y puerto que se usan para establecer la conexión inicial con el clúster de Kafka. El cliente usará todos los servidores, independientemente de los que se especifiquen aquí para el arranque. Esta lista solo afecta a los hosts iniciales que se usan para descubrir el conjunto completo de servidores. | Formato: host1:puerto1,host2:puerto2,... |
| formato |
str
|
Formato de codificación de los datos almacenados en Kafka. Las opciones válidas son RAW, JSON, AVRO y PROTO. |
| topic |
str
|
n/a |
| file_descriptor_path |
str
|
Ruta al archivo de conjunto de descriptores de archivos de Protocol Buffer. Este archivo se usa para la definición de esquemas y la serialización de mensajes. |
| message_name |
str
|
Nombre del mensaje de Protocol Buffer que se usará para la extracción de esquemas y la conversión de datos. |
| producer_config_updates |
map[str, str]
|
Lista de pares clave-valor que actúan como parámetros de configuración de los productores de Kafka. La mayoría de estas configuraciones no serán necesarias, pero puedes usarlas si necesitas personalizar tu productor de Kafka. Consulta una lista detallada en https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html. |
| schema |
str
|
n/a |
Siguientes pasos
Para obtener más información y ejemplos de código, consulta los siguientes temas: