E/S administrada admite la lectura y escritura en Apache Kafka.
Requisitos
Los siguientes SDK admiten la E/S administrada para Apache Kafka:
- SDK de Apache Beam para Java, versión 2.58.0 o posterior
- SDK de Apache Beam para Python, versión 2.61.0 o posterior
Configuración
La E/S administrada para BigQuery admite los siguientes parámetros de configuración:
KAFKA Leer
| Configuración | Tipo | Descripción |
|---|---|---|
| bootstrap_servers |
str
|
Es una lista de pares host/puerto que se usan para establecer la conexión inicial con el clúster de Kafka. El cliente usará todos los servidores, independientemente de los que se especifiquen aquí para el bootstrapping. Esta lista solo afecta a los hosts iniciales que se usan para descubrir el conjunto completo de servidores. Esta lista debe tener el formato "host1:port1,host2:port2,…". |
| tema |
str
|
No disponible |
| confluent_schema_registry_subject |
str
|
No disponible |
| confluent_schema_registry_url |
str
|
No disponible |
| consumer_config_updates |
map[str, str]
|
Es una lista de pares clave-valor que actúan como parámetros de configuración para los consumidores de Kafka. La mayoría de estas configuraciones no serán necesarias, pero puedes usarlas si necesitas personalizar tu consumidor de Kafka. Consulta una lista detallada: https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html |
| file_descriptor_path |
str
|
Es la ruta de acceso al archivo del conjunto de descriptores de archivos de búfer de protocolo. Este archivo se usa para la definición del esquema y la serialización de mensajes. |
| formato |
str
|
Es el formato de codificación de los datos almacenados en Kafka. Las opciones válidas son: RAW, STRING, AVRO, JSON y PROTO. |
| message_name |
str
|
Es el nombre del mensaje del búfer de protocolo que se usará para la extracción del esquema y la conversión de datos. |
| schema |
str
|
Es el esquema en el que se codifican los datos en el tema de Kafka. En el caso de los datos de AVRO, se trata de un esquema definido con la sintaxis del esquema de AVRO (https://avro.apache.org/docs/1.10.2/spec.html#schemas). En el caso de los datos JSON, se trata de un esquema definido con la sintaxis de JSON Schema (https://json-schema.org/). Si se proporciona una URL al registro de esquemas de Confluent, se ignora este campo y se recupera el esquema del registro de esquemas de Confluent. |
KAFKA Escribir
| Configuración | Tipo | Descripción |
|---|---|---|
| bootstrap_servers |
str
|
Es una lista de pares host/puerto que se usan para establecer la conexión inicial con el clúster de Kafka. El cliente usará todos los servidores, independientemente de los que se especifiquen aquí para el bootstrapping. Esta lista solo afecta a los hosts iniciales que se usan para descubrir el conjunto completo de servidores. | Formato: host1:puerto1,host2:puerto2,… |
| formato |
str
|
Es el formato de codificación de los datos almacenados en Kafka. Las opciones válidas son RAW, JSON, AVRO y PROTO. |
| tema |
str
|
No disponible |
| file_descriptor_path |
str
|
Es la ruta de acceso al archivo del conjunto de descriptores de archivos de búfer de protocolo. Este archivo se usa para la definición del esquema y la serialización de mensajes. |
| message_name |
str
|
Es el nombre del mensaje del búfer de protocolo que se usará para la extracción del esquema y la conversión de datos. |
| producer_config_updates |
map[str, str]
|
Es una lista de pares clave-valor que actúan como parámetros de configuración para los productores de Kafka. La mayoría de estas configuraciones no serán necesarias, pero puedes usarlas si necesitas personalizar tu productor de Kafka. Consulta una lista detallada: https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html |
| schema |
str
|
No disponible |
¿Qué sigue?
Para obtener más información y ejemplos de código, consulta los siguientes temas: