Les E/S gérées sont compatibles avec la lecture et l'écriture dans Apache Kafka.
Conditions requises
Nécessite le SDK Apache Beam pour Java version 2.58.0 ou ultérieure.
Configuration
Les E/S gérées utilisent les paramètres de configuration suivants pour Apache Kafka.
| Lire et écrire la configuration | Type de données | Description |
|---|---|---|
bootstrap_servers |
chaîne | Obligatoire. Liste de serveurs d'amorçage Kafka, séparés par une virgule.
Exemple : localhost:9092. |
topic |
chaîne | Obligatoire. Sujet Kafka à lire ou à écrire. |
file_descriptor_path |
chaîne | Chemin d'accès à un ensemble de descripteurs de fichier du tampon de protocole. S'applique uniquement si la valeur de data_format est "PROTO". |
data_format |
chaîne | Format des messages. Valeurs autorisées : "AVRO", "JSON", "PROTO", "RAW". La valeur par défaut est "RAW", qui lit ou écrit les octets bruts de la charge utile du message. |
message_name |
chaîne | Nom du message du tampon de protocole. Obligatoire si la valeur de data_format est "PROTO". |
schema |
chaîne | Schéma de message Kafka. Le type de schéma attendu dépend du format de données :
Pour les pipelines de lecture, ce paramètre est ignoré si la valeur de |
| Lire la configuration | Type de données | Description |
auto_offset_reset_config |
chaîne | Spécifie le comportement en l'absence de décalage initial ou lorsque le décalage actuel n'existe plus sur le serveur Kafka. Les valeurs suivantes sont acceptées :
La valeur par défaut est |
confluent_schema_registry_subject |
chaîne | Objet d'un registre de schémas Confluent. Obligatoire si le paramètre confluent_schema_registry_url est spécifié. |
confluent_schema_registry_url |
chaîne | URL d'un registre de schémas Confluent. Si spécifié, le paramètre schema est ignoré. |
consumer_config_updates |
carte | Définit les paramètres de configuration du client Kafka. Pour en savoir plus, consultez la section Configurations des clients dans la documentation de Kafka. Vous pouvez utiliser ce paramètre pour personnaliser le client Kafka. |
max_read_time_seconds |
int | Durée de lecture maximale, en secondes. Cette option génère une PCollection limitée et est principalement destinée aux tests ou à d'autres scénarios hors production. |
| Écrire la configuration | Type de données | Description |
producer_config_updates |
carte | Définit les paramètres de configuration du producteur Kafka. Pour en savoir plus, consultez la section Configurations des producteurs dans la documentation de Kafka. Vous pouvez utiliser ce paramètre pour personnaliser le producteur Kafka. |
Pour lire des messages Avro ou JSON, vous devez spécifier un schéma de message. Pour définir un schéma directement, utilisez le paramètre schema. Pour fournir le schéma via un registre de schémas Confluent, définissez les paramètres confluent_schema_registry_url et confluent_schema_registry_subject.
Pour lire ou écrire des messages de tampon de protocole, spécifiez un schéma de message ou définissez le paramètre file_descriptor_path.
Pour en savoir plus et obtenir des exemples de code, consultez les sujets suivants: