Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Les E/S gérées permettent de lire et d'écrire dans Apache Kafka.
Conditions requises
Les SDK suivants sont compatibles avec les E/S gérées pour Apache Kafka :
SDK Apache Beam pour Java version 2.58.0 ou ultérieure
SDK Apache Beam pour Python version 2.61.0 ou ultérieure
Configuration
Les E/S gérées pour BigQuery sont compatibles avec les paramètres de configuration suivants :
KAFKA Lire
Configuration
Type
Description
bootstrap_servers
str
Liste des paires hôte/port à utiliser pour établir la connexion initiale au cluster Kafka. Le client utilisera tous les serveurs, quels qu'ils soient, pour l'amorçage. Cette liste n'a d'impact que sur les hôtes initiaux utilisés pour découvrir l'ensemble des serveurs. Cette liste doit être au format "host1:port1,host2:port2,...".
topic
str
Non disponible
confluent_schema_registry_subject
str
Non disponible
confluent_schema_registry_url
str
Non disponible
consumer_config_updates
map[str, str]
Liste de paires clé/valeur servant de paramètres de configuration pour les consommateurs Kafka. La plupart de ces configurations ne seront pas nécessaires, mais vous pouvez les utiliser si vous devez personnaliser votre consommateur Kafka. Pour obtenir la liste détaillée, consultez https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html.
file_descriptor_path
str
Chemin d'accès au fichier de l'ensemble de descripteurs de fichier du tampon de protocole. Ce fichier est utilisé pour la définition du schéma et la sérialisation des messages.
format
str
Format d'encodage des données stockées dans Kafka. Les options valides sont les suivantes : RAW,STRING,AVRO,JSON,PROTO.
message_name
str
Nom du message Protocol Buffer à utiliser pour l'extraction du schéma et la conversion des données.
schema
str
Schéma dans lequel les données sont encodées dans le sujet Kafka. Pour les données AVRO, il s'agit d'un schéma défini avec la syntaxe de schéma AVRO (https://avro.apache.org/docs/1.10.2/spec.html#schemas). Pour les données JSON, il s'agit d'un schéma défini avec la syntaxe JSON-schema (https://json-schema.org/). Si une URL vers Confluent Schema Registry est fournie, ce champ est ignoré et le schéma est récupéré à partir de Confluent Schema Registry.
KAFKA Écriture
Configuration
Type
Description
bootstrap_servers
str
Liste des paires hôte/port à utiliser pour établir la connexion initiale au cluster Kafka. Le client utilisera tous les serveurs, quels qu'ils soient, pour l'amorçage. Cette liste n'a d'impact que sur les hôtes initiaux utilisés pour découvrir l'ensemble des serveurs. | Format : host1:port1,host2:port2,...
mettre en forme
str
Format d'encodage des données stockées dans Kafka. Les options valides sont : RAW, JSON, AVRO et PROTO.
topic
str
Non disponible
file_descriptor_path
str
Chemin d'accès au fichier de l'ensemble de descripteurs de fichier du tampon de protocole. Ce fichier est utilisé pour la définition du schéma et la sérialisation des messages.
message_name
str
Nom du message Protocol Buffer à utiliser pour l'extraction du schéma et la conversion des données.
producer_config_updates
map[str, str]
Liste de paires clé-valeur qui servent de paramètres de configuration pour les producteurs Kafka. La plupart de ces configurations ne seront pas nécessaires, mais vous pouvez les utiliser si vous devez personnaliser votre producteur Kafka. Consultez la liste détaillée : https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html
schema
str
Non disponible
Étapes suivantes
Pour en savoir plus et obtenir des exemples de code, consultez les sujets suivants :
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/10 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/10 (UTC)."],[[["\u003cp\u003eManaged I/O supports reading and writing data to and from Apache Kafka, requiring Apache Beam SDK for Java version 2.58.0 or later.\u003c/p\u003e\n"],["\u003cp\u003eConfiguration for Kafka operations requires specifying \u003ccode\u003ebootstrap_servers\u003c/code\u003e and \u003ccode\u003etopic\u003c/code\u003e, and supports various data formats such as \u003ccode\u003e"AVRO"\u003c/code\u003e, \u003ccode\u003e"JSON"\u003c/code\u003e, \u003ccode\u003e"PROTO"\u003c/code\u003e, and \u003ccode\u003e"RAW"\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eSchemas for Avro, JSON, or Protocol Buffer messages can be provided directly via the \u003ccode\u003eschema\u003c/code\u003e parameter or through a Confluent schema registry using \u003ccode\u003econfluent_schema_registry_url\u003c/code\u003e and \u003ccode\u003econfluent_schema_registry_subject\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eKafka consumer and producer configurations can be customized using \u003ccode\u003econsumer_config_updates\u003c/code\u003e and \u003ccode\u003eproducer_config_updates\u003c/code\u003e respectively, allowing for fine-tuning of the Kafka interaction.\u003c/p\u003e\n"],["\u003cp\u003e\u003ccode\u003eauto_offset_reset_config\u003c/code\u003e is responsible for managing offsets and can be set to \u003ccode\u003e"earliest"\u003c/code\u003e or \u003ccode\u003e"latest"\u003c/code\u003e to handle situations where no offset exists.\u003c/p\u003e\n"]]],[],null,["[Managed I/O](/dataflow/docs/guides/managed-io) supports reading and writing to\nApache Kafka.\n\nRequirements\n\nThe following SDKs support managed I/O for Apache Kafka:\n\n- Apache Beam SDK for Java version 2.58.0 or later\n- Apache Beam SDK for Python version 2.61.0 or later\n\nConfiguration\n\nManaged I/O for BigQuery supports the following configuration\nparameters:\n\n`KAFKA` Read \n\n| Configuration | Type | Description |\n|-----------------------------------|---------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| **bootstrap_servers** | `str` | A list of host/port pairs to use for establishing the initial connection to the Kafka cluster. The client will make use of all servers irrespective of which servers are specified here for bootstrapping---this list only impacts the initial hosts used to discover the full set of servers. This list should be in the form \\`host1:port1,host2:port2,...\\` |\n| **topic** | `str` | n/a |\n| confluent_schema_registry_subject | `str` | n/a |\n| confluent_schema_registry_url | `str` | n/a |\n| consumer_config_updates | `map[`str`, `str`]` | A list of key-value pairs that act as configuration parameters for Kafka consumers. Most of these configurations will not be needed, but if you need to customize your Kafka consumer, you may use this. See a detailed list: https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html |\n| file_descriptor_path | `str` | The path to the Protocol Buffer File Descriptor Set file. This file is used for schema definition and message serialization. |\n| format | `str` | The encoding format for the data stored in Kafka. Valid options are: RAW,STRING,AVRO,JSON,PROTO |\n| message_name | `str` | The name of the Protocol Buffer message to be used for schema extraction and data conversion. |\n| schema | `str` | The schema in which the data is encoded in the Kafka topic. For AVRO data, this is a schema defined with AVRO schema syntax (https://avro.apache.org/docs/1.10.2/spec.html#schemas). For JSON data, this is a schema defined with JSON-schema syntax (https://json-schema.org/). If a URL to Confluent Schema Registry is provided, then this field is ignored, and the schema is fetched from Confluent Schema Registry. |\n\n\u003cbr /\u003e\n\n`KAFKA` Write \n\n| Configuration | Type | Description |\n|-------------------------|---------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| **bootstrap_servers** | `str` | A list of host/port pairs to use for establishing the initial connection to the Kafka cluster. The client will make use of all servers irrespective of which servers are specified here for bootstrapping---this list only impacts the initial hosts used to discover the full set of servers. \\| Format: host1:port1,host2:port2,... |\n| **format** | `str` | The encoding format for the data stored in Kafka. Valid options are: RAW,JSON,AVRO,PROTO |\n| **topic** | `str` | n/a |\n| file_descriptor_path | `str` | The path to the Protocol Buffer File Descriptor Set file. This file is used for schema definition and message serialization. |\n| message_name | `str` | The name of the Protocol Buffer message to be used for schema extraction and data conversion. |\n| producer_config_updates | `map[`str`, `str`]` | A list of key-value pairs that act as configuration parameters for Kafka producers. Most of these configurations will not be needed, but if you need to customize your Kafka producer, you may use this. See a detailed list: https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html |\n| schema | `str` | n/a |\n\n\u003cbr /\u003e\n\nWhat's next\n\nFor more information and code examples, see the following topics:\n\n- [Read from Apache Kafka](/dataflow/docs/guides/read-from-kafka)\n- [Write to Apache Kafka](/dataflow/docs/guides/write-to-kafka)"]]
