Pour écrire depuis Dataflow vers Apache Iceberg, utilisez le connecteur d'E/S géré.
Dépendances
Ajoutez les dépendances suivantes au projet :
Java
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-managed</artifactId>
<version>${beam.version}</version>
</dependency>
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-io-iceberg</artifactId>
<version>2.56.0</version>
</dependency>
Configuration
Le connecteur Apache Iceberg utilise les paramètres de configuration suivants :
table
(chaîne). Nom de la table Apache Iceberg. Exemple :"db.table1"
.catalog_config
(mappage). Configuration du catalogue, qui contient les champs suivants :catalog_name
(chaîne). Nom du catalogue. Exemple :"local"
.catalog_type
(chaîne). Type de catalogue. Valeurs autorisées :"hadoop"
,"hive"
,"rest"
.warehouse_location
(chaîne). Emplacement de l'entrepôt. Exemple :file://path/to/warehouse
Exemple
L'exemple suivant écrit des données JSON en mémoire dans une table Apache Iceberg.
Java
Pour vous authentifier auprès de Dataflow, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.