Para escribir desde Dataflow en Apache Iceberg, usa el conector de E/S administrado.
Dependencias
Agrega las siguientes dependencias a tu proyecto:
Java
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-managed</artifactId>
<version>${beam.version}</version>
</dependency>
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-io-iceberg</artifactId>
<version>2.56.0</version>
</dependency>
Configuración
El conector de Apache Iceberg usa los siguientes parámetros de configuración:
table
(cadena). El nombre de Apache Iceberg. Ejemplo:"db.table1"
.catalog_config
(mapa). La configuración del catálogo. Contiene los siguientes campos:catalog_name
(cadena). Es el nombre del catálogo. Ejemplo:"local"
.catalog_type
(cadena). El tipo de catálogo. Valores compatibles:"hadoop"
,"hive"
,"rest"
.warehouse_location
(cadena). La ubicación del almacén. Ejemplo:file://path/to/warehouse
.
Ejemplo
En el siguiente ejemplo, se escriben datos JSON en la memoria en una tabla de Apache Iceberg.
Java
Para autenticarte en Dataflow, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.