Untuk menulis dari Dataflow ke Apache Iceberg, gunakan konektor I/O terkelola.
Dependensi
Tambahkan dependensi berikut ke project Anda:
Java
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-managed</artifactId>
<version>${beam.version}</version>
</dependency>
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-io-iceberg</artifactId>
<version>2.56.0</version>
</dependency>
Configuration
Konektor Apache Iceberg menggunakan parameter konfigurasi berikut:
table
(string). Nama Apache Iceberg. Contoh:"db.table1"
.catalog_config
(peta). Konfigurasi katalog. Berisi kolom berikut:catalog_name
(string). Nama katalog. Contoh:"local"
.catalog_type
(string). Jenis katalog. Nilai yang didukung:"hadoop"
,"hive"
,"rest"
.warehouse_location
(string). Lokasi gudang. Contoh:file://path/to/warehouse
.
Contoh
Contoh berikut menulis data JSON dalam memori ke tabel Apache Iceberg.
Java
Untuk mengautentikasi ke Dataflow, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.