Halaman ini diterjemahkan oleh Cloud Translation API.

I/O terkelola Dataflow untuk Apache Iceberg

I/O Terkelola mendukung kemampuan berikut untuk Apache Iceberg:

Katalog	Hadoop Hive Katalog berbasis REST Metastore BigQuery (setelah Beam 2.63.0 dirilis)
Kemampuan baca	Pembacaan batch
Kemampuan tulis	Operasi tulis batch Penulisan streaming Tujuan dinamis Pembuatan tabel dinamis

Untuk tabel BigQuery untuk Apache Iceberg, gunakan konektor BigQueryIO dengan BigQuery Storage API. Tabel harus sudah ada; pembuatan tabel dinamis tidak didukung.

Persyaratan

Memerlukan Apache Beam SDK untuk Java versi 2.58.0 atau yang lebih baru.

I/O Terkelola menggunakan parameter konfigurasi berikut untuk Apache Iceberg:

Konfigurasi baca dan tulis	Jenis data	Deskripsi
`table`	string	ID tabel Apache Iceberg. Contoh: `"db.table1"`.
`catalog_name`	string	Nama katalog. Contoh: `"local"`.
`catalog_properties`	map	Peta properti konfigurasi untuk katalog Apache Iceberg. Properti yang diperlukan bergantung pada katalog. Untuk informasi selengkapnya, lihat `CatalogUtil` dalam dokumentasi Apache Iceberg.
`config_properties`	map	Kumpulan properti konfigurasi Hadoop opsional. Untuk informasi selengkapnya, lihat `CatalogUtil` dalam dokumentasi Apache Iceberg.
Konfigurasi tulis	Jenis data	Deskripsi
`triggering_frequency_seconds`	bilangan bulat	Untuk pipeline operasi tulis streaming, frekuensi saat sink mencoba membuat snapshot, dalam detik.

Untuk informasi selengkapnya dan contoh kode, lihat topik berikut: