I/O Terkelola mendukung kemampuan berikut untuk Apache Iceberg:
Katalog |
|
---|---|
Kemampuan baca | Pembacaan batch |
Kemampuan tulis |
|
Untuk tabel BigQuery untuk Apache Iceberg,
gunakan
konektor BigQueryIO
dengan BigQuery Storage API. Tabel harus sudah ada; pembuatan tabel dinamis tidak didukung.
Persyaratan
Memerlukan Apache Beam SDK untuk Java versi 2.58.0 atau yang lebih baru.
Konfigurasi
I/O Terkelola menggunakan parameter konfigurasi berikut untuk Apache Iceberg:
Konfigurasi baca dan tulis | Jenis data | Deskripsi |
---|---|---|
table |
string | ID tabel Apache Iceberg. Contoh:
"db.table1" . |
catalog_name |
string | Nama katalog. Contoh: "local" . |
catalog_properties |
map | Peta properti konfigurasi untuk katalog Apache Iceberg. Properti yang diperlukan bergantung pada katalog. Untuk informasi
selengkapnya, lihat
CatalogUtil dalam dokumentasi Apache Iceberg. |
config_properties |
map | Kumpulan properti konfigurasi Hadoop opsional. Untuk informasi
selengkapnya, lihat
CatalogUtil dalam dokumentasi Apache Iceberg. |
Konfigurasi tulis | Jenis data | Deskripsi |
triggering_frequency_seconds |
bilangan bulat | Untuk pipeline operasi tulis streaming, frekuensi saat sink mencoba membuat snapshot, dalam detik. |
Untuk informasi selengkapnya dan contoh kode, lihat topik berikut: