I/O Terkelola mendukung kemampuan berikut untuk BigQuery:
- Pembuatan tabel dinamis
- Tujuan dinamis
- Untuk operasi baca, konektor menggunakan BigQuery Storage Read API.
Untuk operasi tulis, konektor menggunakan metode BigQuery berikut:
- Jika sumber tidak terbatas, konektor akan melakukan operasi tulis langsung ke BigQuery, dengan menggunakan BigQuery Storage Write API dalam mode exactly-once.
- Jika sumber dibatasi, konektor akan menggunakan muat file BigQuery.
Persyaratan
Memerlukan Apache Beam SDK untuk Java versi 2.61.0 atau yang lebih baru.
Konfigurasi
| Konfigurasi baca dan tulis | Jenis data | Deskripsi |
|---|---|---|
table |
string | Tabel BigQuery yang akan dibaca atau ditulis. Format sebagai
"PROJECT.DATASET.TABLE". Contoh:
"my_project.dataset1.table1". |
kms_key |
string | Menentukan kunci Cloud Key Management Service (Cloud KMS) untuk mengenkripsi tabel BigQuery saat menulis, atau untuk mengenkripsi tabel sementara yang dibuat selama pembacaan. |
| Membaca konfigurasi | Jenis data | Deskripsi |
fields |
daftar string | Daftar kolom yang akan dibaca dari tabel. Parameter ini memungkinkan pembacaan yang efisien saat tabel berisi banyak kolom. |
query |
string | Kueri SQL yang akan dibaca. Jika ditentukan, konektor akan menjalankan kueri di BigQuery dan membaca hasil kueri. |
row_restriction |
string | Predikat yang memfilter data di sisi server. Contoh:
"age > 18". |
| Konfigurasi tulis | Jenis data | Deskripsi |
triggering_frequency |
bilangan bulat | Untuk sumber yang tidak terbatas, menentukan frekuensi penulisan file yang dipicu, dalam detik. |
Untuk operasi baca, Anda harus menentukan table atau query. Untuk penulisan, Anda harus
menentukan table.
Untuk informasi selengkapnya, lihat topik berikut: