Mengonfigurasi tabel Iceberg BigLake di BigQuery

Halaman ini menjelaskan cara mengonfigurasi Datastream untuk replikasi ke tabel Iceberg BigLake di BigQuery.

Tabel Iceberg BigLake menawarkan pengalaman terkelola sepenuhnya yang sama seperti tabel BigQuery standar, tetapi menyimpan data di bucket Cloud Storage milik pelanggan dalam format tabel Apache Iceberg dan format file Parquet. Anda dapat membuat kueri dan menganalisis data menggunakan kemampuan BigQuery sambil menyimpan data di bucket penyimpanan Anda sendiri.

Mengonfigurasi streaming ke tabel BigLake Iceberg

Untuk menyiapkan aliran Anda agar menyerap data ke dalam tabel Iceberg BigLake:

  1. Buat bucket Cloud Storage tempat Anda ingin menyimpan data.
  2. Buat koneksi resource Cloud di BigQuery. Untuk mengetahui informasi tentang cara membuat jenis koneksi ini, lihat Membuat dan menyiapkan koneksi resource Cloud.

  3. Dapatkan ID akun layanan koneksi:

    bq show --location=LOCATION --connection --project_id=PROJECT_ID
CONNECTION_NAME

  4. Beri koneksi resource Cloud Anda akses ke bucket Cloud Storage yang Anda buat. Untuk melakukannya, tambahkan izin IAM storage.admin ke akun layanan koneksi:

    gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \
--member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \
--role=roles/storage.admin

  5. Buat aliran tabel BigLake Iceberg.

    Untuk mengetahui informasi tentang cara membuat aliran tabel Iceberg BigLake menggunakan konsol Google Cloud , lihat Membuat aliran.

    Untuk mengetahui informasi tentang cara membuat permintaan untuk melakukan streaming data ke tabel Iceberg BigLake menggunakan REST, Google Cloud CLI, atau Terraform, lihat Mengelola streaming menggunakan API.

Langkah berikutnya