本頁面說明如何設定 Datastream,將資料複製到 BigQuery 中的 BigLake Iceberg 資料表。
BigLake Iceberg 資料表提供與標準 BigQuery 資料表相同的全代管體驗,但會以 Apache Iceberg 資料表格式和 Parquet 檔案格式,將資料儲存在客戶擁有的 Cloud Storage bucket 中。您可以使用 BigQuery 功能查詢及分析資料,同時將資料保留在自己的儲存空間 bucket 中。
設定串流至 BigLake Iceberg 資料表
如要設定串流,將資料擷取至 BigLake Iceberg 資料表,請完成下列步驟:
- 建立 Cloud Storage bucket,用來儲存資料。
- 在 BigQuery 中建立 Cloud 資源連線。如要瞭解如何建立這類連線,請參閱「建立及設定 Cloud 資源連線」。
取得連線服務帳戶的 ID:
bq show --location=LOCATION --connection --project_id=PROJECT_ID CONNECTION_NAME向所建立的 Cloud Storage bucket 授予 Cloud 資源連線存取權。如要這麼做,請將
storage.adminIAM 權限新增至連線服務帳戶:gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \ --member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \ --role=roles/storage.admin建立 BigLake Iceberg 資料表串流。
如要瞭解如何使用 Google API 控制台建立 BigLake Iceberg 資料表串流,請參閱「建立串流」。
如要瞭解如何使用 REST
Google Cloud CLI或 Terraform 建立要求,將資料串流至 BigLake Iceberg 表格,請參閱「使用 API 管理串流」。
後續步驟
- 如要進一步瞭解串流,請參閱「串流生命週期」。
- 如要瞭解如何建立串流,請參閱「建立串流」。
- 如要瞭解如何建立可搭配 BigLake Iceberg 資料表串流使用的連線設定檔,請參閱「為 BigQuery 建立連線設定檔」。