在 BigQuery 中設定 BigLake Iceberg 資料表

本頁面說明如何設定 Datastream,將資料複製到 BigQuery 中的 BigLake Iceberg 資料表。

BigLake Iceberg 資料表提供與標準 BigQuery 資料表相同的全代管體驗,但會以 Apache Iceberg 資料表格式和 Parquet 檔案格式,將資料儲存在客戶擁有的 Cloud Storage 值區中。您可以使用 BigQuery 功能查詢及分析資料,同時將資料保留在自己的儲存空間值區中。

設定串流至 BigLake Iceberg 資料表

如要設定串流,將資料擷取至 BigLake Iceberg 資料表,請完成下列步驟:

  1. 建立 Cloud Storage bucket,用來儲存資料。
  2. 在 BigQuery 中建立 Cloud 資源連線。如要瞭解如何建立這類連線,請參閱「建立及設定 Cloud 資源連線」。
  3. 取得連線服務帳戶的 ID:

    bq show --location=LOCATION --connection --project_id=PROJECT_ID
    CONNECTION_NAME
    
  4. 向所建立的 Cloud Storage bucket 授予 Cloud 資源連線存取權。如要這麼做,請將 storage.admin IAM 權限新增至連線服務帳戶:

    gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \
    --member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \
    --role=roles/storage.admin
    
  5. 建立 BigLake Iceberg 資料表串流。

    如要瞭解如何使用 Google Cloud 控制台建立 BigLake Iceberg 資料表串流,請參閱「建立串流」。

    如要瞭解如何使用 REST Google Cloud CLI 或 Terraform 建立要求,將資料串流至 BigLake Iceberg 表格,請參閱「使用 API 管理串流」。

後續步驟