BigQuery 共用功能簡介

BigQuery sharing (舊稱 Analytics Hub) 是一個資料交換平台，可讓您透過完善的安全和隱私權架構，大規模地跨機構共用資料和洞察資訊。您可以使用「共用」探索並存取不同資料供應商收錄的資料庫。這個資料庫也包含 Google 提供的資料集。

舉例來說，您可以透過共用功能，使用第三方和 Google 資料集，擴增您的 Analytics 和 ML 計畫。

透過 Analytics Hub Identity and Access Management (IAM) 角色，您可以執行下列共用工作：

  • 身為 Analytics Hub 發布者，您可以與合作夥伴網路或自家機構即時共用資料。資訊可讓您分享資料，不必複製共用資料，並在 Google Cloud Marketplace 或透過自有管道營利。您可以建立可供分析的資料來源目錄，並設定精細的權限，將資料提供給合適的目標對象。你也可以管理訂閱項目，並查看清單的使用指標。

  • Analytics Hub 訂閱者可以探索所需資料、將共用資料與現有資料合併，以及使用 BigQuery 的內建功能。訂閱房源後，系統會在專案中建立連結資料集或連結的 Pub/Sub 訂閱項目。你可以使用訂閱資源管理訂閱項目，該資源會儲存訂閱者的相關資訊，並代表發布者和訂閱者之間的連結。

  • Analytics Hub 檢視者可以在「共用」中瀏覽您有權存取的共用資源，並向發布者要求存取共用資料。您可以在「共用」和 Cloud Marketplace 上，探索整合 Cloud Marketplace 的商業清單。

  • Analytics Hub 管理員可以建立資料交換，啟用資料共用功能，然後授予資料發布者和訂閱者存取這些資料交換的權限。

詳情請參閱「設定 Analytics Hub 角色」。

架構

共用功能採用「發布及訂閱」模式的Google Cloud 資料資源，可讓您直接共用資料，不必複製。分享功能支援下列 Google Cloud 資源：

  • BigQuery 資料集
  • Pub/Sub 主題

發布者工作流程

下圖說明發布者如何共用資產：

Analytics Hub 發布者工作流程，包括共用資源、資料交換和清單。

以下各節說明這個工作流程中的功能。

共用資源

共用資源是發布者在 BigQuery 共用中使用的共用單位。

共用的資料集

共用資料集是 BigQuery 資料集，也是 BigQuery 共用功能中的資料共用單位。BigQuery 架構將運算資源和儲存空間分隔，讓資料發布者能與任意數量的訂閱者共用資料集，不必建立多個資料副本。發布者可以在專案中建立或使用現有的 BigQuery 資料集，並加入下列支援的物件，然後傳送給訂閱者：

共用資料集支援資料欄層級安全防護和資料列層級安全防護。

請注意，VPC Service Controls 和共用功能有以下限制：

  • 建議發布商不要在 VPC Service Controls 範圍內的專案中發布共用資料。如果專案中的共用資料集位於 VPC Service Controls 範圍內，則交換專案 (代管的刊登項目) 和所有訂閱者的專案都必須有適當的輸入和輸出規則，才能順利訂閱發布者的刊登項目。

  • 建議交易所管理員不要將交易所專案放在 VPC Service Controls 邊界中，因為這可能會中斷發布工作流程，需要為發布商專案和所有訂閱者的專案設定輸入和輸出規則，才能順利訂閱清單。

共用主題 (預先發布版)

共用主題是 Pub/Sub 主題，也是 BigQuery 中串流資料共用的單位。身為發布者，您可以在專案中建立或使用現有的 Pub/Sub 主題，並將該主題發布給訂閱者。

資料交換庫

資料交易所是容器，可讓您自助式共用資料。其中包含參照共用資源的項目。發布商和管理員可以在交易平台和商家資訊層級授予訂閱者存取權。這個方法有助於避免明確授予基礎共用資源的存取權。訂閱者可以瀏覽資料交換，探索可存取的資料，並訂閱共用資源。建立資料交換時，您可以為其指派主要聯絡人電子郵件地址。使用者可以透過主要聯絡人電子郵件，向資料交換擁有者提出有關資料交換的問題或疑慮。資料交換可分為下列類型：

  • 私人資料交換。根據預設，資料交換是私人的，只有可存取該交換的使用者或群組，才能查看或訂閱其清單。
  • 公開資料交換。根據預設，資料交換是私人的，只有可存取該交換的使用者或群組，才能查看或訂閱其清單。不過，您可以選擇公開資料交換。Google Cloud 使用者 (allAuthenticatedUsers) 可以探索及訂閱公開資料交換設定中的清單。如要進一步瞭解公開資料交換設定，請參閱「將資料交換設定設為公開」。

Analytics Hub 管理員角色可讓您建立多個資料交換，以及管理執行共用工作的其他使用者。

清單

清單是發布者在資料交換庫中列出的共用資源參照資訊。發布者可以建立資源清單，並指定資源說明、要執行的範例查詢或範例訊息資料、任何相關文件連結，以及有助於訂閱者使用共用資源的任何其他資訊。建立房源資訊時，你可以指派主要聯絡電子郵件地址、供應商名稱和聯絡人，以及發布者名稱和聯絡人。使用者可透過主要聯絡人電子郵件地址，向商家資訊擁有者提出有關資料交換的問題或疑慮。供應商名稱和聯絡人是最初提供商家檔案資料的代理商資訊。這項資訊為選填項目。發布者名稱和聯絡人是發布資料的機構，這些資料會用於 BigQuery 共用。這項資訊為選填。詳情請參閱「管理房源資訊」。

根據為房源設定的身分與存取權管理 (IAM) 政策，以及包含房源的資料交換類型，房源可分為下列兩種：

  • 公開資訊。所有Google Cloud 使用者 (allAuthenticatedUsers)都能存取。公開資料交易所中的房源資訊為公開資訊，這些資訊可以是免費公開資源或商業資源的參考資料。 如果清單是商業資源，訂閱者可以直接向資料供應商要求存取清單，也可以瀏覽及購買整合 Google Cloud Marketplace 的商業清單。
  • 私人房源。直接與個人或群組共用。舉例來說，私人商店資訊可以參照您與機構內其他內部團隊共用的行銷指標資料集。

訂閱者工作流程

下圖說明訂閱者如何與共用資源互動：

分享訂閱者工作流程，包括共用資源、資料交換、清單和連結資源。

以下各節說明訂閱者工作流程中的功能。

已連結的資源

訂閱分享資訊時，系統會建立連結的資源，將訂閱者連結至基礎共用資源。

已連結的資料集

連結的資料集是唯讀 BigQuery 資料集，做為共用資料集的指標或參照。訂閱項目會在專案中建立連結的資料集，而非資料集副本，因此訂閱者可以讀取資料，但無法在其中新增或更新物件。透過連結的資料集查詢資料表和檢視表等物件時，系統會傳回共用資料集內的資料。如要進一步瞭解連結的資料集，請參閱「查看及訂閱項目」。

連結的資料集有權存取共用資料集的資料表和檢視表。 訂閱者只要連結資料集，即可存取共用資料集的資料表和檢視畫面，不必再進行任何身分與存取權管理授權。

連結的資料集支援下列物件：

連結的 Pub/Sub 訂閱項目 (搶先版)

訂閱共用主題的清單時，系統會在訂閱端專案中建立連結的 Pub/Sub 訂閱項目。系統不會建立共用主題或訊息資料的副本。連結的 Pub/Sub 訂閱項目訂閱者可以存取發布至共用主題的訊息。訂閱者可存取共用主題的訊息資料，不必取得額外的 Identity and Access Management 授權。發布商可以直接在 Pub/Sub 中管理訂閱項目，也可以透過共用訂閱管理服務進行管理。如要進一步瞭解連結的 Pub/Sub 訂閱項目，請參閱「透過 Pub/Sub 串流分享」。

資料輸出選項 (僅限 BigQuery 共用資料集)

發布商可透過資料輸出選項，限制訂閱者從 BigQuery 連結資料集匯出資料。

發布商可以對資料集、查詢結果或兩者啟用資料輸出限制。限制資料外流時，會套用下列限制：

建立房源資訊時，可以設定適當的資料輸出選項。

限制

共用功能有以下限制：

  • 共用資料集最多可有 1,000 個連結的資料集。

  • 共用主題最多可有 10,000 個 Pub/Sub 訂閱項目。這項限制包括連結的 Pub/Sub 訂閱項目，以及在共用功能外建立的 Pub/Sub 訂閱項目 (例如直接從 Pub/Sub 建立)。

  • 如果資料集含有不支援的資源，建立房源資訊時就無法選取該資料集做為共用資料集。 如要進一步瞭解分享功能支援的 BigQuery 物件，請參閱本文的「共用資料集」一節。

  • 您無法在連結資料集中的個別表格上設定 IAM 角色或 IAM 政策。請改為在連結的資料集層級套用。

  • 您無法在連結資料集中的資料表上附加 IAM 標記。請改為在連結的資料集層級套用。

  • 2023 年 7 月 25 日前建立的連結資料集，不會由訂閱資源回填。只有在 2023 年 7 月 25 日後建立的訂閱項目，才能搭配使用 API 方法。

  • 如果您是發布商，則適用下列 BigQuery 互通性限制：

    • 訂閱者必須獲得明確的來源資料集讀取權限，才能查詢連結資料集中的檢視區塊。為授予檢視表存取權，發布商應建立授權檢視表，這是最佳做法。授權檢視畫面可授予訂閱者檢視資料的權限，但不會授予基礎來源資料的存取權。

    • 查詢計畫會顯示共用檢視區塊查詢和常式查詢，包括專案 ID，以及授權檢視區塊中涉及的其他資料集。切勿在共用檢視區塊或例行查詢中加入您認為機密的資訊，例如加密金鑰。

    • 系統會在 Data Catalog (已淘汰) 和 Dataplex Universal Catalog 中為共用資料集建立索引。 系統會立即向訂閱者提供共用資料集的更新內容，例如新增資料表或檢視區塊。不過，在特定情況下 (例如共用資料集中的訂閱者或表格超過一百個)，這些服務最多可能需要 18 小時才能為更新建立索引。由於索引作業延遲，訂閱者無法立即在 Google Cloud 控制台中搜尋這些更新的資源。

    • Data Catalog (已淘汰) 和 Dataplex Universal Catalog 會為共用主題建立索引，但您無法依資源類型進行篩選。

    • 如果您已在列出的資料表上設定資料列層級安全性或資料遮蓋政策，訂閱者必須是 Enterprise 或 Enterprise Plus 客戶，才能在連結的資料集上執行查詢作業。如要瞭解版本，請參閱「BigQuery 版本簡介」。

  • 如果您是訂閱者，則適用下列 BigQuery 互通性限制：

    • 系統不支援參照連結資料集中資料表的具體化檢視表。

    • 系統不支援對連結資料集表格建立快照。

    • 如果查詢包含連結的資料集和 JOIN 陳述式，且大小超過 1 TB (實體儲存空間)，可能會失敗。如要解決這個問題，請與支援團隊聯絡。

    • 您無法搭配 INFORMATION_SCHEMA 檢視畫面使用區域限定符，查看已連結資料集的中繼資料。

    • 在連結資料集中查詢常式時，您只能查詢使用者定義函式 (SQL 和 JavaScript UDF) 和資料表函式常式類型。查詢不支援的常式類型會導致錯誤訊息： Querying routine type type is not yet supported on linked dataset dataset.

  • 使用指標有以下限制：

    • 如果是在 2023 年 7 月 20 日前訂閱，就無法取得房源的使用指標。

    • 外部資料表的 num_rows_processed 和 total_bytes_processed 欄位使用指標可能包含不準確的資料。

    • 用量指標僅支援使用 BigQuery 工作的用量。系統不支援使用下列資源：

    • 觀看次數的用量指標只會填入 2024 年 4 月 22 日之後的查詢。

    • 系統不會擷取 BigQuery 中已連結 Pub/Sub 訂閱項目的用量指標 (您可以繼續直接在 Pub/Sub 中查看用量)。

  • 訂閱 Salesforce Data Cloud 資料時，有下列限制：

    • 系統會以檢視畫面形式分享 Data Cloud 資料。訂閱者無法存取檢視表參照的基礎資料表。

支援的地區

BigQuery 共用功能支援下列區域和多重區域。

區域

下表列出美洲地區中可共用裝置的區域。
地區說明 地區名稱 詳細資料
俄亥俄州哥倫布 us-east5
達拉斯 us-south1 節能綠葉圖示 二氧化碳排放量低2
愛荷華州 us-central1 節能綠葉圖示 二氧化碳排放量低2
拉斯維加斯 us-west4
洛杉磯 us-west2
墨西哥 northamerica-south1
蒙特婁 northamerica-northeast1 節能綠葉圖示 二氧化碳排放量低2
北維吉尼亞州 us-east4
奧克拉荷馬州 us-central2
奧勒岡州 us-west1 節能綠葉圖示 二氧化碳排放量低2
鹽湖城 us-west3
聖保羅 southamerica-east1 節能綠葉圖示 二氧化碳排放量低2
聖地亞哥 southamerica-west1
南卡羅來納州 us-east1
多倫多 northamerica-northeast2
下表列出亞太地區可分享的區域。
地區說明 地區名稱 詳細資料
德里 asia-south2
香港 asia-east2
雅加達 asia-southeast2
墨爾本 australia-southeast2
孟買 asia-south1
大阪 asia-northeast2
首爾 asia-northeast3
新加坡 asia-southeast1
雪梨 australia-southeast1
台灣 asia-east1
東京 asia-northeast1
下表列出歐洲可分享的地區。
地區說明 地區名稱 詳細資料
比利時 europe-west1 節能綠葉圖示 二氧化碳排放量低2
柏林 europe-west10 節能綠葉圖示 二氧化碳排放量低
芬蘭 europe-north1 節能綠葉圖示 二氧化碳排放量低2
法蘭克福 europe-west3 節能綠葉圖示 二氧化碳排放量低2
倫敦 europe-west2 節能綠葉圖示 二氧化碳排放量低2
馬德里 europe-southwest1 節能綠葉圖示 二氧化碳排放量低2
米蘭 europe-west8
荷蘭 europe-west4 節能綠葉圖示 二氧化碳排放量低2
巴黎 europe-west9 節能綠葉圖示 二氧化碳排放量低2
杜林 europe-west12
華沙 europe-central2
蘇黎世 europe-west6 節能綠葉圖示 二氧化碳排放量低2
下表列出可共用位置資訊的中東地區。
地區說明 區域名稱 詳細資料
達曼 me-central2
杜哈 me-central1
特拉維夫市 me-west1
下表列出非洲地區中可分享位置資訊的國家/地區。
地區說明 區域名稱 詳細資料
約翰尼斯堡 africa-south1

多區域

下表列出可共用的多重區域。
多地區說明 多地區名稱
歐盟1成員國境內的資料中心 EU
美國資料中心 US

1 位於 EU 多地區的資料，不會存放在 europe-west2 (倫敦) 或 europe-west6 (蘇黎世) 資料中心。

Omni 區域

下表列出可分享的 Omni。
Omni 區域說明 Omni 區域名稱
AWS
AWS - 美國東部 (北維吉尼亞州) aws-us-east-1
AWS - 美國西部 (奧勒岡州) aws-us-west-2
AWS - 亞太地區 (首爾) aws-ap-northeast-2
AWS - 亞太地區 (雪梨) aws-ap-southeast-2
AWS - 歐洲 (愛爾蘭) aws-eu-west-1
AWS - 歐洲 (法蘭克福) aws-eu-central-1
Azure
Azure - 美國東部 2 azure-eastus2

用途範例

本節將舉例說明如何在 BigQuery 中使用共用功能。

假設您是零售商，且貴機構在名為「預測」 Google Cloud 的專案中，有即時需求預測資料。您想與供應鏈系統中的數百個供應商分享這項需求預測資料。以下說明如何透過 BigQuery 共用功能與供應商共用資料：

管理員

身為「預測」專案的擁有者，您必須先啟用 API，然後將Analytics Hub 管理員角色指派給專案中管理資料交換的使用者。具備 Analytics Hub 管理員角色的使用者稱為 Analytics Hub 管理員。

這類管理員可執行以下工作：

  • 在機構的「預測」專案中，建立、更新、刪除及共用資料交換。

  • 使用 Analytics Hub 管理員角色管理其他管理員。

  • 將 Analytics Hub 發布者角色授予機構員工，即可管理發布者。如要讓部分員工只能更新、刪除及分享商家資訊，但無法建立商家資訊，可以授予他們 Analytics 樞紐商家資訊管理員角色。

  • 將 Analytics Hub 訂閱者角色授予包含所有供應商的 Google 群組，即可管理訂閱者。如要讓部分供應商只能查看可用的交易平台和刊登項目，可以授予他們 Analytics Hub 檢視者角色。這些供應商無法訂閱房源。

詳情請參閱「管理資料交換」。

發布商

發布商可在「預測」專案或其他專案中，為資料集建立下列項目：

  • 房源 A：需求預測資料集 1
  • 項目 B：需求預測資料集 2
  • 項目 C：需求預測資料集 3

資料供應商可以追蹤共用資料集的用量指標。用量指標包含下列詳細資料：

  • 針對共用資料集執行的工作。
  • 訂閱者專案和機構的共用資料集用量詳細資料。
  • 這項工作處理的資料列數和位元組數。

詳情請參閱「管理商家檔案」。

訂閱人數

訂閱者可以瀏覽資料交換中他們有權存取的清單。他們也可以訂閱這些項目，並建立連結的資料集，將這些資料集新增至專案。供應商隨後就能對這些連結的資料集執行查詢，並即時擷取結果。

詳情請參閱「查看及訂閱房源資訊」。

定價

管理資料交易平台或刊登項目不會產生額外費用。

如果是 BigQuery 資料集，發布者須支付資料儲存費用，而訂閱者則須根據以量計價或容量計價模式，支付對共用資料執行的查詢費用。如要瞭解價格資訊，請參閱 BigQuery 定價。

如果是 Pub/Sub，主題發布者須支付寫入共用主題的總位元組數 (發布輸送量) 和網路輸出 (如適用)。系統會根據從連結訂閱項目讀取的位元組總數 (訂閱項目輸送量) 和網路輸出量 (如適用) 向訂閱者收費。詳情請參閱 Pub/Sub 定價。

配額

如要瞭解 BigQuery 共享配額，請參閱「配額與限制」。

法規遵循

BigQuery 的共用功能符合下列法規遵循計畫：

VPC Service Controls

您可以設定輸入和輸出規則，讓發布者和訂閱者存取具有 VPC Service Controls 範圍的專案資料。詳情請參閱「共用 VPC Service Controls 規則」。

後續步驟