管理湖泊中的資料資產

本頁說明如何在現有的 Dataplex Universal Catalog 區域中,新增、升級及移除 Cloud Storage bucket 和 BigQuery 資料集做為資產。

總覽

資產會對應至儲存在 Cloud Storage 或 BigQuery 的資料。您可以將儲存在不同 Google Cloud 專案中的資料對應為資產,並放入湖泊中的單一可用區。您可以附加現有的 Cloud Storage bucket 或 BigQuery 資料集,以便從湖泊內進行管理。

事前準備

  • 如果還沒有,請先建立湖泊,並在該湖泊中建立區域

  • 大多數 gcloud lakes 指令都需要位置。如要指定位置,您可以使用 --location 標記。

必要的角色

  • 如要移除資產,請授予包含 dataplex.lakes.deletedataplex.zones.deletedataplex.assets.delete IAM 權限的 IAM 角色。您可以使用 Dataplex Universal Catalog 專屬的 roles/dataplex.adminroles/dataplex.editor 角色授予這些權限。

  • 如要新增資產,請授予包含 createdataplex.lakes.createdataplex.zones.createdataplex.assets.create 權限的 IAM 角色。roles/dataplex.adminroles/dataplex.editor 角色具備這些權限。

  • 您也可以使用 roles/ownerroles/editor 舊版角色,將權限授予使用者或群組。

  • 您必須授權 Dataplex Universal Catalog 服務存取要附加至 Dataplex Universal Catalog Lake 的資源。系統會自動且隱含地授權存取湖泊所在專案中的資源。如果是其他專案,請明確授權 Dataplex Universal Catalog 服務存取資源。

詳情請參閱「Dataplex Universal Catalog IAM 和存取權控管」。

授予 Cloud Storage 值區的角色

如要將其他專案的 Cloud Storage 儲存空間連結至湖泊,您必須在包含該儲存空間的專案中,將 Dataplex Universal Catalog 服務帳戶 (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com,可從控制台的湖泊詳細資料頁面擷取) 授予 Dataplex Universal Catalog 服務帳戶角色 (roles/dataplex.serviceAgent)。這個角色會為 Dataplex Universal Catalog 服務提供值區的必要管理員層級角色,以便在值區本身設定權限。

授予 BigQuery 資料集角色

如要將其他專案的 BigQuery 資料集附加至資料湖,您必須授予 Dataplex 通用目錄服務帳戶資料集的 BigQuery 管理員角色。

VPC Service Controls 注意事項

Dataplex Universal Catalog 不會違反 VPC Service Controls 範圍。將資產新增至湖泊前,請確認基礎值區或資料集與湖泊位於相同的 VPC Service Controls 網路。

詳情請參閱「透過 Dataplex Universal Catalog 使用 VPC Service Controls」。

新增資產

如果 Dataplex Universal Catalog 湖泊區域與其中一個 Cloud Storage bucket 區域沒有重疊,您就無法將 bucket 新增至湖泊中的區域。

如要進一步瞭解 Cloud Storage 資產的地區位置,以及 Dataplex Universal Catalog 在建立發布資料集時如何處理值區位置,請參閱「地區資源」。

如要新增素材資源,請按照下列步驟操作:

控制台

  1. 在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Lakes」(湖泊) 頁面。

    前往「Lakes」(湖泊)

  2. 按一下要新增 Cloud Storage bucket 或 BigQuery 資料集的 Lake。系統隨即開啟湖泊頁面。

  3. 在「區域」分頁中,按一下要新增資產的資料區域名稱。系統會開啟該資料區域的「資料區域」頁面。

  4. 在「資產」分頁中,點選「+ 新增資產」。「新增素材資源」頁面隨即開啟。

  5. 按一下「新增資產」

  6. 在「類型」欄位中,選取「BigQuery 資料集」或「Cloud Storage 值區」

  7. 在「顯示名稱」欄位中,輸入新資產的名稱。

  8. 在「ID」欄位中,輸入資產的專屬 ID。

  9. 選用:輸入說明

  10. 在「資料集」或「值區」欄位 (視資產類型而定),按一下「瀏覽」,找出並選取 Cloud Storage 值區或 BigQuery 資料集。

  11. 選用:如果資產類型為 Cloud Storage bucket,且您希望 Dataplex Universal Catalog 管理資產,請選取「升級為受管理」核取方塊。選擇這個選項後,您就不必另外升級資產。這個選項不適用於 BigQuery 資料集。

  12. 按一下「繼續」

  13. 選擇其餘參數值。如要進一步瞭解安全性設定,請參閱「Lake 安全性」。

  14. 按一下「提交」

  15. 確認您已返回資料區域頁面,且新資產顯示在資產清單中。

REST

如要新增資產,請使用 lakes.zones.assets.create 方法。

新增成功後,資料區域會自動進入有效狀態。如果失敗,資料區域就會還原為先前的正常狀態。

升級 Cloud Storage bucket 資產

新增 Cloud Storage bucket 類型的資產時,Dataplex Universal Catalog 會自動發布資產中代管資料表的 BigQuery外部資料表

升級 Cloud Storage bucket 資產時, Dataplex Universal Catalog 會移除附加的外部資料表,並建立 BigLake 資料表。 BigLake 資料表支援更精細的安全防護,包括資料列層級、資料欄層級和動態資料遮蓋。

如要升級 Cloud Storage bucket 資產,請按照下列步驟操作:

控制台

  1. 在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Lakes」(湖泊) 頁面。

    前往「Lakes」(湖泊)

  2. 按一下湖泊名稱。系統隨即開啟湖泊頁面。

  3. 在「可用區」分頁中,按一下資料可用區的名稱。資料區域頁面隨即開啟。

  4. 在「資產」分頁中,按一下要升級的資產名稱。

  5. 按一下「升級為受管理」

REST

如要升級 bucket 資產,請使用 lakes.zones.assets.patch 方法。

降級 Cloud Storage bucket 資產

降級 Cloud Storage bucket 資產時,Dataplex Universal Catalog 會移除附加的 BigLake 資料表,並建立外部資料表。

控制台

  1. 在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Lakes」(湖泊) 頁面。

    前往「Lakes」(湖泊)

  2. 按一下湖泊名稱。系統隨即開啟湖泊頁面。

  3. 在「可用區」分頁中,按一下資料可用區的名稱。資料區域頁面隨即開啟。

  4. 在「資產」分頁中,按一下要升級的資產名稱。

  5. 按一下「從代管模式降級」

REST

如要降級 Bucket 資產,請使用 lakes.zones.assets.patch 方法。請確認您已在 ResourceSpec 中將 readAccessMode 欄位設為 DIRECT

移除素材資源

如要將資產附加至其他資料區或資料湖,請先從目前的資料區或資料湖中移除資產。

如要移除資產,請按照下列步驟操作:

控制台

  1. 在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Lakes」(湖泊) 頁面。

    前往「Lakes」(湖泊)

  2. 按一下要移除 Cloud Storage 值區或 BigQuery 資料集的湖泊。系統會開啟該湖泊的湖泊頁面。

  3. 在「區域」分頁中,按一下要移除 Cloud Storage bucket 或 BigQuery 資料集的資料區域名稱。系統會開啟該資料區域的「資料區域」頁面。

  4. 在「資產」分頁中,勾選資產名稱左側的方塊,選取資產。

  5. 按一下「刪除資產」

  6. 在確認對話方塊中,按一下「刪除」

REST

如要移除 bucket,請使用 lakes.zones,assets.delete 方法。

後續步驟