管理管道

本文說明如何管理 BigQuery 管道，包括如何排定管道的執行時間和刪除管道。

本文也說明如何在 Dataplex Universal Catalog 中查看及管理管道中繼資料。

管道由 Dataform 提供支援。

事前準備

  1. 建立 BigQuery 管道。
  2. 如要在 Dataplex Universal Catalog 中管理管道中繼資料，請確保 Google Cloud 專案已啟用 Dataplex API。

必要的角色

如要取得管理 pipeline 的必要權限，請要求管理員授予下列 IAM 角色：

  • 如要刪除管道，請按照下列步驟操作： 按一下管道上的「Dataform 管理員」圖示 (roles/dataform.Admin)
  • 如要查看及執行管道，請在專案中指派 Dataform 檢視者 (roles/dataform.Viewer) 角色。

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

您或許還可透過自訂角色或其他預先定義的角色取得必要權限。

如要在 Dataplex Universal Catalog 中管理管道中繼資料，請確認您具備必要的 Dataplex Universal Catalog 角色

如要進一步瞭解 Dataform IAM，請參閱「使用 IAM 控管存取權」。

查看所有管道

如要查看專案中的所有管道清單，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中，按一下 展開「Pipelines」。

查看過去的手動執行作業

如要查看所選管道過去的手動執行作業，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中，展開專案和「Pipelines」資料夾，然後選取管道。

  3. 按一下「執行」。

  4. 選用：如要重新整理過往執行記錄清單，請按一下「重新整理」。

設定管道執行失敗的快訊

每個管道都有對應的 Dataform 存放區 ID。 每個 BigQuery 管道執行作業都會使用對應的 Dataform 存放區 ID，記錄在 Cloud Logging 中。您可以使用 Cloud Monitoring 觀察 BigQuery 管道執行作業的 Cloud Logging 記錄趨勢，並在發生您描述的情況時收到通知。

如要在 BigQuery 管道執行失敗時收到快訊，可以為對應的 Dataform 存放區 ID 建立以記錄為準的快訊政策。如需操作說明，請參閱設定工作流程叫用失敗的快訊。

如要找出管道的 Dataform 存放區 ID，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中，展開專案和「Pipelines」資料夾，然後選取管道。

  3. 按一下「設定」。

    管道的 Dataform 存放區 ID 會顯示在「設定」分頁底部。

刪除管道

如要永久刪除管道，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中，展開專案和「Pipelines」資料夾。 找出要刪除的管道。

  3. 按一下管道旁的 「查看動作」，然後按一下「刪除」。

  4. 點選「刪除」。

在 Dataplex Universal Catalog 中管理中繼資料

Dataplex Universal Catalog 可讓您儲存及管理管道的中繼資料。Dataplex Universal Catalog 預設會提供管道，無須額外設定。

您可以使用 Dataplex Universal Catalog 管理所有管道位置的管道。在 Dataplex Universal Catalog 中管理管道時，須遵守 Dataplex Universal Catalog 配額和限制，以及 Dataplex Universal Catalog 定價。

Dataplex Universal Catalog 會自動從管道擷取下列中繼資料：

  • 資料資產名稱
  • 資料資產父項
  • 資料資產位置
  • 資料資產類型
  • 對應 Google Cloud 專案

Dataplex Universal Catalog 會將管道記錄為「項目」，並包含下列項目值：

系統項目群組
管道的系統項目群組為 @dataform。如要在 Dataplex Universal Catalog 中查看管道項目的詳細資料，您需要查看 dataform 系統項目群組。如要瞭解如何查看項目群組中的所有項目清單，請參閱 Dataplex Universal Catalog 說明文件的「查看項目群組詳細資料」一節。
系統項目類型
管道的系統項目類型為 dataform-code-asset。如要查看管道詳細資料，您需要查看 dataform-code-asset 系統項目類型、使用以層面為準的篩選器篩選結果，並將 dataform-code-asset 層面內的 type 欄位設為 WORKFLOW。 然後選取所選管道的項目。 如要瞭解如何查看所選項目類型的詳細資料，請參閱 Dataplex Universal Catalog 說明文件中的「查看項目類型的詳細資料」。如要瞭解如何查看所選項目的詳細資料，請參閱 Dataplex Universal Catalog 說明文件的「查看項目的詳細資料」一節。
系統切面類型
管道的系統切面類型為 dataform-code-asset。如要透過切面為 Dataplex Universal Catalog 中的管道加上註解，藉此提供額外背景資訊，請查看 dataform-code-asset 切面類型、使用切面篩選器篩選結果，並將 dataform-code-asset 切面內的 type 欄位設為 WORKFLOW。如需為項目加上切面註解的操作說明，請參閱 Dataplex Universal Catalog 說明文件中的「管理切面及豐富中繼資料」一節。
類型
資料畫布的類型為 WORKFLOW。 這類篩選器可讓您在 dataform-code-asset 系統項目類型和 dataform-code-asset 切面類型中，使用aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW以切面為準的篩選器查詢，篩選管道。

如需在 Dataplex Universal Catalog 中搜尋資產的操作說明，請參閱 Dataplex Universal Catalog 說明文件中的「在 Dataplex Universal Catalog 中搜尋資料資產」。

後續步驟