監控執行作業

本文將說明如何執行下列操作：

事前準備

如要監控執行記錄，請務必執行下列操作：

  1. 前往 Google Cloud 控制台的「Dataform」頁面。

    前往 Dataform

  2. 選取或建立存放區。

  3. 選取或建立開發工作區。

  4. 至少觸發一次執行。

必要的角色

如要取得查看執行記錄所需的權限，請要求管理員授予您工作流程調用存放區的 Dataform 編輯者 (roles/dataform.editor) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

您或許還可透過自訂角色或其他預先定義的角色取得必要權限。

記錄檢視者 (roles/logging.viewer) IAM 角色可授予 Cloud Logging 所有功能的唯讀權限。如要進一步瞭解適用於記錄資料的身分與存取權管理權限和角色，請參閱「使用身分與存取權管理功能控管存取權」一文。

如要建立及管理記錄警告，請確認您的 IAM 角色包含「建立及使用記錄警告政策所需的角色」一文所述的權限。

監控執行記錄

本節說明如何在 Dataform 中查看執行記錄。

您可以查看在存放區中觸發的所有執行作業記錄，以及過去 24 小時內在工作區中觸發的執行作業記錄。

檢查存放區執行記錄

如要查看存放區中觸發的所有執行的記錄，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Dataform」頁面。

    前往 Dataform

  2. 前往存放區。

  3. 按一下「Workflow Execution Logs」(工作流程執行記錄)。

  4. 如要查看執行作業的詳細資料，請點選該執行作業。

  5. 如要查看執行作業中某項動作的詳細資料，請按一下「查看詳細資料」。

檢查工作區執行記錄

如要查看過去 24 小時內在工作區觸發的 1,000 項最新執行作業記錄，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Dataform」頁面。

    前往 Dataform

  2. 前往存放區並選取工作區。

  3. 在工作區中，按一下「執行作業」。

  4. 如要查看執行作業的詳細資料，請點選執行作業。

  5. 如要查看執行作業中某項動作的詳細資料，請按一下「查看詳細資料」。

查看 Dataform 的 Logging 記錄

本節說明如何查看 Dataform 工作流程調用的 Cloud Logging 記錄。

系統會使用 Logging 記錄每次叫用 Dataform 工作流程的作業。系統會自動為 Dataform 工作流程調用啟用記錄功能，這可能會產生記錄費用。詳情請參閱 Dataform 定價。

查看記錄

如要瞭解如何在記錄檔探索工具中篩選記錄檔記錄，請參閱「使用記錄檔探索工具查看記錄檔」。

Dataform 記錄檔會依 Dataform 存放區建立索引。

記錄格式

Dataform 會以以下格式傳送工作流程叫用記錄訊息：

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

記錄內容

Dataform 記錄項目包含的資訊實用，有助於監控及偵錯工作流程調用。

記錄檔項目包含下列資訊類型：

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity：可以是 INFO、WARNING 或 ERROR
  • terminalState：可以是 SUCCEEDED、CANCELED 或 FAILED
  • timestamp
  • @type

使用 Cloud Monitoring 設定指標和快訊

您可以使用「監控」觀察記錄中的趨勢，並在發生您描述的狀況時收到通知。

如要提供記錄資料給監控功能，記錄服務提供下列功能：

  • 記錄指標，可做為下列用途：
    • 建立快訊政策，以便在一段時間內收到變更通知。
    • 建立顯示一段時間內變化的圖表。
  • 記錄式快訊：每當記錄中出現特定事件時，系統就會通知您。

如要進一步瞭解記錄指標和記錄快訊，請參閱「監控記錄」。

如要瞭解如何為 Dataform 工作流程叫用設定以記錄為依據的警告，請參閱「設定工作流程叫用失敗警告」。

設定工作流程叫用失敗的快訊

本節說明如何使用記錄檔探索工具，針對失敗的 Dataform 工作流程叫用設定記錄檔式快訊。

您可以使用 Cloud Monitoring 觀察 Dataform 工作流程調用記錄的趨勢，並在發生您描述的狀況時收到通知。

系統會使用 Logging 記錄每次叫用 Dataform 工作流程的動作。系統會自動啟用 Dataform 工作流程的叫用記錄功能，這可能會產生 Logging 帳單費用。詳情請參閱 Dataform 定價。

如要在 Dataform 工作流程叫用失敗時收到快訊，可以建立以記錄為準的快訊。

您可以在 Google Cloud 控制台的「記錄檔探索工具」頁面中建立記錄快訊，也可以使用 Monitoring API 建立。本節說明如何使用記錄檔探索工具，針對 Dataform 工作流程叫用失敗建立記錄檔快訊。

如要為失敗的 Dataform 工作流程叫用作業設定記錄型快訊，請按照下列步驟操作：

  1. 在 Google Cloud 控制台中，依序選取「Logging」(記錄) 和「Logs Explorer」(記錄檔探索工具)。

    前往記錄檔探索工具

  2. 在「Query」(查詢) 窗格中，選取「Show query」(顯示查詢)，然後輸入下列查詢：

        resource.type="dataform.googleapis.com/Repository"
    jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
    jsonPayload.terminalState="FAILED"

    這項查詢會針對所有失敗的 Dataform 工作流程叫用作業發出快訊。

    1. 選用：如要依發布版本設定篩選失敗的工作流程叫用，請在查詢中附加下列內容：

          jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"

      將 RELEASE_CONFIGURATION_ID 替換為發布設定的 ID。

    2. 選用：如要依工作流程設定篩選失敗的工作流程叫用，請在查詢中附加下列內容：

          jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"

      將 WORKFLOW_CONFIGURATION_ID 替換為工作流程設定的 ID。

    如果與daily發布版本設定和production工作流程設定相關的 Dataform 工作流程叫用失敗，下列查詢會發出快訊：

     resource.type="dataform.googleapis.com/Repository"
 jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
 jsonPayload.terminalState="FAILED"
 jsonPayload.releaseConfigId="daily"
 jsonPayload.workflowConfigId="production"

  3. 選用：如要驗證查詢，請使用「查詢結果」窗格中的「執行查詢」。

  4. 在「Query results」(查詢結果) 窗格的標頭中，按一下「Create alert」(建立快訊)。如果視窗較窄，「建立快訊」選項可能會顯示在「動作」選單中。

  5. 在「快訊詳細資料」窗格中，為快訊命名並提供說明：

    1. 在「Alert Name」(快訊名稱) 欄位中輸入快訊的名稱。例如： Dataform: workflow failure。

    2. 輸入這類快訊的說明。您也可以加入相關資訊，協助通知收件者診斷問題。以下字串概略說明快訊原因：

      Log-based alert in project ${project} detected a failed Dataform workflow.

      如要瞭解如何設定這個欄位的內容格式和調整內容，請參閱「使用使用者定義的說明文件註解通知」。

  6. 如要前往下一個步驟，請按「Next」(下一步)。

  7. 在「Choose logs to include in the alert」(選擇要加入快訊的記錄檔) 窗格中，按一下「Preview logs」(預覽記錄)，檢查查詢和結果。

    建議您在 Logs Explorer 的「Query」(查詢) 窗格中建立查詢。 您在「Query」(查詢) 窗格中建構的查詢也會顯示在此窗格中。

    如有需要，您可以在這個窗格中編輯查詢。如要編輯查詢，請按一下「Preview logs」(預覽記錄) 查看結果。

  8. 點選「下一步」。

  9. 選取通知時間間隔下限。這個值可讓您控制如果觸發多次，會收到這項快訊的通知幾次。以本例來說，請從選項中選取「5 分鐘」。

  10. 選用：選取事件自動關閉期限。預設情況下，事件自動關閉時間為 7 天。

  11. 點選「下一步」。

  12. 為快訊選取一或多個通知管道。這個範例是以電子郵件通知管道為例。

    如果您已設定電子郵件通知管道，可以從清單中選取該管道。如果沒有，請按一下「管理通知管道」，並新增電子郵件管道。如要瞭解如何建立通知管道，請參閱「建立及管理通知管道」。

  13. 按一下 [儲存]。

現在可以測試記錄式快訊了。如要測試快訊，請參閱「測試記錄型快訊政策範例」一文的操作說明。

後續步驟