Dataform 用の Cloud Logging を表示する

このドキュメントでは、Dataform ワークフローの呼び出しに関する Cloud Logging ログを表示する方法について説明します。

Dataform ワークフローの呼び出しは、それぞれ Cloud Logging によって記録されます。Dataform ワークフローの呼び出しでは、ロギングが自動的に有効になります。このため、Cloud Logging の料金が発生する場合があります。詳細については、Dataform の料金をご覧ください。

権限とロール

ログ閲覧者のロール（roles/logging.viewer）は、Logging のすべての機能に対する読み取り専用権限を付与します。Cloud Logging データに適用される IAM の権限とロールの詳細については、Cloud Logging のアクセス制御ガイドをご覧ください。

ログを表示

ログを表示するには、ログ エクスプローラに移動します。

ログ エクスプローラに移動

ログ エクスプローラで Cloud Logging ログをフィルタリングする方法については、ログ エクスプローラを使用してログを表示するをご覧ください。

Dataform ログは、Dataform リポジトリによってインデックスに登録されます。

ログ形式

Dataform は、ワークフローの呼び出しログ メッセージを次の形式で送信します。

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

ログの内容

Dataform ログエントリには、ワークフローの呼び出しのモニタリングとデバッグに役立つ情報が含まれています。

ログエントリには次のタイプの情報が含まれています。

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: INFO、WARNING、ERROR のいずれかを設定できます。
  • terminalState: SUCCEEDED、CANCELED、FAILED のいずれかです。
  • timestamp
  • @type

Cloud Monitoring で指標とアラートを構成する

Cloud Monitoring を使用すると、ログの傾向を監視し、記述した条件が発生したときに通知を受け取ることができます。

Cloud Monitoring にログのデータを提供するため、Cloud Logging には次の機能があります。

  • ログベースの指標で、次のように使用できます。
    • 経時的な変化を通知するアラート ポリシーを作成する。
    • 経時的な変化を表すグラフを作成する。
  • ログに特定のイベントが表示されるたびに通知する、ログベースのアラート。

ログベースの指標とログベースのアラートの詳細については、ログのモニタリングをご覧ください。

Dataform ワークフロー呼び出しに対するログベースのアラートを構成する方法については、失敗したワークフロー呼び出しに対するアラートを構成するをご覧ください。

次のステップ