Dataform 用の Cloud Logging を表示する

このドキュメントでは、Dataform ワークフローの呼び出しに関する Cloud Logging ログを表示する方法を説明します。

各 Dataform ワークフローの呼び出しは、Cloud Logging を使用して記録されます。Dataform ワークフローの呼び出しでは、ロギングが自動的に有効になります。このため、Cloud Logging の料金が発生する場合があります。詳しくは、Dataform の料金をご覧ください。

権限とロール

ログ閲覧者のロール（roles/logging.viewer）は、Logging のすべての機能に対する読み取り専用権限を付与します。Cloud Logging データに適用される IAM の権限とロールの詳細については、Cloud Logging のアクセス制御ガイドをご覧ください。

ログの表示

ログを表示するには、ログ エクスプローラに移動します。

ログ エクスプローラに移動

ログ エクスプローラで Cloud Logging のログをフィルタリングする方法については、ログ エクスプローラを使用してログを表示するをご覧ください。

Dataform のログは、Dataform リポジトリによってインデックスに登録されます。

ログ形式

Dataform は、次の形式でワークフロー呼び出しログ メッセージを送信します。

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

ログの内容

Dataform ログエントリには、ワークフロー呼び出しのモニタリングとデバッグに役立つ情報が含まれています。

ログエントリには次のタイプの情報が含まれています。

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: INFO、WARNING、ERROR のいずれかを設定できます。
  • terminalState: SUCCEEDED、CANCELED、FAILED のいずれかです。
  • timestamp
  • @type

Cloud Monitoring を使用して指標とアラートを構成する

Cloud Monitoring を使用してログの傾向を確認し、記述した条件の発生時に通知できます。

Cloud Monitoring にログのデータを提供するため、Cloud Logging には次の機能があります。

  • ログベースの指標で、次のように使用できます。
    • 経時的な変化を通知するアラート ポリシーを作成する。
    • 経時的な変化を表すグラフを作成する。
  • ログに特定のイベントが表示されるたびに通知する、ログベースのアラート。

ログベースの指標とログベースのアラートの詳細については、ログのモニタリングをご覧ください。

Dataform ワークフロー呼び出しに対するログベースのアラートを構成する方法については、失敗したワークフロー呼び出しに対するアラートを構成するをご覧ください。

次のステップ