Cloud Monitoring を使用して Dataform ワークフロー呼び出しの Cloud Logging ログの傾向を確認し、記述した条件の発生時に通知できます。
各 Dataform ワークフローの呼び出しは、Cloud Logging を使用してログに記録されます。Dataform ワークフローの呼び出しでは、ロギングが自動的に有効になります。このため、Cloud Logging の料金が発生する場合があります。詳細については、Dataform の料金をご覧ください。
Dataform ワークフローの呼び出しが失敗したときにアラートを受け取るには、ログベースのアラートを作成します。
ログベースのアラートは、Google Cloud コンソールの [ログ エクスプローラ] ページ、または Monitoring API を使用して作成できます。このガイドでは、ログ エクスプローラを使用して Dataform ワークフロー呼び出しの失敗に対するログベースのアラートを作成する方法について説明します。
始める前に
ログベースのアラートを作成して管理するには、Identity and Access Management のロールに、ログベースのアラートの権限で説明されている権限が含まれていることを確認してください。
Dataform ワークフロー呼び出しに失敗に対するログベースのアラートを構成する
Dataform ワークフローの呼び出しに失敗した場合のログベースのアラートを構成するには、次の手順を行います。
Google Cloud コンソールで [Logging] を選択してから、[ログ エクスプローラ] を選択します。
[クエリ] ペインで [クエリを表示] を選択し、次のクエリを入力します。
resource.type="dataform.googleapis.com/Repository" jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry" jsonPayload.terminalState="FAILED"
このクエリは、すべての失敗した Dataform ワークフローの呼び出しをアラートで通知します。
省略可: 失敗したワークフローの呼び出しをリリース構成でフィルタするには、クエリに次の行を追加します。
jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"
省略可: 失敗したワークフローの呼び出しをワークフロー構成でフィルタするには、クエリに次の行を追加します。
jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"
次のクエリは、
daily
リリース構成とproduction
ワークフロー構成の両方に関連する Dataform ワークフローの呼び出しが失敗した場合にアラートを出します。resource.type="dataform.googleapis.com/Repository" jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry" jsonPayload.terminalState="FAILED" jsonPayload.releaseConfigId="daily" jsonPayload.workflowConfigId="production"
省略可: [クエリ結果] ペインで [クエリを実行] を使用してクエリを検証します。
[クエリ結果] ペインの上部にある、[アラートを作成] をクリックします。ウィンドウの幅が狭い場合、[アラートを作成] オプションは [Actions] メニューに表示される場合があります。
[アラートの詳細] ペインで、アラートの名前と説明を入力します。
[アラート名] フィールドにアラートの名前を入力します。たとえば、「Dataform: ワークフローの失敗」などです。
このアラートの説明を入力します。通知の受信者が問題を診断する際に有用な情報を表示することもできます。 次の文字列では、アラートの理由を要約しています。
Log-based alert in project ${project} detected a failed Dataform workflow.
このフィールドの内容のフォーマットと調整の詳細については、ドキュメント テンプレートでマークダウンと変数を使用するをご覧ください。
次のステップに進むには、[次へ] をクリックします。
[アラートに含めるログを選択] ペインで、[ログをプレビュー] をクリックしてクエリと結果を確認します。
ログ エクスプローラの [クエリ] ペインでクエリを作成することをおすすめします。[クエリ] ペインで作成したクエリもこのペインに表示されます。
必要に応じて、このペインでクエリを編集できます。クエリを編集する場合は、[ログをプレビュー] をクリックして結果を確認します。
[次へ] をクリックします。
通知間の最小時間を選択します。この値により、このアラートが複数回トリガーされた場合に受信する通知の数を制御できます。この例では、オプションから [5 minute] を選択します。
省略可: インシデントの自動クローズ期間を選択します。デフォルトでは、インシデントの自動クローズ期間は 7 日に設定されています。
[次へ] をクリックします。
アラートの通知チャネルを 1 つ以上選択します。この例では、メール通知チャネルを選択します。
すでにメール通知チャンネルを構成している場合は、リストからそれを選択できます。そうでない場合は、[通知チャンネルを管理] をクリックしてメールチャンネルを追加します。通知チャンネルの作成方法については、通知チャンネルの管理をご覧ください。
[保存] をクリックします。
これで、ログベースのアラートをテストできるようになりました。 アラートをテストする手順については、ログベースのサンプル アラートをテストするをご覧ください。
次のステップ
- 詳細については、Cloud Logging でログベースのアラートを構成するをご覧ください。
- Dataform の Cloud Logging ログの詳細を確認します。
- 詳しくは、Cloud Monitoring のログベースの指標とログベースのアラートをご覧ください。
- Cloud Audit Logs と Cloud Monitoring の概要を確認します。