パイプライン アラートを作成する

このページでは、Cloud Data Fusion でデータ パイプラインのアラートを設定する方法について説明します。

アラートは、次のサービスを使用して作成できます。

  • Cloud Data Fusion を使用したアラート: Cloud Data Fusion でバッチ パイプラインを設計するときに、これらのアラートを設定します。パイプラインをデプロイした後は、アラートの追加や編集ができなくなります。

  • Cloud Monitoring を使用したログベースのアラート: これらのアラートは、パイプラインをデプロイする前と後に Google Cloud コンソールで設定します。

準備

Cloud Data Fusion インスタンスが必要です。詳細については、Cloud Data Fusion インスタンスの作成をご覧ください。

Cloud Data Fusion にアラートを追加する

  1. インスタンスを開きます。

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion ウェブ インターフェースでインスタンスを開くには、[Instances] をクリックしてから、[View instance] をクリックします。

      [インスタンス] に移動

  2. パイプラインを設計する [Studio] ページに移動します。

  3. [構成] > [パイプライン アラート] > [ 追加] の順にクリックします。

  4. アラートを選択して構成します。アラートの構成の詳細については、バッチ パイプライン アラートをご覧ください。

  5. アラートを構成したら、[検証] をクリックしてエラーを確認し、[確認] をクリックします。

Monitoring でアラートを作成する

  1. Cloud Data Fusion インスタンスで Cloud Logging を有効にします。

  2. ログベースのアラートを作成する。

    1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

      ログ エクスプローラに移動

      このページでは、データの保存、クエリ、更新、削除を行えます。

    2. 次のクエリを入力します。

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      PROJECT_ID はプロジェクトの ID に置き換えます。

    3. [アラートを作成] をクリックし、アラートを構成します。

アラートは、パイプラインが Dataproc クラスタで実行されて失敗した場合にのみ生成されます。Dataproc クラスタの作成に失敗した場合、アラートは生成されません。

次のステップ