パイプライン指標を表示する

パイプラインを定義、ビルド、実行した後、Metrics Explorer でパイプライン ジョブまたはパイプライン タスクに関連する指標を表示できます。さらに、Cloud Logging を使用してカスタムのログベースの指標とアラートを作成し、パイプライン障害などのイベントをモニタリングできます。

このページでは、次の方法について説明します。

Cloud Logging でのカスタム指標の作成と表示には費用がかかります。詳細については、Cloud Logging の料金をご覧ください。

Metrics Explorer で Vertex AI Pipelines の標準指標を表示する

Metrics Explorer では、Vertex AI Pipelines に関連する次の指標を表示できます。

パイプライン ジョブのランタイムの所要時間を表示する

Google Cloud コンソールで Vertex Pipelines Job - PipelineJob duration 指標を表示するには、次の操作を行います。

  1. Metrics Explorer に移動します。

    Metrics Explorer に移動

  2. [指標] リストで、[Vertex Pipelines ジョブ] > [Pipelinejob] > [PipelineJob の所要時間] を選択します。

  3. [適用] をクリックします。

  4. 省略可: クエリをフィルタするには、[フィルタ] をクリックして 1 つ以上の条件を指定します。例:

    • 特定のパイプライン ジョブのランタイムの所要時間を表示するには、pipeline_job_id フィルタを使用します。

    • 特定のロケーションのパイプライン ジョブのランタイムの所要時間を表示するには、location フィルタを使用します。

    • PIPELINE_JOB_RUNNING、PIPELINE_JOB_CANCELLED、または PIPELINE_JOB_PENDING 状態のパイプライン ジョブのランタイムの所要時間を表示するには、run_state フィルタを使用します。

パイプライン実行の数を表示する

Google Cloud コンソールで Location - Executing PipelineJobs 指標を表示するには、次の操作を行います。

  1. Metrics Explorer に移動します。

    Metrics Explorer に移動

  2. [指標] リストで、[ロケーション] > [Executing_vertexai_pipeline_jobs] > [実行中の PipelineJobs] を選択します。

  3. [適用] をクリックします。

  4. 省略可: クエリをフィルタするには、[フィルタ] をクリックして 1 つ以上の条件を指定します。たとえば、特定のロケーションのパイプライン ジョブの数を表示するには、location フィルタを使用します。

完了したパイプライン タスクの数を表示する

Google Cloud コンソールで Vertex Pipelines Job - Completed PipelineTasks 指標を表示するには、次の操作を行います。

  1. Metrics Explorer に移動します。

    Metrics Explorer に移動

  2. [指標] リストで、[Vertex Pipelines ジョブ] > [Pipelinejob] > [完了した PipelineTasks] を選択します。

  3. [適用] をクリックします。

  4. 省略可: クエリをフィルタするには、[フィルタ] をクリックして 1 つ以上の条件を指定します。例:

    • 特定のパイプライン実行で完了したタスクの数を表示するには、pipeline_job_id フィルタを使用します。

    • 特定のロケーションのパイプライン実行で完了したタスクの数を表示するには、location フィルタを使用します。

実行されたパイプライン タスクの数を表示する

Google Cloud コンソールで Location - Executing PipelineTasks 指標を表示するには、次の操作を行います。

  1. Metrics Explorer に移動します。

    Metrics Explorer に移動

  2. [指標] リストで、[ロケーション] > [Executing_vertexai_pipeline_tasks] > [実行中の PipelineTasks] を選択します。

  3. [適用] をクリックします。

  4. 省略可: クエリをフィルタするには、[フィルタ] をクリックして 1 つ以上の条件を指定します。たとえば、特定のロケーションで実行されたパイプライン タスクの数を表示するには、location フィルタを使用します。

ログ エクスプローラでカスタム指標を作成して表示する

Google Cloud コンソールのログ エクスプローラを使用して、パイプライン ログ内のパターンを追跡して分析するログベースの指標を作成できます。

カスタム指標の例

このセクションでは、作成可能なカスタム指標の例を示します。次に例を示します。

失敗したパイプライン ジョブのカスタム指標を作成する

失敗したパイプライン ジョブをモニタリングするログベースのカウンタ指標を作成するには、次の手順を行います。

  1. ログ エクスプローラに移動します。

    ログ エクスプローラに移動

  2. 適切な Google Cloud プロジェクトを選択します。

  3. [リソース] プルダウン メニューで、[Vertex Pipelines ジョブ] を選択します。

  4. [ロケーション] プルダウン メニューで、パイプラインのロケーションを選択します。

  5. [All pipeline_job_id] プルダウン メニューで、パイプライン ジョブの ID を選択します。

  6. [適用] をクリックします。

  7. [指標を作成] をクリックします。

  8. [ログの指標の作成] 画面で次の操作を行います。

    1. [指標タイプ] を [カウンタ] に設定します。

    2. [詳細] セクションで次のフィールドを設定します。

      • ログ指標の名前: ログ指標の名前を入力します（例: pipelinejob_failed）。Google Cloud プロジェクトのログベースの指標の中で一意の名前を選択します。いくつかの命名制限が適用されます。詳細については、トラブルシューティングをご覧ください。
      • 説明: 指標の説明を入力します。
      • 単位: このフィールドは空白のままにするか、数字「1」を入力します。

    3. [フィルタの選択] で指標フィルタを定義します。ロギングクエリ言語を使用して、指標でカウントするログエントリのみを収集するフィルタを作成します。次に例を示します。

      resource.type="aiplatform.googleapis.com/PipelineJob"
jsonPayload.state="PIPELINE_STATE_FAILED"

      正規表現を使用して指標のフィルタを作成することもできます。

      フィルタと一致するログエントリを表示するパネルを開くには、[ログをプレビュー] をクリックします。

    4. 省略可: [ラベル] にラベルを追加します。ラベルの作成手順については、ラベルの作成をご覧ください。

    5. 指標を作成するには、[指標を作成] をクリックします。

パイプラインの最終状態のカスタム指標を作成する

パイプライン ジョブの最終状態をモニタリングするログベースのカウンタ指標を作成する手順は次のとおりです。

  1. ログ エクスプローラに移動します。

    ログ エクスプローラに移動

  2. 適切な Google Cloud プロジェクトを選択します。

  3. [リソース] プルダウン メニューで、[Vertex Pipelines ジョブ] を選択します。

  4. [ロケーション] プルダウン メニューで、パイプラインのロケーションを選択します。

  5. [All pipeline_job_id] プルダウン メニューで、パイプライン ジョブの ID を選択します。

  6. [適用] をクリックします。

  7. [指標を作成] をクリックします。

  8. [ログの指標の作成] 画面で次の操作を行います。

    1. [指標タイプ] を [カウンタ] に設定します。

    2. [詳細] セクションで次のフィールドを設定します。

      • ログ指標の名前: ログ指標の名前を入力します（例: Pipeline_state_final）。Google Cloud プロジェクトのログベースの指標の中で一意の名前を選択します。いくつかの命名制限が適用されます。詳細については、トラブルシューティングをご覧ください。
      • 説明: 指標の説明を入力します。
      • 単位: このフィールドは空白のままにするか、数字「1」を入力します。

    3. [フィルタの選択] で指標フィルタを定義します。ロギングクエリ言語を使用して、指標でカウントするログエントリのみを収集するフィルタを作成します。次に例を示します。

      resource.type="aiplatform.googleapis.com/PipelineJob"
jsonPayload.state="PIPELINE_STATE_SUCCEEDED" OR
"PIPELINE_STATE_FAILED" OR "PIPELINE_STATE_CANCELLED"

      正規表現を使用して指標のフィルタを作成することもできます。

      フィルタと一致するログエントリを表示するパネルを開くには、[ログをプレビュー] をクリックします。

    4. 省略可: [ラベル] にラベルを追加します。ラベルの作成手順については、ラベルの作成をご覧ください。

    5. 指標を作成するには、[指標を作成] をクリックします。

パイプライン ジョブの失敗率を表示する

パイプライン ジョブの失敗率は、最終状態のパイプライン ジョブ数と失敗したパイプライン ジョブ数の比率として計算されます。パイプライン ジョブの失敗率をモニタリングするダッシュボードを作成するには、次の手順を行います。

  1. 最終状態のパイプライン ジョブをモニタリングするための指標を作成します。詳細については、パイプラインの最終状態のカスタム指標を作成するをご覧ください。

  2. 失敗した状態のパイプライン ジョブをモニタリングするための指標を作成します。詳細については、失敗したパイプライン ジョブのカスタム指標を作成するをご覧ください。

  3. Google Cloud コンソールの [モニタリング] セクションで、[Metrics Explorer] ページに移動します。

    [Metrics Explorer] ページに移動

  4. [構成] タブで、次の手順を実行します。

    1. [別の指標を追加] をクリックします。

    2. [指標を比率で表示する] オプションを選択します。このオプションを選択すると、次の処理が行われます。

      • [時系列 A] ペインの名前が [分子] に変更されます。

      • [時系列 B] ペインの名前が [分母] に変更されます。

    3. [分子] ペインで、[指標を選択] をクリックして、失敗したパイプライン ジョブ用に作成された指標を選択します。

    4. [分母] ペインで、[指標を選択] をクリックして、最終状態のパイプライン ジョブ用に作成された指標を選択します。

    5. （省略可）フィルタを追加するか、グループ化フィールドとアライメント パラメータを更新して、分子と分母を構成します。

      フィルタを追加する方法、またはグループ化フィールドとアライメント パラメータを更新する方法の詳細については、指標の比率をグラフ化するをご覧ください。

    分子と分母を選択すると、パイプライン ジョブの失敗率がグラフに表示されます。

    • パイプライン ジョブの失敗率のグラフを生成したら、これをカスタム ダッシュボードに追加できます。詳しくは、後で参照できるようにグラフを保存するをご覧ください。

    • グラフ構成を含む URL をコピーするには、グラフの右上隅にある省略記号アイコンをクリックして、[URL による共有] をクリックします。