パイプライン アーティファクトのリネージを追跡する

Vertex AI Pipelines を使用して作成された各パイプライン実行には、モデル、データセット、パイプライン テンプレート、コンポーネントなど、いくつかの関連するアーティファクトとパラメータがあります。パイプライン アーティファクトのリネージには、そのアーティファクトの作成につながった要素だけでなく、そのアーティファクトから派生したアーティファクトやメタデータも含まれます。たとえば、モデルのリネージには次のものが含まれます。

• モデルの作成に使用されたトレーニング、テスト、評価データ

• モデルのトレーニング中に使用されたハイパーパラメータ

• トレーニングと評価プロセスで記録されたメタデータ（モデルの精度など）

• このモデルから派生したアーティファクト（バッチ予測の結果など）

このメタデータを使用すると、次のようなことを分析できます。

• なぜ特定のパイプライン実行が特に正確なモデルを生成したのか。

• どのパイプライン実行が最も正確なモデルを生成し、どのハイパーパラメータを使用してモデルをトレーニングしたか。

• パイプラインのステップによっては、システム ガバナンスの状況を分析できる場合があります。たとえば、メタデータを使用して、特定の時点で本番環境にあったモデルのバージョンを特定できます。

パイプライン アーティファクトのリネージを表示して分析するには、Vertex ML Metadata または Dataplex を使用します。

次の表に、Vertex ML Metadata と Dataplex の違いを示します。

機能	Vertex ML Metadata	Dataplex
キャプチャされるパイプライン メタデータの種類	パイプラインの実行によって生成されたすべての入力アーティファクトと出力アーティファクト。	通常は Google Cloud パイプライン コンポーネントを使用して、Dataplex でサポートされている完全修飾名（FQN）にマッピングできる入出力アーティファクト。
地域	単一リージョンの読み取り。	複数のリージョンにまたがるグローバルな読み取り
プロジェクト	単一プロジェクトの読み取り。	複数のプロジェクトにわたる組織全体の読み取り。
統合サービス	Vertex AI Pipelines、Vertex AI Experiments、Vertex AI Model Registry、Datasets と統合されています。	Vertex AI、BigQuery、Cloud Composer、Dataproc などの複数の Google Cloud プロダクトと統合されています。
オプトインの必要があるでしょうか。	いいえ、常にオンです。	Data Lineage API を有効にして、プロジェクトごとにオプトインします。

Vertex ML Metadata アーティファクトを Dataplex にマッピングする

Vertex ML Metadata アーティファクトを Dataplex の FQN にマッピングするには、次の操作を行う必要があります。

• Vertex AI モデルとマネージド データセットを作成するときに、Google Cloud パイプライン コンポーネントを使用します。

• 次のサンプルに示すように、カスタム スキーマのタイトル（google.VertexDataset または google.VertexModel）を使用し、metadata フィールドにモデルまたはマネージド データセットのリソース名を指定します。

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Vertex ML Metadata を使用してパイプライン アーティファクトのリネージを分析する

Vertex AI Pipelines を使用してパイプラインを実行すると、Vertex ML Metadata により、パイプライン実行のアーティファクトとパラメータが保存されます。Vertex ML Metadata を使用すると、パイプライン メタデータの追跡が容易になるため、パイプラインのアーティファクトのリネージを簡単に分析できます。

Vertex ML Metadata を初めて使用する場合は、Vertex ML Metadata の概要をご覧ください。

Vertex AI Pipelines の実行で生成されたアーティファクトとメタデータの分析に関する詳細なチュートリアルについては、Codelab にある Vertex AI パイプラインでの Vertex ML Metadata の使用をご覧ください。

Vertex ML Metadata を使用してパイプライン アーティファクトのリネージグラフを表示する手順は次のとおりです。

1. Google Cloud コンソールの [Vertex AI] セクションで、[メタデータ] ページに移動します。

   [メタデータ] に移動

   [メタデータ] ページには、デフォルトのメタデータ ストアで作成されたアーティファクトが一覧表示されます。

2. [リージョン] プルダウン リストで、実行が作成されたリージョンを選択します。

3. [表示名] に表示されたアーティファクトをクリックして、そのリネージグラフを表示します。

   このリネージグラフに含まれるアーティファクトと実行を示す静的グラフが表示されます。

4. アーティファクトまたは実行をクリックして、詳細を確認します。

Dataplex を使用してパイプライン アーティファクトのリネージを分析する

Dataplex Data Catalog は、Google Cloud リソースからメタデータを検出します。これには、Vertex AI モデルなどの Vertex AI Pipelines アーティファクトや、マネージド データセット、Data Catalog で検出可能なその他の Google Cloud リソースが含まれます。これらのアーティファクトは、Data Catalog のメタデータ検索機能を使用して検出し、リネージグラフを表示できます。

Data Catalog のメタデータ検索機能の詳細については、Data Catalog でデータアセットを検索して表示するをご覧ください。

Vertex AI Pipelines がサポートされているすべてのリージョンで Data Catalog を利用できるわけではないことにご注意ください。リージョンで Data Catalog がサポートされていない場合は、Vertex ML Metadata を使用します。Data Catalog でサポートされているリージョンの一覧をご覧ください。

Dataplex でパイプライン アーティファクトのリネージグラフを表示する手順は次のとおりです。

1. Google Cloud コンソールで Dataplex 検索クエリを起動するには、Dataplex 検索ページに移動します。

   Dataplex Search に移動

2. フィルタを使用してアーティファクトを検索します。たとえば、[データ型] フィルタを使用して、モデル、データセット、BigQuery テーブルなどのアーティファクトのタイプを指定できます。Data Catalog 検索の詳細については、データアセットを検索するをご覧ください。

   検索フィールドでクエリを定義することもできます。

3. アーティファクトのリネージを表示するには、アーティファクトの名前をクリックし、[リネージ] タブをクリックします。

   リネージグラフでは、Vertex AI プロセスの前に が付いています。これには、パイプライン アーティファクト、パイプライン コンポーネント、パイプライン テンプレートが含まれます。

   • プロセスの詳細を表示するには、リネージグラフでプロセスをクリックします。

     注: プロセスの詳細は、プロセスが完全修飾名（FQN）を使用して Dataplex にカタログ化されている場合にのみ使用できます。

   • パイプライン実行のパイプライン タスクに基づくプロセスの場合、次のことができます。

     • [詳細タブ] で [Vertex AI で開く] をクリックして、Vertex AI でパイプライン実行を表示します。パイプライン実行のランタイムの詳細（状態、タイムスタンプ、属性など）を表示するには、[その他] をクリックします。Vertex AI でパイプライン実行を表示するには、[Vertex AI で開く] をクリックします。

   • パイプライン テンプレートに基づくプロセスの場合、次のことができます。

     • [詳細タブ] で [Vertex AI で開く] をクリックして、Vertex AI でテンプレートの詳細を表示します。

     • [実行] タブで、パイプライン実行で作成されたパイプライン タスクのリストを表示します。Vertex AI でパイプライン テンプレートの詳細を表示するには、[その他]、[Vertex AI で開く] の順にクリックします。

次のステップ

• パイプラインを実行する方法を学習する。
• パイプラインの結果の可視化と分析を行う。
• 機械学習パイプラインの構築方法を学習する。