科学的手法では、観測値と実験のパラメータの両方を記録することが重要です。データ サイエンスでは、機械学習（ML）のテストで使用されるパラメータ、アーティファクト、指標を追跡することも重要です。このメタデータは、次のような場合に役立ちます。
- 本番環境の ML システムの実行を分析し、予測の品質変化を理解する。
- ML テストを分析し、さまざまなハイパーパラメータのセットの有効性を比較する。
- データセットやモデルなどの ML アーティファクトのリネージを追跡し、アーティファクトの生成要因となった要素や、アーティファクトが他のアーティファクトの派生でどのように使用されたかを理解する。
- 同じアーティファクトとパラメータを使用して ML ワークフローを再実行する。
- ガバナンス目的で ML アーティファクトのダウンストリームの使用状況を追跡する。
Vertex ML Metadata を使用すると、ML システムによって生成されたメタデータとアーティファクトを記録し、そのメタデータに対してクエリを実行できます。これにより、ML システムまたはアーティファクトの生成状況の分析、デバッグ、監査を行うことができます。
Vertex ML Metadata は、Google の TensorFlow Extended チームが開発したオープンソースの ML Metadata（MLMD）ライブラリで使用されているコンセプトに基づいています。
Vertex ML Metadata の概要
Vertex ML Metadata は、ML システムのメタデータをグラフとして収集します。
メタデータ グラフの場合、アーティファクトと実行はノードとして表示され、イベントは実行の入力または出力としてアーティファクトをリンクするエッジとして表示されます。コンテキストは、アーティファクトと実行を論理的にまとめるサブグラフを表します。
アーティファクト、実行、コンテキストには Key-Value ペアのメタデータを適用できます。たとえば、モデルには、そのトレーニングに使用されるフレームワークを記述するメタデータ（モデルの精度、再現率など）を含めることができます。
詳しくは、ML システムのメタデータの追跡をご覧ください。Vertex AI Pipelines のメタデータを分析する場合は、詳細なチュートリアルをご覧ください。
ML アーティファクト リネージ
機械学習 ML システムのパフォーマンスの変化を理解するには、ML ワークフローで生成されたメタデータとそのアーティファクトのリネージを分析する必要があります。アーティファクトのリネージには、作成に使用された要素だけでなく、このアーティファクトから派生したアーティファクトやメタデータも含まれます。
たとえば、モデルのリネージには次のものが含まれます。
- モデルの作成に使用されたトレーニング、テスト、評価データ
- モデルのトレーニング中に使用されたハイパーパラメータ
- モデルのトレーニングに使用されたコード。
- トレーニングと評価プロセスで記録されたメタデータ（モデルの精度など）。
- このモデルから派生したアーティファクト（バッチ予測の結果など）。
Vertex ML Metadata を使用して ML システムのメタデータを追跡すると、次のような質問に答えることができます。
- 特定のモデルのトレーニングに使用されたデータセット。
- 特定のデータセットを使用してトレーニングされた組織のモデル。
- どの実行が最も正確なモデルを生成し、どのハイパーパラメータを使用してモデルをトレーニングしたか。
- 特定のモデルがデプロイされたターゲットとデプロイのタイミング。
- 特定の時点で予測の生成に使用されたモデルのバージョン。
詳しくは、ML システムのメタデータの分析をご覧ください。