Vertex AI を使用してモデルを評価する

このページでは、Vertex AI を使用してモデルを評価する方法について説明します。概要については、Vertex AI でのモデル評価をご覧ください。

前提条件

プロジェクトと開発環境を設定するの手順に沿って操作します。さらに、次のサービスを有効にします。
- Compute Engine API
- Dataflow API
Vertex AI は、AutoML またはカスタムトレーニングでトレーニングされたモデルを評価できます。Google Cloud コンソールガイドでは、トレーニング済みのモデルが Vertex AI Model Registry にインポートされている必要があります。
テストデータセットを BigQuery または Cloud Storage にアップロードします。テストデータセットには、予測で想定される実際の結果であるグラウンドトゥルースが含まれている必要があります。ファイルまたはデータセット ID へのリンクを取得します。
BigQuery テーブルまたは Cloud Storage URI 形式のバッチ予測出力を取得します。
デフォルトの Compute Engine サービスアカウントに次の IAM 権限が付与されていることを確認します。
- Vertex AI 管理者（aiplatform.admin）
- Vertex AI サービスエージェント（aiplatform.serviceAgent）
- Storage オブジェクト管理者（storage.objectAdmin）
- Dataflow ワーカー（dataflow.worker）
- BigQuery データ編集者（bigquery.dataEditor）（BigQuery テーブルの形式でデータを提供する場合にのみ必要）

Google Cloud コンソールで、[Vertex AI] の [モデル] ページに移動します。

[モデル] ページに移動
評価するモデルの名前をクリックします。
モデルのバージョン番号をクリックします。
[評価] タブで [評価を作成] をクリックします。
[評価名] を入力します。
分類や回帰など、[目的] を選択します。
[評価ターゲットの列名] を入力します。これは、モデルをトレーニングして予測するトレーニングデータの列です。
[ソースの選択] で、テストデータセットのソースを選択します。
1. [BigQuery テーブル] に、BigQuery パスを入力します。
2. [Cloud Storage のファイル] に、Cloud Storage のパスを入力します。
[バッチ予測の出力] で、出力形式を選択します。
1. BigQuery のパスまたは Cloud Storage URI を入力します。
[評価を開始] をクリックします。

Vertex AI Pipelines で Vertex AI API モデル評価ワークフローを表示するには、次のモデルタイプのサンプルノートブックをご覧ください。

Vertex AI でモデルを評価するための SDK は試験運用版です。試験運用版に登録するには、オンボーディングフォームに記入してください。

モデル評価ジョブが完了すると Vertex AI はメール通知を自動的に送信します。

Vertex AI Pipelines で Vertex AI API モデル評価ワークフローを表示するには、次のモデルタイプのサンプルノートブックをご覧ください。

Vertex AI でモデルを評価するための SDK は試験運用版です。試験運用版に登録するには、オンボーディングフォームに記入してください。

さまざまなモデル、モデルバージョン、評価ジョブ間で評価結果を比較できます。モデルのバージョン管理の詳細については、Model Registry のバージョニングをご覧ください。

比較できるのは同じタイプのモデル（分類、回帰、予測など）のみです。異なるモデルを比較する場合は、すべてのモデルバージョンが同じタイプであることが必要です。

一度に比較できる評価は 5 件までです。