実行内容を比較して分析する

Vertex AI SDK for Python を使用して、Vertex AI Experiments の実行データを表示し、実行を比較できます。

Google Cloud コンソールには、これらの実行に関連するデータを可視化するための機能が用意されています。

テスト実行データを取得する

これらのサンプルには、特定のテスト実行の実行指標、実行パラメータ、ランタイムシリーズの指標、アーティファクト、分類指標の取得が含まれます。

サマリー指標

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

run_name: このセッションの適切な実行名を指定します。
experiment: このテストの名前またはインスタンス。Google Cloud コンソールで、セクションナビゲーションの [テスト] を選択すると、テストのリストを見つけることができます。
project: 実際のプロジェクト ID。これらは、Google Cloud コンソールの [ようこそ] ページで確認できます。
location: 利用可能なロケーションの一覧をご覧ください。

パラメータ

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

run_name: このセッションの適切な実行名を指定します。
experiment: このテストの名前またはインスタンス。Google Cloud コンソールで、セクションナビゲーションの [テスト] を選択すると、テストのリストを見つけることができます。
project: 実際のプロジェクト ID。これらは、Google Cloud コンソールの [ようこそ] ページで確認できます。
location: 利用可能なロケーションの一覧をご覧ください。

時系列指標

Python

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

run_name: このセッションの適切な実行名を指定します。
experiment: このテストの名前またはインスタンス。Google Cloud コンソールで、セクションナビゲーションの [テスト] を選択すると、テストのリストを見つけることができます。
project: 実際のプロジェクト ID。これらは、Google Cloud コンソールの [ようこそ] ページで確認できます。
location: 利用可能なロケーションの一覧をご覧ください。

アーティファクト

Python

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

run_name: このセッションの適切な実行名を指定します。
experiment: このテストの名前またはインスタンス。Google Cloud コンソールで、セクションナビゲーションの [テスト] を選択すると、テストのリストを見つけることができます。
project: 実際のプロジェクト ID。これらは、Google Cloud コンソールの [ようこそ] ページで確認できます。
location: 利用可能なロケーションの一覧をご覧ください。

分類指標

Python

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

run_name: このセッションの適切な実行名を指定します。
experiment: このテストの名前またはインスタンス。Google Cloud コンソールで、セクションナビゲーションの [テスト] を選択すると、テストのリストを見つけることができます。
project: 実際のプロジェクト ID。これらは、Google Cloud コンソールの [ようこそ] ページで確認できます。
location: 利用可能なロケーションの一覧をご覧ください。

実行を比較する

Vertex AI SDK for Python を使用して、テストに関連付けられたデータを取得できます。テスト実行のデータは DataFrame で返されます。

実行を比較する

テスト実行のデータは DataFrame で返されます。

Python

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

experiment_name: テストの名前を指定します。Google Cloud コンソールで、セクションナビゲーションの [テスト] を選択すると、テストのリストを見つけることができます。
project: 実際のプロジェクト ID。これらの ID は、Google Cloud コンソールの [ようこそ] ページで確認できます。
location: 利用可能なロケーションの一覧をご覧ください。

Google Cloud コンソール

Google Cloud コンソールを使用して、テスト実行の詳細を表示し、テスト実行を相互に比較します。

テスト実行データを表示する

Google Cloud コンソールで、[テスト] ページに移動します。
[テスト] に移動
プロジェクトに関連付けられているテストのリストが表示されます。
確認する実行が含まれているテストを選択します。
実行のリスト、時系列データグラフ、指標とパラメータのデータテーブルが表示されます。このケースでは 3 つの実行が選択されていますが、時系列データグラフに表示されるのは 2 つの線のみです。3 番目のテスト実行には表示する時系列データがないため、3 行目は表示されません。
実行の名前をクリックして、詳細ページに移動します。

ナビゲーションバーと時系列データのグラフが表示されます。
選択した実行の指標、パラメータ、アーティファクト、詳細を表示するには、ナビゲーションバーのそれぞれのボタンをクリックします。
- 指標
- パラメータ
- アーティファクト
  
  アーティファクトリネージを表示するには、[メタデータストアでアーティファクトを開く] リンクをクリックします。実行に関連付けられたリネージグラフが表示されます。
- 詳細