比较和分析运行作业

您可以使用 Python 版 Vertex AI SDK 查看 Vertex AI Experiments 运行数据并比较运行作业。

Google Cloud 控制台可以直观呈现与这些运行作业相关的数据。

获取实验运行作业数据

这些示例涉及获取特定实验运行作业的运行作业指标、运行作业参数、运行时系列指标、工件和分类指标。

摘要指标

Python

def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

  • run_name:为此会话指定适当的运行名称。
  • experiment:此实验的名称或实例。要找到实验列表,您可以在 Google Cloud 控制台的板块导航栏中选择实验
  • project:您的项目 ID。 您可以在 Google Cloud 控制台的欢迎页面中找到此信息。
  • location:请参阅可用位置列表

参数

Python

def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

  • run_name:为此会话指定适当的运行名称。
  • experiment:此实验的名称或实例。要找到实验列表,您可以在 Google Cloud 控制台的板块导航栏中选择实验
  • project:您的项目 ID。 您可以在 Google Cloud 控制台的欢迎页面中找到此信息。
  • location:请参阅可用位置列表

时序指标

Python

def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

  • run_name:为此会话指定适当的运行名称。
  • experiment:此实验的名称或实例。要找到实验列表,您可以在 Google Cloud 控制台的板块导航栏中选择实验
  • project:您的项目 ID。 您可以在 Google Cloud 控制台的欢迎页面中找到此信息。
  • location:请参阅可用位置列表

工件

Python

def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()
  • run_name:为此会话指定适当的运行名称。
  • experiment:此实验的名称或实例。要找到实验列表,您可以在 Google Cloud 控制台的板块导航栏中选择实验
  • project:您的项目 ID。 您可以在 Google Cloud 控制台的欢迎页面中找到此信息。
  • location:请参阅可用位置列表

分类指标

Python

def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

  • run_name:为此会话指定适当的运行名称。
  • experiment:此实验的名称或实例。要找到实验列表,您可以在 Google Cloud 控制台的板块导航栏中选择实验
  • project:您的项目 ID。 您可以在 Google Cloud 控制台的欢迎页面中找到此信息。
  • location:请参阅可用位置列表

比较运行

使用 Python 版 Vertex AI SDK,您可以检索与实验关联的数据。实验运行作业的数据会在 DataFrame 中返回。

比较运行

实验运行作业的数据会在 DataFrame 中返回。

Python

def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

  • experiment_name:提供实验的名称。要找到实验列表,您可以在 Google Cloud 控制台的板块导航栏中选择实验
  • project:您的项目 ID。 您可以在 Google Cloud 控制台的欢迎页面中找到这些 ID。
  • location:请参阅可用位置列表

Google Cloud 控制台

使用 Google Cloud 控制台查看实验运行作业的详细信息,并比较实验运行作业。

查看实验运行作业数据

  1. 在 Google Cloud 控制台中,前往实验页面。
    <a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="V3Ae1hvcBOij4KvUNiRrMltigmNHgUGOXn/QVSGplOhBlpxunv8WHL3F/z3VuS9rwbZOYpOQCXa+v4aZ0dt03w==" target="console" track-name="consoleLink" track-type="tasks" }="">前往“实验”
    与项目关联的实验列表随即显示。 </a{:>
  2. 选择包含要查看的运行作业的实验。
    运行作业、时间序列数据图表以及指标和参数数据表的列表随即显示。请注意,在本例中,选择了三个运行作业,但时间序列数据图表中仅显示两行。 没有第三行,因为第三次实验运行没有可显示的任何时序数据。
    Vertex AI 运行作业列表、时间序列数据以及指标和参数表
  3. 点击运行作业名称以导航到其详情页面。
    Vertex AI 实验运行作业导航
    导航栏和时间序列数据图表随即显示。
    具有时间序列数据图表的 Vertex AI 导航栏
  4. 如需查看所选运行作业的指标、参数、工件和详细信息,请点击导航栏中的相应按钮。
    • 指标
      Vertex AI 实验运行作业指标
    • 参数
      Vertex AI 实验运行作业参数
    • 工件
      Vertex AI 实验运行作业工件
      如需查看工件沿袭,请点击在元数据存储区中打开工件链接。与运行相关的沿袭图表随即显示。
      Vertex AI 工件沿袭图表
    • 详情
      Vertex AI 实验运行作业详情

如需与他人共享数据,请使用与视图关联的网址。例如,共享与实验关联的实验运行作业列表:

Vertex AI 共享运行作业列表

实验运行作业比较

您可以选择运行来在实验内和实验间进行比较。

  1. 在 Google Cloud 控制台中,前往实验页面。
    <a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="V3Ae1hvcBOij4KvUNiRrMltigmNHgUGOXn/QVSGplOhBlpxunv8WHL3F/z3VuS9rwbZOYpOQCXa+v4aZ0dt03w==" target="console" track-name="consoleLink" track-type="tasks" }="">前往“实验”
    实验列表随即显示。 </a{:>
  2. 选择包含要比较的运行作业的实验。运行作业列表随即显示。 Vertex AI 运行作业列表
  3. 选择要比较的实验运行作业。点击比较
    Vertex AI 精选运行作业
    默认情况下,系统会显示图表,比较所选实验运行作业的时间序列指标。Vertex AI 运行作业图表
  4. 如需从项目中的任何实验添加额外的运行作业,请点击添加运行作业Vertex AI 添加运行作业

如需与他人共享数据,请使用与视图关联的网址。例如,共享时间序列指标数据的比较视图:

Vertex AI 共享数据

请参阅创建和管理实验运行作业,了解如何更新运行作业的状态。

后续步骤