Compara y analiza ejecuciones

Puedes usar el SDK de Vertex AI para Python a fin de ver los datos de ejecución de Experimentos de Vertex AI y comparar las ejecuciones.

La consola de Google Cloud proporciona una visualización de los datos asociados con estas ejecuciones.

Obtén datos de ejecuciones del experimento

Estos ejemplos implican obtener métricas de ejecución, parámetros de ejecución, métricas de serie del entorno de ejecución, artefactos y métricas de clasificación para una ejecución de experimento en particular.

Métricas de resumen

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

Parámetros

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

Métricas de series temporales

Python

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

Artefactos

Python

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

Métricas de clasificación

Python

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

Compare runs

Si usas el SDK de Vertex AI para Python, puedes recuperar los datos asociados a tu experimento. Los datos de las ejecuciones del experimento se muestran en un DataFrame.

Compare runs

Los datos de las ejecuciones del experimento se muestran en un DataFrame.

Python

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df
  • experiment_name: Proporciona un nombre para el experimento. Para encontrar tu lista de experimentos en la Google Cloud consola, selecciona Experimentos en la barra de navegación de secciones.
  • project: . Puedes encontrar estos IDs en la página de bienvenida de la consola de Google Cloud .
  • location: Consulta Lista de ubicaciones disponibles.

Google Cloud console

Usa la Google Cloud consola para ver los detalles de las ejecuciones de experimentos y compararlas.

Visualiza datos de ejecución de experimento

  1. En la consola de Google Cloud , ve a la página Experiments.
    Ir a Experimentos
    Aparecerá una lista de experimentos asociados con un proyecto.
  2. Selecciona el experimento que contiene la ejecución que deseas verificar.
    Aparecerá una lista de ejecuciones, gráficos de datos de series temporales y una tabla de datos de métricas y parámetros. Ten en cuenta que, en este caso, se seleccionan tres ejecuciones, pero solo aparecen dos líneas en los gráficos de datos de series temporales. No hay tercera línea porque la tercera ejecución del experimento no tiene datos de series temporales para mostrar.
    Lista de ejecuciones de Vertex AI, datos de series temporales, y tablas de métricas y parámetros
  3. Haz clic en el nombre de la ejecución para navegar a la página de detalles correspondiente.
    Navegación de ejecución de experimentos de Vertex AI
    Aparecerán la barra de navegación y los gráficos de datos de series temporales.
    Barra de navegación de Vertex AI con gráficos de datos de series temporales
  4. Para ver las métricas, los parámetros, los artefactos y los detalles de la ejecución seleccionada, haz clic en los botones correspondientes en la barra de navegación.
    • Métricas
      Métricas de ejecución de experimentos de Vertex AI
    • Parámetros
      Parámetros de ejecución del experimento de Vertex AI
    • Artefactos
      Artefactos de ejecución de experimentos de Vertex AI
      Para ver el linaje de los artefactos, haz clic en el vínculo Abrir artefacto en el almacén de metadatos. Aparecerá el grafo de linaje asociado con la ejecución.
      Gráfico de linaje de artefactos de Vertex AI
    • Detalles
      Detalles de la ejecución del experimento de Vertex AI

Para compartir los datos con otras personas, usa las URLs asociadas con las vistas. Por ejemplo, comparte la lista de ejecuciones de experimentos asociadas con un experimento:

Lista de ejecuciones compartidas de Vertex AI

Compara las ejecuciones de experimentos

Puedes seleccionar las ejecuciones que deseas comparar en un experimento y entre experimentos.

  1. En la consola de Google Cloud , ve a la página Experiments.
    Ir a Experimentos
    Aparecerá una lista de experimentos.
  2. Selecciona el experimento que contiene la ejecución que deseas comparar. Aparecerá una lista de ejecuciones. Lista de ejecuciones de Vertex AI
  3. Selecciona las ejecuciones del experimento que deseas comparar. Haz clic en Comparar.
    Ejecuciones de selección de Vertex AI
    De forma predeterminada, los gráficos aparecen comparando las métricas de series temporales de las ejecuciones de experimentos seleccionadas. Gráficos de ejecución de Vertex AI
  4. Para agregar ejecuciones adicionales de cualquier experimento a tu proyecto, haz clic en Agregar ejecución. Agrega ejecuciones de Vertex AI

Para compartir los datos con otras personas, usa las URLs asociadas con las vistas. Por ejemplo, comparte la vista de comparación de los datos de métricas de series temporales:

Datos compartidos de Vertex AI

Consulta Crea y administra ejecuciones de experimentos para obtener información sobre cómo actualizar el estado de una ejecución.

¿Qué sigue?