Comparar y analizar carreras

Puedes usar el SDK de Vertex AI para Python para ver los datos de las ejecuciones de Vertex AI Experiments y comparar las ejecuciones.

• Obtener datos de carreras
• Comparar carreras

La consola Google Cloud proporciona una visualización de los datos asociados a estas ejecuciones.

• Ver los datos de las ejecuciones de experimentos
• Comparar ejecuciones de experimentos

Obtener datos de ejecuciones de experimentos

En estas muestras se obtienen métricas de ejecución, parámetros de ejecución, métricas de series de tiempo de ejecución, artefactos y métricas de clasificación de una ejecución de experimento concreta.

Métricas de resumen

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

• run_name: especifica el nombre de ejecución adecuado para esta sesión.
• experiment: el nombre o la instancia de este experimento. Puedes consultar la lista de experimentos en la consola. Para ello, selecciona Experimentos en la barra de navegación de la sección. Google Cloud
• project: . Puedes encontrarlos en la página de Google Cloud bienvenida de la consola.
• location: consulta la lista de ubicaciones disponibles.

Parámetros

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

• run_name: especifica el nombre de ejecución adecuado para esta sesión.
• experiment: el nombre o la instancia de este experimento. Puedes consultar la lista de experimentos en la consola. Para ello, selecciona Experimentos en la barra de navegación de la sección. Google Cloud
• project: . Puedes encontrarlos en la página de Google Cloud bienvenida de la consola.
• location: consulta la lista de ubicaciones disponibles.

Métricas de serie temporal

Python

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

• run_name: especifica el nombre de ejecución adecuado para esta sesión.
• experiment: el nombre o la instancia de este experimento. Puedes consultar la lista de experimentos en la consola. Para ello, selecciona Experimentos en la barra de navegación de la sección. Google Cloud
• project: . Puedes encontrarlos en la página de Google Cloud bienvenida de la consola.
• location: consulta la lista de ubicaciones disponibles.

Artefactos

Python

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

• run_name: especifica el nombre de ejecución adecuado para esta sesión.
• experiment: el nombre o la instancia de este experimento. Puedes consultar la lista de experimentos en la consola. Para ello, selecciona Experimentos en la barra de navegación de la sección. Google Cloud
• project: . Puedes encontrarlos en la página de Google Cloud bienvenida de la consola.
• location: consulta la lista de ubicaciones disponibles.

Métricas de clasificación

Python

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

• run_name: especifica el nombre de ejecución adecuado para esta sesión.
• experiment: el nombre o la instancia de este experimento. Puedes consultar la lista de experimentos en la consola. Para ello, selecciona Experimentos en la barra de navegación de la sección. Google Cloud
• project: . Puedes encontrarlos en la página de Google Cloud bienvenida de la consola.
• location: consulta la lista de ubicaciones disponibles.

Comparar ejecuciones

Con el SDK de Vertex AI para Python, puedes recuperar los datos asociados a tu experimento. Los datos de las ejecuciones del experimento se devuelven en un DataFrame.

Comparar ejecuciones

Los datos de las ejecuciones del experimento se devuelven en un DataFrame.

Python

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

• experiment_name: proporciona un nombre para el experimento. Puedes consultar la lista de experimentos en la consola. Para ello, selecciona Experimentos en la barra de navegación de la sección. Google Cloud
• project: . Puedes encontrar estos IDs en la página de bienvenida de la Google Cloud consola.
• location: consulta la lista de ubicaciones disponibles.

Google Cloud consola

Usa la Google Cloud consola para ver los detalles de tus ejecuciones de experimentos y compararlas entre sí.

Ver los datos de ejecución de un experimento

1. En la Google Cloud consola, vaya a la página Experimentos.
   Vaya a Experimentos.
   Aparecerá una lista de experimentos asociados a un proyecto.
2. Selecciona el experimento que contenga la ejecución que quieras consultar.
   Se muestran una lista de ejecuciones, gráficos de datos de series temporales y una tabla de datos de métricas y parámetros. En este caso, se han seleccionado tres ejecuciones, pero solo aparecen dos líneas en los gráficos de datos de la serie temporal. No hay una tercera línea porque la tercera ejecución del experimento no tiene datos de serie temporal que mostrar.
   
   
3. Haga clic en el nombre de la ejecución para ir a su página de detalles.
   
   Aparecerán la barra de navegación y los gráficos de datos de series temporales.
   
4. Para ver las métricas, los parámetros, los artefactos y los detalles de la ejecución seleccionada, haga clic en los botones correspondientes de la barra de navegación.
   • Métricas
     
   • Parámetros
     
   • Artefactos
     
     Para ver el linaje de un artefacto, haga clic en el enlace Abrir artefacto en Metadata Store. Se muestra el gráfico de linaje asociado a la ejecución.
     
   • Detalles
     

Para compartir los datos con otros usuarios, utilice las URLs asociadas a las vistas. Por ejemplo, comparte la lista de ejecuciones de experimentos asociadas a un experimento:

Comparar ejecuciones de experimentos

Puedes seleccionar ejecuciones para compararlas tanto en un mismo experimento como en diferentes experimentos.

1. En la Google Cloud consola, vaya a la página Experimentos.
   Vaya a Experimentos.
   Aparecerá una lista de experimentos.
2. Selecciona el experimento que contenga las ejecuciones que quieras comparar. Aparecerá una lista de ejecuciones.
3. Selecciona las ejecuciones del experimento que quieras comparar. Haz clic en Comparar.
   
   De forma predeterminada, los gráficos comparan las métricas de series temporales de las ejecuciones del experimento seleccionado.
4. Para añadir ejecuciones adicionales de cualquier experimento de tu proyecto, haz clic en Añadir ejecución.

Para compartir los datos con otros usuarios, utilice las URLs asociadas a las vistas. Por ejemplo, comparte la vista de comparación de los datos de métricas de serie temporal:

Consulta el artículo Crear y gestionar ejecuciones de experimentos para saber cómo actualizar el estado de una ejecución.

Siguientes pasos

• Seguimiento de ejecuciones y artefactos