Ausführungen vergleichen und analysieren

Mit dem Vertex AI SDK für Python können Sie die Ausführungsdaten von Vertex AI Experiments aufrufen und die Ausführungen vergleichen.

• Ausführungsdaten abrufen
• Ausführungen vergleichen

Die Google Cloud Console bietet eine Visualisierung der Daten, die mit diesen Ausführungen verknüpft sind.

• Daten der Testausführung aufrufen
• Testausführungen vergleichen

Daten der Testausführungen abrufen

Diese Beispiele umfassen Ausführungsmesswerte, Ausführungsparameter, Laufzeitserien, Artefakte und Klassifizierungsmesswerte für eine bestimmte Testausführung.

Zusammenfassende Messwerte

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

• run_name: Geben Sie den entsprechenden Ausführungsnamen für diese Sitzung an.
• experiment: Der Name oder die Instanz dieses Tests. Um die Liste der Experimente in der Google Cloud Console aufzurufen, wählen Sie Tests im Navigationsbereich aus.
• project: Ihre Projekt-ID. Sie finden die Projekt-ID auf der Begrüßungsseite der Google Cloud Console.
• location: Siehe Liste der verfügbaren Standorte.

Parameter

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

• run_name: Geben Sie den entsprechenden Ausführungsnamen für diese Sitzung an.
• experiment: Der Name oder die Instanz dieses Tests. Um die Liste der Experimente in der Google Cloud Console aufzurufen, wählen Sie Tests im Navigationsbereich aus.
• project: Ihre Projekt-ID. Sie finden die Projekt-ID auf der Begrüßungsseite der Google Cloud Console.
• location: Siehe Liste der verfügbaren Standorte.

Zeitachsenmesswerte

Python

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

• run_name: Geben Sie den entsprechenden Ausführungsnamen für diese Sitzung an.
• experiment: Der Name oder die Instanz dieses Tests. Um die Liste der Experimente in der Google Cloud Console aufzurufen, wählen Sie Tests im Navigationsbereich aus.
• project: Ihre Projekt-ID. Sie finden die Projekt-ID auf der Begrüßungsseite der Google Cloud Console.
• location: Siehe Liste der verfügbaren Standorte.

Artefakte

Python

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

• run_name: Geben Sie den entsprechenden Ausführungsnamen für diese Sitzung an.
• experiment: Der Name oder die Instanz dieses Tests. Um die Liste der Experimente in der Google Cloud Console aufzurufen, wählen Sie Tests im Navigationsbereich aus.
• project: Ihre Projekt-ID. Sie finden die Projekt-ID auf der Begrüßungsseite der Google Cloud Console.
• location: Siehe Liste der verfügbaren Standorte.

Klassifizierungsmesswerte

Python

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

• run_name: Geben Sie den entsprechenden Ausführungsnamen für diese Sitzung an.
• experiment: Der Name oder die Instanz dieses Tests. Um die Liste der Experimente in der Google Cloud Console aufzurufen, wählen Sie Tests im Navigationsbereich aus.
• project: Ihre Projekt-ID. Sie finden die Projekt-ID auf der Begrüßungsseite der Google Cloud Console.
• location: Siehe Liste der verfügbaren Standorte.

Ausführungen vergleichen

Mit dem Vertex AI SDK für Python können Sie die mit Ihrem Test verknüpften Daten abrufen. Die Daten für die Testausführungen werden in einem DataFrame zurückgegeben.

Ausführungen vergleichen

Die Daten für die Testausführungen werden in einem DataFrame zurückgegeben.

Python

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

• experiment_name: Geben Sie einen Namen für den Test ein. Um die Liste der Experimente in der Google Cloud Console aufzurufen, wählen Sie Tests in der Abschnittsnavigation aus.
• project: Ihre Projekt-ID. Sie finden die Projekt-IDs auf der Begrüßungsseite der Google Cloud Console.
• location: Siehe Liste der verfügbaren Standorte.

Google Cloud Console

Verwenden Sie die Google Cloud Console, um Details zu Ihren Testausführungen aufzurufen und die Testausführungen miteinander zu vergleichen.

Daten der Testausführung aufrufen

1. Rufen Sie in der Google Cloud Console die Seite Tests auf.
   Zu Tests.
   Eine Liste der mit einem Projekt verknüpften Tests wird angezeigt.
2. Wählen Sie den Test mit der Ausführung aus, die Sie prüfen möchten.
   Eine Liste der Ausführungen, Zeitachsendaten-Diagramme sowie eine Tabelle der Messwerte und Datenparameter werden angezeigt. Beachten Sie, dass in diesem Fall drei Ausführungen ausgewählt werden, aber nur zwei Linien in den Zeitachsendaten-Diagrammen angezeigt werden. Es gibt keine dritte Linie, da der dritte Testlauf keine Zeitachsendaten enthält, die angezeigt werden können.
   
   
3. Klicken Sie auf den Namen der Ausführung, um zur zugehörigen Detailseite zu wechseln.
   
   Die Navigationsleisten und Zeitachsendiagramme werden angezeigt.
   
4. Klicken Sie auf die entsprechenden Schaltflächen in der Navigationsleiste, um Messwerte, Parameter, Artefakte und Details für die ausgewählte Ausführung aufzurufen.
   • Messwerte
     
   • Parameter
     
   • Artefakte
     
     Klicken Sie auf den Link Artefakt im Metadatenspeicher öffnen, um das Herkunftsdiagramm des Artefakts aufzurufen. Das mit der Ausführung verknüpfte Herkunftsdiagramm angezeigt.
     
   • Details
     

Verwenden Sie die URLs, die mit den Ansichten verknüpft sind, um die Daten für andere freizugeben. Geben Sie beispielsweise die Liste der mit einem Test verknüpften Testausführungen frei:

Testausführungen vergleichen

Sie können Ausführungen auswählen, um sie sowohl innerhalb eines Tests als auch über mehrere Tests hinweg zu vergleichen.

1. Rufen Sie in der Google Cloud Console die Seite Tests auf.
   Zu Tests.
   Eine Liste mit Tests wird angezeigt.
2. Wählen Sie den Test mit den Ausführungen aus, die Sie vergleichen möchten. Es wird eine Liste der Ausführungen angezeigt.
3. Wählen Sie die Testausführungen aus, die Sie miteinander vergleichen möchten. Klicken Sie auf Vergleichen.
   
   Standardmäßig werden Diagramme angezeigt, in denen die Zeitreihenmesswerte der ausgewählten Testausführungen verglichen werden.
4. Klicken Sie auf Ausführung hinzufügen, um weitere Ausführungen aus einem beliebigen Test in Ihrem Projekt hinzuzufügen.

Verwenden Sie die URLs, die mit den Ansichten verknüpft sind, um die Daten für andere freizugeben. Teilen Sie beispielsweise die Vergleichsansicht von Zeitreihen-Messwertdaten:

Informationen zum Aktualisieren des Ausführungsstatus finden Sie unter Testausführungen erstellen und verwalten.

Nächste Schritte

• Ausführungen und Artefakte verfolgen