Ausführungen vergleichen und analysieren

Mit dem Vertex AI SDK für Python können Sie die Ausführungsdaten von Vertex AI Experiments aufrufen und die Ausführungen vergleichen.

Die Google Cloud Console bietet eine Visualisierung der Daten, die mit diesen Ausführungen verknüpft sind.

Daten der Testausführungen abrufen

Diese Beispiele umfassen Ausführungsmesswerte, Ausführungsparameter, Laufzeitserien, Artefakte und Klassifizierungsmesswerte für eine bestimmte Testausführung.

Zusammenfassende Messwerte

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()
  • run_name: Geben Sie den entsprechenden Ausführungsnamen für diese Sitzung an.
  • experiment: Der Name oder die Instanz dieses Tests. Um die Liste der Experimente in der Google Cloud Console aufzurufen, wählen Sie Tests im Navigationsbereich aus.
  • project: Ihre Projekt-ID. Sie finden die Projekt-ID auf der Begrüßungsseite der Google Cloud Console.
  • location: Siehe Liste der verfügbaren Standorte.

Parameter

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()
  • run_name: Geben Sie den entsprechenden Ausführungsnamen für diese Sitzung an.
  • experiment: Der Name oder die Instanz dieses Tests. Um die Liste der Experimente in der Google Cloud Console aufzurufen, wählen Sie Tests im Navigationsbereich aus.
  • project: Ihre Projekt-ID. Sie finden die Projekt-ID auf der Begrüßungsseite der Google Cloud Console.
  • location: Siehe Liste der verfügbaren Standorte.

Zeitachsenmesswerte

Python

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()
  • run_name: Geben Sie den entsprechenden Ausführungsnamen für diese Sitzung an.
  • experiment: Der Name oder die Instanz dieses Tests. Um die Liste der Experimente in der Google Cloud Console aufzurufen, wählen Sie Tests im Navigationsbereich aus.
  • project: Ihre Projekt-ID. Sie finden die Projekt-ID auf der Begrüßungsseite der Google Cloud Console.
  • location: Siehe Liste der verfügbaren Standorte.

Artefakte

Python

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()
  • run_name: Geben Sie den entsprechenden Ausführungsnamen für diese Sitzung an.
  • experiment: Der Name oder die Instanz dieses Tests. Um die Liste der Experimente in der Google Cloud Console aufzurufen, wählen Sie Tests im Navigationsbereich aus.
  • project: Ihre Projekt-ID. Sie finden die Projekt-ID auf der Begrüßungsseite der Google Cloud Console.
  • location: Siehe Liste der verfügbaren Standorte.

Klassifizierungsmesswerte

Python

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()
  • run_name: Geben Sie den entsprechenden Ausführungsnamen für diese Sitzung an.
  • experiment: Der Name oder die Instanz dieses Tests. Um die Liste der Experimente in der Google Cloud Console aufzurufen, wählen Sie Tests im Navigationsbereich aus.
  • project: Ihre Projekt-ID. Sie finden die Projekt-ID auf der Begrüßungsseite der Google Cloud Console.
  • location: Siehe Liste der verfügbaren Standorte.

Ausführungen vergleichen

Mit dem Vertex AI SDK für Python können Sie die mit Ihrem Test verknüpften Daten abrufen. Die Daten für die Testausführungen werden in einem DataFrame zurückgegeben.

Ausführungen vergleichen

Die Daten für die Testausführungen werden in einem DataFrame zurückgegeben.

Python

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df
  • experiment_name: Geben Sie einen Namen für den Test ein. Um die Liste der Experimente in der Google Cloud Console aufzurufen, wählen Sie Tests in der Abschnittsnavigation aus.
  • project: Ihre Projekt-ID. Sie finden die Projekt-IDs auf der Begrüßungsseite der Google Cloud Console.
  • location: Siehe Liste der verfügbaren Standorte.

Google Cloud Console

Verwenden Sie die Google Cloud Console, um Details zu Ihren Testausführungen aufzurufen und die Testausführungen miteinander zu vergleichen.

Daten der Testausführung aufrufen

  1. Rufen Sie in der Google Cloud Console die Seite Tests auf.
    Zu Tests.
    Eine Liste der mit einem Projekt verknüpften Tests wird angezeigt.
  2. Wählen Sie den Test mit der Ausführung aus, die Sie prüfen möchten.
    Eine Liste der Ausführungen, Zeitachsendaten-Diagramme sowie eine Tabelle der Messwerte und Datenparameter werden angezeigt. Beachten Sie, dass in diesem Fall drei Ausführungen ausgewählt werden, aber nur zwei Linien in den Zeitachsendaten-Diagrammen angezeigt werden. Es gibt keine dritte Linie, da der dritte Testlauf keine Zeitachsendaten enthält, die angezeigt werden können.
    Liste der Vertex AI-Ausführungen, Zeitachsendaten sowie eine Tabelle der Messwerte und Parameter
  3. Klicken Sie auf den Namen der Ausführung, um zur zugehörigen Detailseite zu wechseln.
    Navigation der Vertex AI-Testausführung
    Die Navigationsleisten und Zeitachsendiagramme werden angezeigt.
    Vertex AI-Navigationsleiste mit Zeitachsendaten-Diagrammen
  4. Klicken Sie auf die entsprechenden Schaltflächen in der Navigationsleiste, um Messwerte, Parameter, Artefakte und Details für die ausgewählte Ausführung aufzurufen.
    • Messwerte
      Messerte der Vertex AI-Testausführungen
    • Parameter
      Parameter der Vertex AI-Testausführungen
    • Artefakte
      Artefakte der Vertex AI-Testausführungen
      Klicken Sie auf den Link Artefakt im Metadatenspeicher öffnen, um das Herkunftsdiagramm des Artefakts aufzurufen. Das mit der Ausführung verknüpfte Herkunftsdiagramm angezeigt.
      Herkunftsdiagramm des Vertex AI-Artefakts
    • Details
      Details zur Vertex AI-Testausführung

Verwenden Sie die URLs, die mit den Ansichten verknüpft sind, um die Daten für andere freizugeben. Geben Sie beispielsweise die Liste der mit einem Test verknüpften Testausführungen frei:

Vertex AI-Freigabeliste der Ausführungen

Testausführungen vergleichen

Sie können Ausführungen auswählen, um sie sowohl innerhalb eines Tests als auch über mehrere Tests hinweg zu vergleichen.

  1. Rufen Sie in der Google Cloud Console die Seite Tests auf.
    Zu Tests.
    Eine Liste der Tests wird angezeigt.
  2. Wählen Sie den Test mit den Ausführungen aus, die Sie vergleichen möchten. Es wird eine Liste der Ausführungen angezeigt. Liste der Vertex AI-Ausführungen
  3. Wählen Sie die Testausführungen aus, die Sie miteinander vergleichen möchten. Klicken Sie auf Vergleichen.
    Ausgewählte Vertex AI-Ausführungen
    Standardmäßig werden Diagramme angezeigt, in denen Zeitreihenmesswerte der ausgewählten Testläufe verglichen werden. Diagramme der Vertex AI-Ausführungen
  4. Klicken Sie auf Ausführung hinzufügen, um weitere Ausführungen aus einem beliebigen Test in Ihrem Projekt hinzuzufügen. Vertex AI-Ausführungen hinzufügen

Verwenden Sie die URLs, die mit den Ansichten verknüpft sind, um die Daten für andere freizugeben. Teilen Sie beispielsweise die Vergleichsansicht von Zeitreihen-Messwertdaten:

Vertex AI-Freigabedaten

Informationen zum Aktualisieren des Ausführungsstatus finden Sie unter Testausführungen erstellen und verwalten.

Nächste Schritte