Modelle mit Vertex AI bewerten

Auf dieser Seite wird gezeigt, wie Modelle mit Vertex AI bewertet werden. Eine Übersicht finden Sie unter Modellbewertung mit Vertex AI.

Vorbereitung

  1. Führen Sie die Schritte unter Projekt- und Entwicklungsumgebung einrichten aus. Aktivieren Sie außerdem die folgenden Dienste:

  2. Mit Vertex AI lassen sich Modelle bewerten, die entweder mit AutoML oder benutzerdefiniert trainiert wurden. Für den Google Cloud Console-Leitfaden sollten Sie ein trainiertes Modell in Vertex AI Model Registry importieren.

  3. Laden Sie Ihr Test-Dataset in BigQuery oder Cloud Storage hoch. Das Test-Dataset sollte die Ground Truth enthalten, also das tatsächliche erwartete Ergebnis einer Vorhersage. Rufen Sie den Link zur Datei oder zur Dataset-ID ab.

  4. Nutzen Sie eine Ausgabe der Batchvorhersage in Form einer BigQuery-Tabelle oder eines Cloud Storage-URI.

  5. Achten Sie darauf, dass Ihr Compute Engine-Standarddienstkonto die folgenden IAM-Berechtigungen hat:

    • Vertex AI-Administrator (aiplatform.admin)
    • Vertex AI-Dienst-Agent (aiplatform.serviceAgent)
    • Storage-Objekt-Administrator (storage.objectAdmin)
    • Dataflow-Worker (dataflow.worker)
    • BigQuery-Dateneditor (bigquery.dataEditor, nur erforderlich, wenn Sie Daten in Form von BigQuery-Tabellen bereitstellen)

Bewertung erstellen

Console

  1. Rufen Sie in der Google Cloud Console die Seite „Vertex AI-Modelle“ auf.

    Zur Seite "Modelle"

  2. Klicken Sie auf den Namen des Modells, das bewertet werden soll.

  3. Klicken Sie auf die Versionsnummer des Modells.

  4. Klicken Sie auf dem Tab Bewerten auf Bewertung erstellen.

  5. Geben Sie unter Name der Bewertung einen Namen ein.

  6. Wählen Sie ein Ziel aus, z. B. „Klassifizierung“ oder „Regression“.

  7. Geben Sie unter Name der Bewertungszielspalte einen Namen ein. Dies ist die Spalte aus den Trainingsdaten, mit denen das Modell zur Vorhersage trainiert wurde.

  8. Wählen Sie unter Quelle auswählen die Quelle für Ihr Test-Dataset aus.

    1. Geben Sie unter BigQuery-Tabelle den BigQuery-Pfad ein.

    2. Geben Sie unter Datei in Cloud Storage den Cloud Storage-Pfad ein.

  9. Wählen Sie unter Ausgabe der Batchvorhersage ein Ausgabeformat aus.

    1. Geben Sie den BigQuery-Pfad oder den Cloud Storage-URI ein.

  10. Klicken Sie auf Bewertung starten.

Python

Informationen zum Anzeigen des Vertex AI API-Modellbewertungsworkflows in Vertex AI Pipelines finden Sie in den Beispiel-Notebooks für die folgenden Modelltypen:

Python SDK

Das SDK für die Bewertung von Modellen mit Vertex AI befindet sich in der experimentellen Phase. Zum Anmelden für die experimentelle Version füllen Sie das Onboarding-Formular aus.

Vertex AI sendet automatisch eine E-Mail-Benachrichtigung, wenn ein Modellbewertungsjob abgeschlossen ist.

Bewertungsmesswerte aufrufen

Console

  1. Rufen Sie in der Google Cloud Console die Seite „Vertex AI-Modelle“ auf.

    Zur Seite "Modelle"

  2. Rufen Sie die Modellversion auf.

  3. Rufen Sie die Messwerte auf dem Tab Bewerten auf.

Python

Informationen zum Anzeigen des Vertex AI API-Modellbewertungsworkflows in Vertex AI Pipelines finden Sie in den Beispiel-Notebooks für die folgenden Modelltypen:

Python SDK

Das SDK für die Bewertung von Modellen mit Vertex AI befindet sich in der experimentellen Phase. Zum Anmelden für die experimentelle Version füllen Sie das Onboarding-Formular aus.

Bewertungsmesswerte vergleichen

Sie können Bewertungsergebnisse von verschiedenen Modellen, Modellversionen und Bewertungsjobs vergleichen. Weitere Informationen zur Versionsverwaltung von Modellen finden Sie unter Versionsverwaltung in Model Registry.

Sie können nur Modelle desselben Typs vergleichen, z. B. Klassifizierung, Regression oder Prognose. Beim Vergleich verschiedener Modelle müssen alle Modellversionen vom selben Typ sein.

Sie können maximal fünf Bewertungen gleichzeitig vergleichen.

  1. Rufen Sie in der Google Cloud Console die Vertex AI Model Registry auf:

    Zur Seite "Modelle"

  2. Rufen Sie Ihr Modell oder die Modellversion auf:

    • Wenn Sie die verschiedenen Modelle auf der Seite Modelle vergleichen möchten, setzen Sie das Häkchen neben den Namen der Modelle, die Sie vergleichen möchten.

    • So vergleichen Sie verschiedene Modellversionen:

      1. Klicken Sie auf der Seite Modelle auf den Namen Ihres Modells, um die Liste der Modellversionen zu öffnen.

      2. Setzen Sie das Häkchen neben den Versionen, die Sie vergleichen möchten.

    • So vergleichen Sie alle Bewertungsjobs für eine Modellversion:

      1. Klicken Sie auf der Seite Modelle auf den Namen Ihres Modells, um die Liste der Modellversionen zu öffnen.

      2. Klicken Sie auf die Versionsnummer.

      3. Setzen Sie das Häkchen neben den Bewertungsjobs, die Sie vergleichen möchten.

  3. Klicken Sie auf Vergleichen.

Nächste Schritte