Einführung in Vertex AI Experiments

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Das Ziel der Entwicklung eines Modells für ein Problem besteht darin, das beste Modell für diesen konkreten Anwendungsfall zu ermitteln. Zu diesem Zweck können Sie mit Vertex AI Experiments verschiedene ML-Frameworks (z. B. TensorFlow, PyTorch, scikit-learn) und Trainingsumgebungen erfassen, analysieren, vergleichen und durchsuchen.

Für Testausführungen fallen keine zusätzlichen Gebühren an. Ihnen werden nur Ressourcen in Rechnung gestellt, die Sie während der Tests verwenden (siehe Vertex AI-Preise).

Was möchten Sie tun? Notebookbeispiel ansehen
Messwerte und Parameter erfassen Modelle vergleichen
Testherkunft erfassen Modelltraining
Pipelineausführungen erfassen Pipelineausführungen vergleichen

Schritte, Eingaben und Ausgaben erfassen

Mit Vertex AI Experiments können Sie Folgendes erfassen:

  • Schritte einer Testausführung, z. B. Vorverarbeitung, Training,
  • Eingaben, z. B. Algorithmus, Parameter, Datasets,
  • Ausgaben dieser Schritte, z. B. Modelle, Prüfpunkte, Messwerte.

Sie können dann herausfinden, was funktioniert hat und was nicht und weitere Möglichkeiten zum Testen bestimmen.

Beispiele für Nutzerverhalten finden Sie hier:

Modellleistung analysieren

Mit Vertex AI Experiments können Sie die Gesamtleistung eines Modells im Vergleich zu Test-Datasets und während der Trainingsausführung erfassen und bewerten. Auf diese Weise können Sie die Leistungsmerkmale eines Modells besser verstehen – wie gut ein bestimmtes Modell insgesamt funktioniert, wo es fehlschlägt und wo es am besten funktioniert.

Beispiele für Nutzerverhalten finden Sie hier:

Modellleistung vergleichen

Mit Vertex AI Experiments können Sie mehrere Modelle in Testausführungen gruppieren und vergleichen. Jedes Modell hat eigene angegebene Parameter, Modellierungsverfahren, Architekturen und Eingaben. Dieser Ansatz hilft bei der Auswahl des besten Modells.

Beispiele für Nutzerverhalten finden Sie hier:

Tests suchen

Die Google Cloud Console bietet eine zentrale Ansicht der Tests, eine Querschnittsansicht der Testausführungen und Details zu jeder Ausführung. Das Vertex AI SDK für Python stellt APIs bereit, um Tests, Testausführungen, Testausführungsparameter, Messwerte und Artefakte zu nutzen.

Vertex AI Experiments bietet zusammen mit Vertex ML Metadata die Möglichkeit, die in einem Test erfassten Artefakte zu finden. So können Sie schnell die Herkunft des Artefakts und die in den Schritten einer Ausführung genutzten und erzeugten Artefakte einsehen.

Supportumfang

Vertex AI Experiments unterstützt die Entwicklung von Modellen mit dem benutzerdefinierten Vertex AI-Training, Vertex AI Workbench-Notebooks, Notebooks und allen Python-ML-Frameworks in den meisten ML-Frameworks. Für einige ML-Frameworks wie TensorFlow bieten Vertex AI Experiments tiefe Integrationen in das Framework, das die Nutzererfahrung automatisiert. Für andere ML-Frameworks bietet Vertex AI Experiments ein neutrales Vertex AI SDK für Python, das Sie verwenden können. (Siehe Vordefinierte Container für TensorFlow, sckikit-learn, PyTorch, XGBoost.)

Datenmodelle und Konzepte

Vertex AI Experiments ist ein Kontext in Vertex ML Metadata, in dem ein Test n Testausführungen zusätzlich zu n Pipelineausführungen enthalten kann. Eine Testausführung besteht aus Parametern, zusammenfassenden Messwerten, Zeitachsenmesswerten, Vertex-Ressourcen (PipelineJob), Artefakten und Ausführungen. Vertex AI TensorBoard, eine verwaltete Version von Open-Source-TensorBoard, wird zum Speichern von Zeitachsenmesswerten verwendet. Ausführungen und Artefakte einer Pipelineausführung können in der Google Cloud Console angezeigt werden.

Vertex AI Experiments – Begriffe

Test, Testausführung und Pipelineausführung

Test
Ein Test ist ein Kontext, der n Testausführungen zusätzlich zu Pipeline-Ausführungen enthalten kann, in denen ein Nutzer als Gruppe verschiedene Konfigurationen wie Eingabeartefakte oder Hyperparameter untersuchen kann.
Siehe Test erstellen.

Testausführung
Eine Testausführung kann benutzerdefinierte Messwerte, Parameter, Ausführungen, Artefakte und Vertex-Ressourcen enthalten (z. B. PipelineJob).
Weitere Informationen finden Sie unter Testausführungen erstellen und verwalten.

Pipelineausführung
Ein oder mehrere Vertex-PipelineJobs können mit einem Test verknüpft werden, wobei jeder PipelineJob als einzelne Ausführung dargestellt wird. In diesem Kontext werden die Parameter der Ausführung von den Parametern des PipelineJobs abgeleitet. Die Messwerte werden aus den von diesem PipelineJob generierten system.Metric-Artefakten abgeleitet. Die Artefakte der Ausführung werden aus Artefakten abgeleitet, die von diesem PipelineJob erstellt werden.
Ein oder mehrere Vertex-PipelineJobs können mit einem ExperimentRun verknüpft werden. Die Parameter, Messwerte und Artefakte werden in diesem Kontext nicht abgeleitet.

Siehe Pipeline mit einem Test verknüpfen.

Parameter und Messwerte

Parameter
Parameter sind Schlüsseleingabewerte, die eine Ausführung konfigurieren, das Verhalten der Ausführung steuern und die Ergebnisse der Ausführung beeinflussen. Beispiele sind die Lernrate, die Abbruchrate und die Anzahl der Trainingsschritte.

Siehe Parameter loggen.

Zusammenfassende Messwerte
Zusammenfassende Messwerte sind ein einzelner Wert für jeden Messwertschlüssel in einer Testausführung. Beispiel: Die Testgenauigkeit eines Tests ist die Genauigkeit, die anhand eines Test-Datasets am Ende des Trainings berechnet wird und als einzelner zusammenfassender Messwert erfasst werden kann.

Siehe Zusammenfassende Messwerte loggen.

Zeitachsenmesswerte
Zeitachsenmesswerte sind Längengradmesswerte, wobei jeder Wert einen Schritt im Teil der Trainingsroutine einer Ausführung darstellt. Zeitachsenmesswerte werden in Vertex AI TensorBoard gespeichert. Vertex AI Experiments speichert einen Verweis auf die Vertex TensorBoard-Ressource.

Siehe Zeitachsenmesswerte loggen.

Ressourcentypen

Pipelinejob
Eine Ressource in der Vertex AI API, die den Vertex-Pipelinejobs entspricht. Nutzer erstellen einen PipelineJob, wenn sie eine ML-Pipeline in Vertex AI ausführen möchten.

artifact
Ein Artefakt ist eine einzelne Entität oder ein Datenelement, das von einem ML-Workflow erzeugt und genutzt wird. Beispiele für Artefakte sind Datasets, Modelle, Eingabedateien und Trainingslogs.

Mit Vertex AI Experiments können Sie den Artefakttyp definieren. Beispielsweise werden folgende Typen unterstützt: system.Dataset, system.Model, system.Artifact.

Nächste Schritte