Vertex AI Experiments ist ein Tool, mit dem Sie verschiedene Modellarchitekturen, Hyperparameter und Trainingsumgebungen verfolgen und analysieren können, um die Schritte, Eingaben und Ausgaben einer Testausführung zu verfolgen. Mit Vertex AI Experiments können Sie auch die Leistung Ihres Modells im Vergleich zu Test-Datasets und während des Trainingslaufs bewerten. Anhand dieser Informationen können Sie dann das beste Modell für Ihren speziellen Anwendungsfall auswählen
Für Testausführungen fallen keine zusätzlichen Gebühren an. Ihnen werden nur Ressourcen in Rechnung gestellt, die Sie während der Tests verwenden (siehe Vertex AI-Preise).
| Was möchten Sie tun? | Notebookbeispiel ansehen |
|---|---|
| Messwerte und Parameter erfassen | Modelle vergleichen |
| Testherkunft erfassen | Modelltraining |
| Pipelineausführungen erfassen | Pipelineausführungen vergleichen |
Schritte, Eingaben und Ausgaben erfassen
Mit Vertex AI Experiments können Sie Folgendes erfassen:
- Schritte einer Testausführung, z. B. Vorverarbeitung, Training,
- Eingaben, z. B. Algorithmus, Parameter, Datasets,
- Ausgaben dieser Schritte, z. B. Modelle, Prüfpunkte, Messwerte.
Sie können dann herausfinden, was funktioniert hat und was nicht und weitere Möglichkeiten zum Testen bestimmen.
Beispiele für Nutzerverhalten finden Sie hier:
Modellleistung analysieren
Mit Vertex AI Experiments können Sie die Gesamtleistung des Modells im Vergleich zu Test-Datasets und während der Trainingsausführung erfassen und bewerten. Auf diese Weise können Sie die Leistungsmerkmale des Modells besser verstehen – wie gut ein bestimmtes Modell insgesamt funktioniert, wo es fehlschlägt und wo es am besten funktioniert.
Beispiele für Nutzerverhalten finden Sie hier:
Modellleistung vergleichen
Mit Vertex AI Experiments können Sie mehrere Modelle in Testausführungen gruppieren und vergleichen. Jedes Modell hat eigene angegebene Parameter, Modellierungsverfahren, Architekturen und Eingaben. Dieser Ansatz hilft bei der Auswahl des besten Modells.
Beispiele für Nutzerverhalten finden Sie hier:
Tests suchen
Die Google Cloud Console bietet eine zentrale Ansicht der Tests, eine Querschnittsansicht der Testausführungen und Details zu jeder Ausführung. Das Vertex AI SDK für Python stellt APIs bereit, um Tests, Testausführungen, Testausführungsparameter, Messwerte und Artefakte zu nutzen.
Vertex AI Experiments bietet zusammen mit Vertex ML Metadata die Möglichkeit, die in einem Test erfassten Artefakte zu finden. So können Sie schnell die Herkunft des Artefakts und die in den Schritten einer Ausführung genutzten und erzeugten Artefakte einsehen.
Supportumfang
Vertex AI Experiments unterstützt die Entwicklung von Modellen mit dem benutzerdefinierten Vertex AI-Training, Vertex AI Workbench-Notebooks, Notebooks und allen Python-ML-Frameworks in den meisten ML-Frameworks. Für einige ML-Frameworks wie TensorFlow bieten Vertex AI Experiments tiefe Integrationen in das Framework, das die Nutzererfahrung automatisiert. Für andere ML-Frameworks bietet Vertex AI Experiments ein neutrales Vertex AI SDK für Python, das Sie verwenden können. (Siehe Vordefinierte Container für TensorFlow, scikit-learn, PyTorch, XGBoost.)
Datenmodelle und Konzepte
Vertex AI Experiments ist ein Kontext in Vertex ML Metadata, in dem ein Test n Testausführungen zusätzlich zu n Pipelineausführungen enthalten kann. Eine Testausführung besteht aus Parametern, zusammenfassenden Messwerten, Zeitachsenmesswerten und Vertex AI-Ressourcen PipelineJob, Artifact und Execution.
Vertex AI TensorBoard, eine verwaltete Version von Open-Source-TensorBoard, wird zum Speichern von Zeitachsenmesswerten verwendet. Ausführungen und Artefakte einer Pipelineausführung können in der Google Cloud Console angezeigt werden.
Vertex AI Experiments – Begriffe
Test, Testausführung und Pipelineausführung
Test
- Ein Test ist ein Kontext, der eine Reihe von n Testausführungen zusätzlich zu Pipeline-Ausführungen enthalten kann, in denen ein Nutzer als Gruppe verschiedene Konfigurationen wie Eingabeartefakte oder Hyperparameter untersuchen kann.
Testausführung
- Eine Testausführung kann benutzerdefinierte Messwerte, Parameter, Ausführungen, Artefakte und Vertex-Ressourcen enthalten (z. B. PipelineJob).
Pipelineausführung
- Ein oder mehrere Vertex PipelineJobs können mit einem Test verknüpft werden, wobei jeder PipelineJob als einzelne Ausführung dargestellt wird. In diesem Kontext werden die Parameter der Ausführung von den Parametern des PipelineJobs abgeleitet. Die Messwerte werden aus den von diesem PipelineJob generierten system.Metric-Artefakten abgeleitet. Die Artefakte der Ausführung werden aus Artefakten abgeleitet, die von diesem PipelineJob erstellt werden.
PipelineJob-Ressourcen können mit einer ExperimentRun verknüpft werden.
Die Parameter, Messwerte und Artefakte werden in diesem Kontext nicht abgeleitet.
Siehe Pipeline mit einem Test verknüpfen.
Parameter und Messwerte
Parameter
- Parameter sind Schlüsseleingabewerte, die eine Ausführung konfigurieren, das Verhalten der Ausführung steuern und die Ergebnisse der Ausführung beeinflussen. Beispiele sind die Lernrate, die Abbruchrate und die Anzahl der Trainingsschritte.
Siehe Parameter loggen.
Zusammenfassende Messwerte
- Zusammenfassende Messwerte sind ein einzelner Wert für jeden Messwertschlüssel in einer Testausführung. Beispiel: Die Testgenauigkeit eines Tests ist die Genauigkeit, die anhand eines Test-Datasets am Ende des Trainings berechnet wird und als einzelner zusammenfassender Messwert erfasst werden kann.
Siehe Zusammenfassende Messwerte loggen.
Zeitachsenmesswerte
- Zeitachsenmesswerte sind Längengradmesswerte, wobei jeder Wert einen Schritt im Teil der Trainingsroutine einer Ausführung darstellt. Zeitachsenmesswerte werden in Vertex AI TensorBoard gespeichert. Vertex AI Experiments speichert einen Verweis auf die Vertex TensorBoard-Ressource.
Siehe Zeitachsenmesswerte loggen.
Ressourcentypen
Pipelinejob
- Eine Ressource in der Vertex AI API, die den Vertex-Pipelinejobs entspricht. Nutzer erstellen einen PipelineJob, wenn sie eine ML-Pipeline in Vertex AI ausführen möchten.
artifact
- Ein Artefakt ist eine einzelne Entität oder ein Datenelement, das von einem ML-Workflow erzeugt und genutzt wird. Beispiele für Artefakte sind Datasets, Modelle, Eingabedateien und Trainingslogs.
In Vertex AI Experiments können Sie den Artefakttyp mithilfe eines Schemas definieren. Unterstützte Schematypen sind beispielsweise system.Dataset, system.Model und system.Artifact. Weitere Informationen finden Sie unter Systemschemas.