Ein wichtiges Element bei einem wissenschaftlichen Verfahren ist das Erfassen der Beobachtungen und der Parameter eines Experiments. In der Data Science ist es auch wichtig, die Parameter, Artefakte und Messwerte zu verfolgen, die in einem Experiment für maschinelles Lernen (ML) verwendet werden. Diese Metadaten bieten folgende Vorteile:
- Ausführung eines ML-Produktionssystems analysieren, um Änderungen der Qualität von Vorhersagen nachzuvollziehen
- ML-Experimente analysieren, um die Effektivität verschiedener Gruppen von Hyperparametern zu vergleichen
- Verfolgen der Herkunft von ML-Artefakten, z. B. Datasets und Modelle, um nachzuvollziehen, was zur Erstellung eines Artefakts beigetragen hat oder wie dieses Artefakt zur Erstellung untergeordneter Artefakte verwendet wurde
- Einen ML-Workflow mit den gleichen Artefakten und Parametern noch einmal ausführen
- Verfolgen der nachgelagerten Nutzung von ML-Artefakten für Governance-Zweck.
Mit Vertex ML Metadata können Sie die von Ihrem ML-System erzeugten Metadaten und Artefakte aufzeichnen. Außerdem können Sie damit Metadaten abfragen, um die Leistung Ihres ML-Systems oder der Artefakte zu analysieren, zu debuggen und zu prüfen.
Vertex ML-Metadaten basieren auf den Konzepten der Open-Source-Bibliothek ML Metadata (MLMD), die vom TensorFlow Extended-Team von Google entwickelt wurde.
Überblick Vertex ML-Metadaten
Vertex ML Metadata erfasst die Metadaten Ihres ML-Systems als Diagramm.
Im Metadaten-Diagramm sind Artefakte und Ausführungen Knoten, und Ereignisse sind Kanten, die Artefakte als Eingänge oder Ausgänge von Ausführungen verbinden. Kontexte stellen Unterdiagramme dar, die zur logischen Gruppierung von Gruppen von Artefakten und Ausführungen verwendet werden.
Sie können Schlüssel/Wert-Paar-Metadaten auf Artefakte, Ausführungen und Kontexte anwenden. Ein Modell kann beispielsweise Metadaten enthalten, die das Framework beschreiben, das zum Trainieren des Modells verwendet wird, sowie Leistungsmesswerte wie Accuracy, Precision und Recall des Modells.
Weitere Informationen erhalten Sie unter Analyse der Metadaten eines ML-Systems. Wenn Sie Metadaten von Vertex AI Pipelines analysieren möchten, sollten Sie diese Schritt-für-Schritt-Anleitung nutzen.
ML-Artefakt-Herkunft
Um Änderungen in der Leistung Ihres maschinellen ML-Systems zu verstehen, müssen Sie in der Lage sein, die von Ihrem ML-Workflow erzeugten Metadaten und die Herkunft seiner Artefakte zu analysieren. Die Abstammung eines Artefakts umfasst alle Faktoren, die zu seiner Erstellung beigetragen haben, sowie Artefakte und Metadaten, die von diesem Artefakt abstammen.
Die Abstammung eines Modells kann zum Beispiel Folgendes enthalten:
- Die Trainings-, Test- und Evaluationsdaten, die zum Erstellen des Modells verwendet wurden.
- Die Hyperparameter, die während des Modelltrainings verwendet werden.
- Der Code, der zum Trainieren des Modells verwendet wurde.
- Metadaten, die aus dem Trainings- und Bewertungsprozess aufgezeichnet wurden, z. B. die Genauigkeit des Modells.
- Artefakte, die von diesem Modell abstammen, z. B. die Ergebnisse von Batchvorhersagen.
Wenn Sie die Metadaten Ihres ML-Systems mithilfe von Vertex ML Metadata verfolgen, können Sie Fragen wie die folgenden beantworten:
- Welches Dataset wurde zum Trainieren eines bestimmten Modells verwendet?
- Welche Modelle meiner Organisation wurden mit einem bestimmten Dataset trainiert?
- Welche Ausführung hat das genaueste Modell generiert und welche Hyperparameter wurden zum Trainieren des Modells verwendet?
- Für welche Bereitstellungsziele wurde ein bestimmtes Modell angewendet und wann wurde es bereitgestellt?
- Welche Version des Modells wurde verwendet, um eine Vorhersage zu einem bestimmten Zeitpunkt zu erstellen?
Mehr über die Analyse der Metadaten eines ML-Systems erfahren.