Datenmodell und Ressourcen

Vertex ML Metadata organisiert Ressourcen hierarchisch, wobei jede Ressource zu einem MetadataStore gehört. Sie benötigen einen MetadataStore, bevor Sie Metadata-Ressourcen erstellen können.

Vertex-ML-Metadatenterminologie

In den folgenden Abschnitten werden das Datenmodell und die Terminologie vorgestellt, die zur Beschreibung der Ressourcen und Komponenten von Vertex ML Metadata verwendet werden.

MetadataStore
  • Ein MetadataStore ist der Container der obersten Ebene für Metadatenressourcen. MetadataStore ist regional und einem bestimmten Google Cloud-Projekt zugeordnet. In der Regel verwendet eine Organisation einen gemeinsam genutzten MetadataStore für Metadatenressourcen in jedem Projekt.
Metadaten-Ressourcen
  • Vertex ML Metadata enthält ein diagrammähnliches Datenmodell zur Darstellung von Metadaten, die aus ML-Workflows erstellt und genutzt werden. Die Hauptkonzepte sind Artefakte, Ausführungen, Ereignisse und Kontexte.
artifact
  • Ein Artefakt ist eine einzelne Entität oder ein Datenelement, das von einem ML-Workflow erzeugt und genutzt wird. Beispiele für Artefakte sind Datasets, Modelle, Eingabedateien und Trainingslogs.
context
  • Mit einem Kontext werden Artefakte und Ausführungen in einer einzigen, abfragbaren und typisierten Kategorie zusammengefasst. Kontexte können zur Darstellung von Metadaten verwendet werden. Ein Beispiel für einen Kontext wäre die Ausführung einer Pipeline für maschinelles Lernen.
Mit Kontexten lassen sich beispielsweise Gruppen von Metadaten wie die folgenden darstellen:

  • Eine Vertex AI Pipelines-Pipelineausführung. In diesem Fall steht der Kontext für eine Ausführung und jede Ausführung stellt einen Schritt in der ML-Pipeline dar.Zeigt, wie Artefakte, Ausführungen und Kontext im Diagrammdatenmodell von Vertex ML Metadata kombiniert werden.

  • Ein Experiment, das von einem Jupyter-Notebook ausgeführt wird. In diesem Fall kann der Kontext für das Notebook stehen und jede Ausführung eine Zelle in diesem Notebook darstellen.

    Ereignis
    • Ein Ereignis beschreibt die Beziehung zwischen Artefakten und Ausführungen. Jedes Artefakt kann von einer Ausführung erstellt und von anderen Ausführungen genutzt werden. Anhand von Ereignissen können Sie die Herkunft von Artefakten in ihren ML-Workflows ermitteln, indem Artefakte und Ausführungen verkettet werden.
    Ausführung
    • Eine Ausführung ist ein Datensatz eines einzelnen Workflows für maschinelles Lernen, der normalerweise mit seinen Laufzeitparametern annotiert ist. Beispiele für Ausführungen sind Datenaufnahme, Datenvalidierung, Modelltraining, Modellbewertung und Modellbereitstellung.
    MetadataSchema
    • Ein MetadataSchema beschreibt das Schema für bestimmte Arten von Artefakten, Ausführungen oder Kontexten. MetadataSchemas werden verwendet, um die Schlüssel/Wert-Paare während der Erstellung der entsprechenden Metadata-Ressourcen zu validieren. Die Schemavalidierung wird nur für übereinstimmende Felder zwischen der Ressource und dem MetadataSchema durchgeführt. Typschemas werden mit OpenAPI-Schemaobjekten dargestellt, die mit YAML beschrieben werden sollten.

MetadataSchema-Beispiel

Typschemas werden mit OpenAPI-Schemaobjekten dargestellt, die mit YAML beschrieben werden sollten.

Im Folgenden finden Sie ein Beispiel für die Angabe des vordefinierten Model-Systemtyps im YAML-Format.

title: system.Model
type: object
properties:
  framework:
    type: string
    description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
  framework_version:
    type: string
    description: "The framework version, for example '1.15' or '2.1'"
  payload_format:
    type: string
    description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"

Der Titel des Schemas muss das Format <namespace>.<type name> haben. Vertex ML Metadata veröffentlicht und verwaltet systemdefinierte Schemas zur Darstellung gängiger Typen, die in ML-Workflows häufig verwendet werden. Diese Schemas befinden sich unter dem Namespace system und können in der API als MetadataSchema-Ressourcen aufgerufen werden. Schemas sind immer versioniert.

Weitere Informationen zu Schemas finden Sie unter Systemschemas. Außerdem können Sie mit Vertex ML Metadata benutzerdefinierte Schemas erstellen. Weitere Informationen zu Systemschemas finden Sie unter Eigene benutzerdefinierte Schemas registrieren.

Die freigegebenen Metadata-Ressourcen spiegeln die Details der Open-Source-Implementierung von ML-Metadata (MLMD) wider.

Nächste Schritte