Modèle de données et ressources

Vertex ML Metadata organise les ressources dans une hiérarchie au sein de laquelle chaque ressource appartient à un MetadataStore. Vous devez d'abord disposer d'un MetadataStore avant de pouvoir créer des ressources de métadonnées.

Terminologie associée à Vertex ML Metadata

Ce qui suit présente le modèle de données et la terminologie utilisés pour décrire les ressources et les composants de Vertex ML Metadata.

MetadataStore
  • MetadataStore est le conteneur de premier niveau pour les ressources de métadonnées. MetadataStore est régionalisé et associé à un projet Google Cloud spécifique. En règle générale, une organisation utilise un MetadataStore partagé pour les ressources de métadonnées au sein de chaque projet.
ressources de métadonnées
  • Vertex ML Metadata expose un modèle de données de type graphique pour représenter les métadonnées produites et consommées à partir des workflows de ML. Les concepts principaux sont les artefacts, les exécutions, les événements et les contextes.
artefact
  • Un artefact est une entité discrète ou une donnée produite et consommée par un workflow de machine learning. Les ensembles de données, les modèles, les fichiers d'entrée et les journaux d'entraînement sont des exemples d'artefacts.
context
  • Un contexte permet de regrouper des artefacts et des exécutions sous une catégorie unique, interrogeable et typée. Les contextes peuvent servir à représenter des ensembles de métadonnées. Un exemple de contexte pourrait être une exécution d'un pipeline de machine learning.
Par exemple, vous pouvez utiliser des contextes pour représenter des ensembles de métadonnées, tels que les suivants :

  • Un pipeline Vertex AI Pipelines s'exécute. Dans ce cas, le contexte représente une exécution et chaque exécution représente une étape du pipeline de ML.Montre comment les artefacts, les exécutions et les contextes sont combinés dans le modèle de données graphique de Vertex ML Metadata.

  • Exécution d'un test à partir d'un notebook Jupyter. Dans ce cas, le contexte peut représenter le notebook et chaque exécution peut représenter une cellule de ce notebook.

    event
    • Un événement décrit la relation entre les artefacts et les exécutions. Chaque artefact peut être produit par une exécution et utilisé par d'autres exécutions. Les événements vous aident à déterminer la provenance des artefacts dans leurs workflows de ML en associant des artefacts et des exécutions.
    exécution
    • Une exécution est un enregistrement d'une étape individuelle de workflow de machine learning, généralement annoté avec ses paramètres d'exécution. Les exemples d'exécution incluent l'ingestion de données, la validation de données, l'entraînement de modèle, l'évaluation de modèle et le déploiement de modèle.
    MetadataSchema
    • Un MetadataSchema décrit le schéma de types particuliers d'artefacts, d'exécutions ou de contextes. Les MetadataSchema permettent de valider les paires clé/valeur lors de la création des ressources de métadonnées correspondantes. La validation de schéma n'est effectuée que sur les champs correspondants entre la ressource et le MetadataSchema. Les schémas de type sont représentés avec des objets de schéma OpenAPI, qui doivent être décrits à l'aide de YAML.

Exemple de MetadataSchema

Les schémas de type sont représentés avec des objets de schéma OpenAPI, qui doivent être décrits à l'aide de YAML.

Vous trouverez ci-dessous un exemple de spécification du type de système Model prédéfini au format YAML.

title: system.Model
type: object
properties:
  framework:
    type: string
    description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
  framework_version:
    type: string
    description: "The framework version, for example '1.15' or '2.1'"
  payload_format:
    type: string
    description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"

Le titre du schéma doit utiliser le format <namespace>.<type name>. Vertex ML Metadata publie et gère des schémas définis par le système pour représenter les types courants couramment utilisés dans les workflows de ML. Ces schémas résident sous l'espace de noms system et sont accessibles en tant que ressources MetadataSchema dans l'API. Les schémas appliquent systématiquement la gestion des versions.

Pour en savoir plus sur les schémas, consultez la page Schémas système. De plus, Vertex ML Metadata vous permet de créer des schémas personnalisés définis par l'utilisateur. Pour en savoir plus sur les schémas système, consultez la section Enregistrer vos propres schémas personnalisés.

Les ressources de métadonnées exposées reflètent fidèlement celles de l'implémentation Open Source de ML Metadata (MLMD).

Étape suivante