Modello dei dati e risorse

Vertex ML Metadata organizza le risorse in modo gerarchico, in cui ogni risorsa appartiene a un MetadataStore. Per poter creare risorse di metadati, devi prima disporre di un MetadataStore.

Terminologia di Vertex ML Metadata

Di seguito viene presentato il modello dei dati e la terminologia utilizzati per descrivere le risorse e i componenti di Vertex ML Metadata.

MetadataStore
  • Un MetadataStore è il contenitore di primo livello per le risorse di metadati. MetadataStore è regionalizzato e associato a un progetto Google Cloud specifico. In genere, un'organizzazione utilizza un MetadataStore condiviso per le risorse dei metadati all'interno di ogni progetto.
risorse di metadati
  • Vertex ML Metadata espone un modello dei dati simile a un grafo per rappresentare i metadati prodotti e consumati dai flussi di lavoro di ML. I concetti principali sono elementi, esecuzioni, eventi e contesti.
elemento
  • Un artefatto è un'entità o un frammento di dati discreti prodotto e consumato da un flusso di lavoro di machine learning. Alcuni esempi di artefatti sono set di dati, modelli, file di input e log di addestramento.
context
  • Un contesto viene utilizzato per raggruppare elementi e esecuzioni in una singola categoria interrogabile e con tipo. I contesti possono essere utilizzati per rappresentare insiemi di metadati. Un esempio di contesto è l'esecuzione di una pipeline di machine learning.
Ad esempio, puoi utilizzare i contesti per rappresentare insiemi di metadati come:

  • Un'esecuzione di una pipeline Vertex AI Pipelines. In questo caso, il contesto rappresenta un'esecuzione e ogni esecuzione rappresenta un passaggio della pipeline ML. Mostra come gli artefatti, le esecuzioni e il contesto si combinano nel modello dei dati grafico di Vertex ML Metadata.

  • Un esperimento eseguito da un notebook Jupyter. In questo caso, il contesto potrebbe rappresentare il notebook e ogni esecuzione una cella al suo interno.

    event
    • Un evento descrive la relazione tra gli elementi e le esecuzioni. Ogni elemento può essere prodotto da un'esecuzione e utilizzato da altre esecuzioni. Gli eventi ti aiutano a determinare la provenienza degli artefatti nei flussi di lavoro di ML collegando tra loro artefatti ed esecuzioni.
    esecuzione
    • Un'esecuzione è un record di un singolo passaggio del flusso di lavoro di machine learning, in genere annotato con i relativi parametri di runtime. Alcuni esempi di esecuzioni sono l'importazione dati, la convalida dei dati, l'addestramento del modello, la valutazione del modello e il deployment del modello.
    MetadataSchema
    • Un MetadataSchema descrive lo schema per tipi specifici di elementi, esecuzioni o contesti. MetadataSchemas viene utilizzato per convalidare le coppie chiave-valore durante la creazione delle risorse di metadati corrispondenti. La convalida dello schema viene eseguita solo sui campi corrispondenti tra la risorsa e MetadataSchema. Gli schemi di tipo sono rappresentati utilizzando oggetti schema OpenAPI, che devono essere descritti utilizzando YAML.

Esempio di MetadataSchema

Gli schemi di tipo sono rappresentati utilizzando gli oggetti dello schema OpenAPI, che devono essere descritti utilizzando YAML.

Di seguito è riportato un esempio di come il tipo di sistema Model predefinito viene specificato in formato YAML.

title: system.Model
type: object
properties:
  framework:
    type: string
    description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
  framework_version:
    type: string
    description: "The framework version, for example '1.15' or '2.1'"
  payload_format:
    type: string
    description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"

Il titolo dello schema deve utilizzare il formato <namespace>.<type name>. Vertex ML Metadata pubblica e gestisce schemi definiti dal sistema per rappresentare tipi comuni ampiamente utilizzati nei flussi di lavoro di ML. Questi schemi si trovano nello spazio dei nomi system e sono accessibili come risorse MetadataSchema nell'API. Gli schemi sono sempre versionati.

Per scoprire di più sugli schemi, consulta la sezione Schemi di sistema. Inoltre, Vertex ML Metadata ti consente di creare schemi personalizzati definiti dall'utente. Per scoprire di più sugli schemi di sistema, consulta Come registrare i tuoi schemi personalizzati.

Le risorse dei metadati esposte rispecchiano molto da vicino quelle dell'implementazione open source di ML Metadata (MLMD).

Passaggi successivi