Modello dei dati e risorse

Vertex ML Metadata organizza le risorse in modo gerarchico, in cui ogni risorsa appartiene a un MetadataStore. Per poter creare risorse di metadati, devi prima disporre di un MetadataStore.

Terminologia di Vertex ML Metadata

Di seguito viene presentato il modello dei dati e terminologia utilizzata per descrivere le risorse e Vertex ML Metadata componenti.

MetadataStore
  • Un MetadataStore è il container di primo livello per le risorse dei metadati. MetadataStore è regionalizzato e associato a un progetto Google Cloud specifico. In genere, un'organizzazione utilizza un MetadataStore condiviso per le risorse dei metadati all'interno di ogni progetto.
risorse metadati
  • Vertex ML Metadata espone un modello dei dati di tipo grafico per rappresentare i metadati prodotti e consumati dai flussi di lavoro ML. I concetti principali sono artefatti, esecuzioni, eventi e contesti.
elemento
  • Un artefatto è un'entità discreta o un dato prodotto e utilizzato da un flusso di lavoro di machine learning. Alcuni esempi di artefatti includono set di dati, modelli, file di input e log di addestramento.
contesto
  • Un contesto viene utilizzato per raggruppare elementi e esecuzioni in un'unica categoria interrogabile e con tipo. I contesti possono essere utilizzati per rappresentare insiemi di metadati. Un esempio di contesto è l'esecuzione di una pipeline di machine learning.
Ad esempio, puoi utilizzare i contesti per rappresentare insiemi di metadati come:

  • Esecuzione di una pipeline Vertex AI Pipelines. In questo caso, il contesto rappresenta un'esecuzione e ogni esecuzione rappresenta un passaggio della pipeline ML. Mostra come artefatti, esecuzioni e contesto si combinano in il modello dei dati per grafici di Vertex ML Metadata.

  • Un esperimento eseguito da un blocco note Jupyter. In questo caso, il contesto potrebbe rappresentare il notebook e ogni esecuzione una cella al suo interno.

    evento
    • Un evento descrive la relazione tra gli elementi e le esecuzioni. Ogni elemento può essere prodotto da un'esecuzione e utilizzato da altre esecuzioni. Gli eventi consentono di determinare la provenienza degli artefatti nei loro flussi di lavoro ML concatenando artefatti ed esecuzioni.
    dell'esecuzione
    • Un'esecuzione è un record di un singolo passaggio del flusso di lavoro di machine learning, in genere annotato con i relativi parametri di runtime. Alcuni esempi di esecuzioni sono l'importazione dei dati, la convalida dei dati, l'addestramento del modello, la valutazione del modello e il deployment del modello.
    MetadataSchema
    • Un MetadataSchema descrive lo schema per particolari tipi di artefatti, esecuzioni o contesti. Gli schemi dei metadati vengono utilizzati per convalidare le coppie chiave-valore durante la creazione delle risorse di metadati corrispondenti. La convalida dello schema viene eseguita solo sui campi corrispondenti tra la risorsa e MetadataSchema. Gli schemi di tipo sono rappresentati utilizzando oggetti schema OpenAPI, che devono essere descritti utilizzando YAML.

Esempio di MetadataSchema

Gli schemi di tipo sono rappresentati utilizzando gli oggetti dello schema OpenAPI, che devono essere descritti utilizzando YAML.

Di seguito è riportato un esempio di come viene impostato il tipo di sistema Model predefinito specificato in formato YAML.

title: system.Model
type: object
properties:
  framework:
    type: string
    description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
  framework_version:
    type: string
    description: "The framework version, for example '1.15' or '2.1'"
  payload_format:
    type: string
    description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"

Il titolo dello schema deve utilizzare il formato <namespace>.<type name>. Vertex ML Metadata pubblica e gestisce schemi definiti dal sistema per che rappresentano tipi comuni ampiamente usati nei flussi di lavoro ML. Questi schemi si trovano in lo spazio dei nomi system ed è accessibile come risorse MetadataSchema nel tramite Google Cloud CLI o tramite l'API Compute Engine. Gli schemi sono sempre con controllo della versione.

Per scoprire di più sugli schemi, consulta la sezione Schemi di sistema. Inoltre, Vertex ML Metadata consente di creare schemi personalizzati definiti dall'utente. Per scoprire di più sugli schemi di sistema, consulta Come registrare i tuoi schemi personalizzati.

Le risorse dei metadati esposte rispecchiano molto da vicino quelle dell'implementazione open source di ML Metadata (MLMD).

Passaggi successivi