Modelo e recursos de dados

O Vertex ML Metadata organiza recursos hierarquicamente, em que todos os recursos pertencem a um MetadataStore. Primeiro, você precisa ter um MetadataStore antes de criar recursos de metadados.

Terminologia do Vertex ML Metadata

Veja nas seções a seguir o modelo de dados e a terminologia usada para descrever os recursos e componentes do Vertex ML Metadata.

MetadataStore
  • Um MetadataStore é o contêiner de nível superior para recursos de metadados. O MetadataStore é regionalizado e associado a um projeto específico do Google Cloud. Normalmente, uma organização usa um MetadataStore compartilhado para recursos de metadados em cada projeto.
metadata resources
  • O Vertex ML Metadata expõe um modelo de dados semelhante a um gráfico para representar metadados produzidos e consumidos de fluxos de trabalho de ML. Os conceitos principais são Artefatos, Execuções, Eventos e Contextos.
artifact
  • Um artefato é uma entidade distinta ou parte dos dados produzidos e consumidos por um fluxo de trabalho de machine learning. Exemplos de artefatos incluem conjuntos de dados, modelos, arquivos de entrada e registros de treinamento.
context
  • Um contexto é usado para agrupar artefatos e execuções em uma única categoria, que pode ser consultada e digitada. Os contextos podem ser usados para representar conjuntos de metadados. Um exemplo de contexto seria uma execução de um pipeline de machine learning.
Por exemplo, é possível usar contextos para representar conjuntos de metadados como:

  • Uma execução de pipeline do Vertex AI Pipelines. Nesse caso, o contexto representa uma execução, e cada execução representa uma etapa no pipeline de ML. Mostra como artefatos, execuções e contexto se combinam ao modelo de dados gráficos do Vertex ML Metadata.

  • Um experimento executado em um notebook do Jupyter. Nesse caso, o contexto poderia representar o notebook e cada execução poderia representar uma célula nesse notebook.

    event
    • Um evento descreve a relação entre artefatos e execuções. Cada artefato pode ser produzido por uma execução e consumido por outras execuções. Os eventos ajudam você a determinar a procedência dos artefatos nos fluxos de trabalho de ML encadeando artefatos e execuções.
    execução
    • Uma execução é um registro de uma etapa de fluxo de trabalho de machine learning individual, geralmente anotado com os parâmetros de ambiente de execução. Exemplos de execuções incluem ingestão, validação e treinamento de modelos, avaliação e implantação de modelos.
    MetadataSchema
    • Um MetadataSchema descreve o esquema para tipos específicos de artefatos, execuções ou contextos. MetadataSchemas são usados para validar os pares de chave-valor durante a criação dos recursos de metadados correspondentes. A validação de esquema é realizada apenas em campos correspondentes entre o recurso e o MetadataSchema. Os esquemas de tipo são representados com objetos de esquema da OpenAPI, que precisam ser descritos com o YAML.

Exemplo de MetadataSchema

Os esquemas de tipo são representados com objetos de esquema da OpenAPI, que precisam ser descritos com o YAML.

Veja a seguir um exemplo de como o tipo de sistema Model predefinido é especificado no formato YAML.

title: system.Model
type: object
properties:
  framework:
    type: string
    description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
  framework_version:
    type: string
    description: "The framework version, for example '1.15' or '2.1'"
  payload_format:
    type: string
    description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"

O título do esquema precisa usar o formato <namespace>.<type name>. A Vertex ML Metadata publica e mantém esquemas definidos pelo sistema para representar tipos comuns amplamente utilizados em fluxos de trabalho de ML. Esses esquemas estão no namespace system e podem ser acessados como recursos MetadataSchema na API. Os esquemas têm sempre o controle de versão.

Para saber mais sobre esquemas, consulte Esquemas do sistema. Além disso, o Vertex ML Metadata permite criar esquemas personalizados definidos pelo usuário. Para saber mais sobre esquemas do sistema, consulte Como registrar seus próprios esquemas personalizados.

Os recursos de metadados expostos espelham aqueles de implementação de código aberto de Metadados de ML (MLMD).

A seguir