Modelo de dados e recursos

O Vertex ML Metadata organiza os recursos hierarquicamente, em que cada recurso pertence a um MetadataStore. Primeiro, tem de ter um MetadataStore antes de poder criar recursos de metadados.

Terminologia do Vertex ML Metadata

O texto seguinte apresenta o modelo de dados e a terminologia usados para descrever os recursos e os componentes de metadados do Vertex ML.

MetadataStore
  • Um MetadataStore é o contentor de nível superior para recursos de metadados. O MetadataStore é regionalizado e associado a um projeto específico do Google Cloud. Normalmente, uma organização usa um MetadataStore partilhado para recursos de metadados em cada projeto.
recursos de metadados
  • O Vertex ML Metadata expõe um modelo de dados semelhante a um gráfico para representar os metadados produzidos e consumidos a partir de fluxos de trabalho de ML. Os conceitos principais são artefactos, execuções, eventos e contextos.
artefacto
  • Um artefacto é uma entidade discreta ou um fragmento de dados produzido e consumido por um fluxo de trabalho de aprendizagem automática. Alguns exemplos de artefactos incluem conjuntos de dados, modelos, ficheiros de entrada e registos de preparação.
contexto
  • Um contexto é usado para agrupar artefactos e execuções numa única categoria consultável e com tipo. Os contextos podem ser usados para representar conjuntos de metadados. Um exemplo de contexto seria a execução de um pipeline de aprendizagem automática.
Por exemplo, pode usar contextos para representar conjuntos de metadados, como:

  • Uma execução de pipeline do Vertex AI Pipelines. Neste caso, o contexto representa uma execução e cada execução representa um passo no pipeline de ML. Mostra como os artefactos, as execuções e o contexto se combinam no modelo de dados de grafos do Vertex ML Metadata.

  • Uma experiência executada a partir de um bloco de notas. Neste caso, o contexto pode representar o bloco de notas e cada execução pode representar uma célula nesse bloco de notas.

    evento
    • Um evento descreve a relação entre artefactos e execuções. Cada artefacto pode ser produzido por uma execução e consumido por outras execuções. Os eventos ajudam a determinar a proveniência dos artefactos nos respetivos fluxos de trabalho de ML encadeando artefactos e execuções.
    execução
    • Uma execução é um registo de um passo individual do fluxo de trabalho de aprendizagem automática, normalmente anotado com os respetivos parâmetros de tempo de execução. Alguns exemplos de execuções incluem a ingestão de dados, a validação de dados, a preparação de modelos, a avaliação de modelos e a implementação de modelos.
    MetadataSchema
    • Um MetadataSchema descreve o esquema de tipos específicos de artefactos, execuções ou contextos. Os MetadataSchemas são usados para validar os pares de chave-valor durante a criação dos recursos de metadados correspondentes. A validação do esquema só é realizada em campos correspondentes entre o recurso e o MetadataSchema. Os esquemas de tipos são representados através de objetos de esquema OpenAPI, que devem ser descritos através de YAML.

Exemplo de MetadataSchema

Os esquemas de tipos são representados através de objetos de esquema OpenAPI, que devem ser descritos através de YAML.

Segue-se um exemplo de como o tipo de sistema Model predefinido é especificado no formato YAML.

title: system.Model
type: object
properties:
  framework:
    type: string
    description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
  framework_version:
    type: string
    description: "The framework version, for example '1.15' or '2.1'"
  payload_format:
    type: string
    description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"

O título do esquema tem de usar o formato <namespace>.<type name>. O Vertex ML Metadata publica e mantém esquemas definidos pelo sistema para representar tipos comuns amplamente usados em fluxos de trabalho de ML. Estes esquemas encontram-se no espaço de nomes system e podem ser acedidos como recursos MetadataSchema na API. Os esquemas têm sempre versões.

Para saber mais sobre esquemas, consulte Esquemas do sistema. Além disso, o Vertex ML Metadata permite-lhe criar esquemas personalizados definidos pelo utilizador. Para saber mais sobre os esquemas do sistema, consulte o artigo Como registar os seus próprios esquemas personalizados.

Os recursos de metadados expostos refletem de perto os da implementação de código aberto do ML Metadata (MLMD).

O que se segue?