Modelo de datos y recursos

Vertex ML Metadata organiza los recursos de manera jerárquica, y cada recurso pertenece a un MetadataStore. Primero debes tener un MetadataStore antes de poder crear recursos de metadatos.

Terminología de Vertex ML Metadata

A continuación, se presenta el modelo de datos y la terminología que se usa para describir los recursos y componentes de Vertex ML Metadata.

MetadataStore
  • Un MetadataStore es el contenedor de nivel superior para los recursos de metadatos. MetadataStore está regionalizado y se asocia con un proyecto específico de Google Cloud. Por lo general, una organización usa un MetadataStore compartido para los recursos de metadatos dentro de cada proyecto.
Recursos de metadatos
  • Vertex ML Metadata expone un modelo de datos similar a un grafo para representar metadatos que se producen y consumen de los flujos de trabajo del AA. Los conceptos principales son los artefactos, las ejecuciones, los eventos y los contextos.
artefacto
  • Un artefacto es una entidad discreta o un dato producido y consumido por un flujo de trabajo del aprendizaje automático. Algunos ejemplos de artefactos son los conjuntos de datos, modelos, archivos de entrada y registros de entrenamiento.
context
  • Un contexto se usa para agrupar artefactos y ejecuciones en una sola categoría consultable y escrita. Los contextos se pueden usar para representar conjuntos de metadatos. Un ejemplo de un contexto sería una ejecución de una canalización de aprendizaje automático.
Por ejemplo, puedes usar contextos para representar conjuntos de metadatos, como los siguientes:

  • Una canalización de Vertex AI Pipelines. En este caso, el contexto representa una ejecución, y cada ejecución representa un paso en la canalización de AA.Muestra cómo se combinan los artefactos, las ejecuciones y el contexto en el modelo de datos de grafos de Vertex ML Metadata.

  • Un experimento ejecutado desde un notebook de Jupyter. En este caso, el contexto podría representar el notebook, y cada ejecución podría representar una celda en ese notebook.

    event
    • Un evento describe la relación entre los artefactos y las ejecuciones. Cada artefacto puede ser generado por una ejecución y consumido por otras ejecuciones. Los eventos te ayudan a determinar la procedencia de los artefactos en sus flujos de trabajo del AA mediante el encadenamiento de artefactos y ejecuciones.
    ejecución
    • Una ejecución es un registro de un paso de flujo de trabajo de aprendizaje automático individual, que, por lo general, se anota con sus parámetros de entorno de ejecución. Algunos ejemplos de las ejecuciones son la transferencia de datos, la validación de datos, el entrenamiento de modelos, la evaluación de modelos y la implementación de modelos.
    MetadataSchema
    • Un MetadataSchema describe el esquema para tipos específicos de artefactos, ejecuciones o contextos. Los MetadataSchemas se usan para validar los pares clave-valor durante la creación de los recursos de metadatos correspondientes. La validación del esquema solo se realiza en los campos que coinciden entre el recurso y el MetadataSchema. Los esquemas de tipo se representan con objetos de esquema de OpenAPI, que deben describirse mediante YAML.

Ejemplo de MetadataSchema

Los esquemas de tipo se representan con Objetos de esquema de OpenAPI, que deben describirse mediante YAML.

A continuación, se muestra un ejemplo de cómo se especifica el tipo de sistema predefinido Model en formato YAML.

title: system.Model
type: object
properties:
  framework:
    type: string
    description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
  framework_version:
    type: string
    description: "The framework version, for example '1.15' or '2.1'"
  payload_format:
    type: string
    description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"

El título del esquema debe usar el formato <namespace>.<type name>. Vertex ML Metadata publica y mantiene esquemas definidos por el sistema para representar tipos comunes que se usan con frecuencia en los flujos de trabajo del AA. Estos esquemas se encuentran en el espacio de nombres system y se puede acceder a ellos como recursos del MetadataSchema en la API. Los esquemas siempre tienen versiones.

Para obtener más información sobre los esquemas, consulta Esquemas del sistema. Además, Vertex ML Metadata te permite crear esquemas personalizados definidos por el usuario. Para obtener más información sobre los esquemas del sistema, consulta Cómo registrar tus propios esquemas personalizados.

Los recursos de metadatos expuestos replican estrechamenteo los de la implementación de código abierto de ML Metadata (MLMD).

¿Qué sigue?