Acompanhe a linhagem dos artefactos da pipeline

Cada execução de pipeline criada com os Vertex AI Pipelines tem vários artefactos e parâmetros associados, como modelos, conjuntos de dados, modelos de pipelines e componentes. A linhagem de um artefacto de pipeline inclui os fatores que contribuíram para a sua criação, bem como artefactos e metadados derivados do artefacto. Por exemplo, a linhagem de um modelo pode incluir o seguinte:

  • Os dados de preparação, teste e avaliação usados para criar o modelo.

  • Os hiperparâmetros usados durante a preparação do modelo.

  • Metadados registados a partir do processo de preparação e avaliação, como a precisão do modelo.

  • Artefactos que descendem deste modelo, como os resultados das previsões em lote.

Pode usar estes metadados para ajudar a responder a perguntas como as seguintes:

  • Por que motivo a execução de um determinado pipeline gerou um modelo especialmente preciso?

  • Que execução da pipeline produziu o modelo mais preciso e que hiperparâmetros foram usados para treinar o modelo?

  • Consoante os passos no seu pipeline, pode responder a perguntas de governação do sistema. Por exemplo, pode usar metadados para determinar que versão do modelo estava em produção num determinado momento.

Para ver e analisar a linhagem de artefactos do pipeline, pode usar o Vertex ML Metadata ou o Dataplex Universal Catalog.

A tabela seguinte descreve as diferenças entre os metadados do Vertex ML e o catálogo universal do Dataplex:

Funcionalidade Vertex ML Metadata Dataplex Universal Catalog
Tipos de metadados de pipeline capturados Todos os artefactos de entrada e saída produzidos por uma execução da pipeline. Artefactos de entrada e saída que podem ser mapeados para nomes totalmente qualificados (FQNs) suportados pelo catálogo universal do Dataplex, geralmente através da utilização de Google Cloud componentes de pipeline.
Geografia Leituras de região única. Leituras globais, ou seja, em várias regiões.
Projetos Leituras de um único projeto. Leituras ao nível da organização em vários projetos.
Serviços integrados Integrado com o Vertex AI Pipelines, o Vertex AI Experiments, o Vertex AI Model Registry e os conjuntos de dados. Integrado com vários Google Cloud produtos, como o Vertex AI, o BigQuery, o Cloud Composer e o Dataproc.
Quer participar? Não, sempre ativado. Ative a API Data Lineage por projeto.

Mapeie artefactos de metadados de ML da Vertex para o catálogo universal do Dataplex

Para mapear artefactos de metadados do Vertex ML para FQNs no catálogo universal do Dataplex, tem de fazer o seguinte:

  • Use Google Cloud componentes de pipeline ao criar modelos da Vertex AI e conjuntos de dados geridos.

  • Use títulos de esquemas personalizados (google.VertexDataset ou google.VertexModel) ao especificar o nome do recurso do modelo ou do conjunto de dados gerido no campo metadata, conforme ilustrado no seguinte exemplo:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Analise a linhagem de artefactos de pipelines com o Vertex ML Metadata

Quando executa um pipeline através do Vertex AI Pipelines, os artefactos e os parâmetros da execução do pipeline são armazenados através do Vertex ML Metadata. O Vertex ML Metadata facilita a análise da origem dos artefactos do seu pipeline, evitando-lhe a dificuldade de monitorizar os metadados do pipeline.

Se for a primeira vez que usa o Vertex ML Metadata, leia a introdução ao Vertex ML Metadata.

Siga estas instruções para ver o gráfico de linhagem de um artefacto de pipeline com os metadados de ML do Vertex AI:

  1. Na Google Cloud consola, na secção Vertex AI, aceda à página Metadados.

    Aceda aos metadados

    A página de metadados apresenta os artefactos que foram criados na loja de metadados predefinida.

  2. Na lista pendente Região, selecione a região em que a sua corrida foi criada.

  3. Clique no Nome a apresentar de um artefacto para ver o respetivo gráfico de linhagem.

    É apresentado um gráfico estático que mostra os artefactos e as execuções que fazem parte deste gráfico de linhagem.

  4. Clique num artefacto ou numa execução para saber mais sobre o mesmo.

Analise a linhagem de artefactos de pipelines com o catálogo universal do Dataplex

O catálogo universal do Dataplex descobre metadados de Google Cloud recursos, que incluem artefactos dos pipelines da Vertex AI, como modelos da Vertex AI, conjuntos de dados geridos e outros Google Cloud recursos detetáveis no catálogo universal do Dataplex. Pode descobrir estes artefactos através da capacidade de pesquisa de metadados do Dataplex Universal Catalog e ver os respetivos gráficos de linhagem.

Para mais informações sobre a capacidade de pesquisa de metadados do catálogo universal do Dataplex, consulte o artigo Pesquise recursos no catálogo universal do Dataplex.

Tenha em atenção que o catálogo universal do Dataplex pode não estar disponível em todas as regiões onde o Vertex AI Pipelines é suportado. Se o catálogo universal do Dataplex não for suportado na sua região, use os metadados do Vertex ML. Veja a lista de regiões suportadas para o catálogo universal do Dataplex.

Siga estas instruções para ver o gráfico de linhagem de um artefacto de pipeline no catálogo universal do Dataplex:

  1. Para iniciar uma consulta de pesquisa do catálogo universal do Dataplex na Google Cloud consola, aceda à página Pesquisa do catálogo universal do Dataplex.

    Aceda à pesquisa

  2. Selecione Catálogo universal do Dataplex como modo de pesquisa.

  3. Use os filtros para pesquisar os artefactos. Por exemplo, pode usar o filtro Tipos de dados para especificar o tipo de artefacto, como modelo, conjunto de dados ou tabela do BigQuery. Para mais informações, consulte o artigo Pesquise recursos no catálogo universal do Dataplex.

    Também pode definir a sua consulta no campo de pesquisa.

  4. Para ver a linhagem de um artefacto, clique no nome do artefacto e, de seguida, clique no separador Linhagem.

    No gráfico de linhagem, os processos do Vertex AI são precedidos por Ícone de linhagem do Vertex AI. Estes incluem artefactos de pipelines, componentes de pipelines e modelos de pipelines.

    • Para ver os detalhes de um processo, clique no processo no gráfico de linhagem.

    • Para processos baseados em tarefas de pipelines de execuções de pipelines, pode fazer o seguinte:

      • Clique em Abrir no Vertex AI no separador Detalhes para ver a execução do pipeline no Vertex AI. Para ver os detalhes de tempo de execução de uma execução do pipeline, como estados, datas/horas e atributos, clique em Mais. Para ver a execução do pipeline no Vertex AI, clique em Abrir no Vertex AI.

    • Para processos baseados num modelo de pipeline, pode fazer o seguinte:

      • Clique em Abrir no Vertex AI no separador Detalhes para ver os detalhes do modelo no Vertex AI.

      • Veja a lista de tarefas de pipeline criadas em execuções de pipeline no separador Execuções. Para ver os detalhes do modelo de pipeline no Vertex AI, clique em Mais e, de seguida, clique em Abrir no Vertex AI.

O que se segue?