Uma parte fundamental do método científico é registar as suas observações e os parâmetros de uma experiência. Na ciência de dados, também é fundamental acompanhar os parâmetros, os artefactos e as métricas usados numa experiência de aprendizagem automática (AA). Estes metadados ajudam a:
- Analise as execuções de um sistema de ML de produção para compreender as alterações na qualidade das previsões.
- Analise as experiências de ML para comparar a eficácia de diferentes conjuntos de hiperparâmetros.
- Acompanhe a linhagem de artefactos de ML, por exemplo, conjuntos de dados e modelos, para compreender exatamente o que contribuiu para a criação de um artefacto ou como esse artefacto foi usado para criar artefactos descendentes.
- Voltar a executar um fluxo de trabalho de AA com os mesmos artefactos e parâmetros.
- Monitorizar a utilização a jusante dos artefactos de AA para fins de governação.
O Vertex ML Metadata permite-lhe registar os metadados e os artefactos produzidos pelo seu sistema de ML e consultar esses metadados para ajudar a analisar, depurar e auditar o desempenho do seu sistema de ML ou os artefactos que produz.
O Vertex ML Metadata baseia-se nos conceitos usados na biblioteca de código aberto ML Metadata (MLMD), que foi desenvolvida pela equipa do TensorFlow Extended da Google.
Vista geral do Vertex ML Metadata
O Vertex ML Metadata captura os metadados do seu sistema de ML como um gráfico.
No gráfico de metadados, os artefactos e as execuções são nós, e os eventos são arestas que associam os artefactos como entradas ou saídas de execuções. Os contextos representam subgrafos que são usados para agrupar logicamente conjuntos de artefactos e execuções.
Pode aplicar metadados de pares de chave-valor a artefactos, execuções e contextos. Por exemplo, um modelo pode ter metadados que descrevem a estrutura usada para formar o modelo e as métricas de desempenho, como a precisão, a exatidão e a capacidade de memorização do modelo.
Saiba mais sobre como acompanhar os metadados do seu sistema de ML. Se tiver interesse em analisar metadados dos Vertex AI Pipelines, consulte este tutorial passo a passo.
Linha de descendência de artefactos de ML
Para compreender as alterações no desempenho do seu sistema de AA, tem de poder analisar os metadados produzidos pelo seu fluxo de trabalho de AA e a linhagem dos respetivos artefactos. A linhagem de um artefacto inclui todos os fatores que contribuíram para a sua criação, bem como artefactos e metadados que descendem deste artefacto.
Por exemplo, a linhagem de um modelo pode incluir o seguinte:
- Os dados de preparação, teste e avaliação usados para criar o modelo.
- Os hiperparâmetros usados durante a preparação do modelo.
- O código que foi usado para preparar o modelo.
- Metadados registados a partir do processo de preparação e avaliação, como a precisão do modelo.
- Artefactos que descendem deste modelo, como os resultados das previsões em lote.
Ao acompanhar os metadados do seu sistema de ML através do Vertex ML Metadata, pode responder a perguntas como as seguintes:
- Que conjunto de dados foi usado para preparar um determinado modelo?
- Quais dos modelos da minha organização foram preparados com um determinado conjunto de dados?
- Que execução produziu o modelo mais preciso e que hiperparâmetros foram usados para preparar o modelo?
- A que destinos de implementação foi implementado um determinado modelo e quando foi implementado?
- Que versão do seu modelo foi usada para criar uma previsão num determinado ponto no tempo?
Saiba mais sobre como analisar os metadados do seu sistema de ML.