Introdução ao Vertex AI

O Vertex AI é uma plataforma de aprendizagem automática (ML) que lhe permite preparar e implementar modelos de ML e aplicações de IA, bem como personalizar modelos de linguagem (conteúdo extenso) (MDIs/CEs) para utilização nas suas aplicações com tecnologia de IA. A Vertex AI combina fluxos de trabalho de engenharia de dados, ciência de dados e engenharia de ML, o que permite às suas equipas colaborar através de um conjunto de ferramentas comum e dimensionar as suas aplicações com as vantagens da Google Cloud.

O Vertex AI oferece várias opções para a preparação e a implementação de modelos:

Depois de implementar os seus modelos, use as ferramentas MLOps ponto a ponto do Vertex AI para automatizar e dimensionar projetos ao longo do ciclo de vida da aprendizagem automática. Estas ferramentas MLOps são executadas numa infraestrutura totalmente gerida que pode personalizar com base no seu desempenho e necessidades de orçamento.

Pode usar o Vertex AI SDK para Python para executar todo o fluxo de trabalho de aprendizagem automática no Vertex AI Workbench, um ambiente de programação baseado no Jupyter Notebook. Pode colaborar com uma equipa para desenvolver o seu modelo no Colab Enterprise, uma versão do Colaboratory que está integrada com a Vertex AI. Outras interfaces disponíveis incluem a Google Cloud consola, a ferramenta de linha de comandos da CLI gcloud, as bibliotecas de cliente e o Terraform (suporte limitado).

O Vertex AI e o fluxo de trabalho de aprendizagem automática (AA)

Esta secção oferece uma vista geral do fluxo de trabalho de aprendizagem automática e de como pode usar o Vertex AI para criar e implementar os seus modelos.

Diagrama do fluxo de trabalho de ML

  1. Preparação de dados: depois de extrair e limpar o conjunto de dados, faça uma análise exploratória de dados (EDA) para compreender o esquema de dados e as características esperadas pelo modelo de AA. Aplicar transformações de dados e engenharia de funcionalidades ao modelo e dividir os dados em conjuntos de preparação, validação e teste.

    • Explore e visualize dados usando blocos de notas do Vertex AI Workbench. O Vertex AI Workbench integra-se com o Cloud Storage e o BigQuery para ajudar a aceder e processar os seus dados mais rapidamente.

    • Para conjuntos de dados grandes, use o Dataproc Serverless Spark a partir de um bloco de notas do Vertex AI Workbench para executar cargas de trabalho do Spark sem ter de gerir os seus próprios clusters do Dataproc.

  2. Preparação do modelo: escolha um método de preparação para preparar um modelo e otimizá-lo para o desempenho.

    • Para preparar um modelo sem escrever código, consulte a vista geral do AutoML. O AutoML suporta dados tabulares ou de imagens.

    • Para escrever o seu próprio código de preparação e preparar modelos personalizados usando a sua framework de ML preferida, consulte a vista geral da preparação personalizada.

    • Otimize os hiperparâmetros para modelos preparados de forma personalizada através de tarefas de ajuste personalizado.

    • O Vertex AI Vizier ajusta os hiperparâmetros por si em modelos complexos de aprendizagem automática (ML).

    • Use as experiências da Vertex AI para preparar o seu modelo com diferentes técnicas de ML e comparar os resultados.

    • Registe os seus modelos preparados no Registo de modelos Vertex AI para controlo de versões e transferência para produção. O Registo de modelos Vertex AI integra-se com funcionalidades de validação e implementação, como a avaliação de modelos e os pontos finais.

  3. Avaliação e iteração do modelo: avalie o modelo preparado, faça ajustes aos dados com base nas métricas de avaliação e itere no modelo.

    • Use métricas de avaliação de modelos, como a precisão e a revocação, para avaliar e comparar o desempenho dos seus modelos. Crie avaliações através do Registo de modelos do Vertex AI ou inclua avaliações no seu fluxo de trabalho dos Vertex AI Pipelines.

  4. Publicação de modelos: implemente o seu modelo na produção e obtenha inferências online ou consulte-o diretamente para inferências em lote.

    • Implemente o seu modelo preparado de forma personalizada através de contentores pré-criados ou personalizados para obter inferências online em tempo real (por vezes, denominadas inferências HTTP).

    • Obtenha inferências em lote assíncronas, que não requerem implementação em pontos finais.

    • O tempo de execução do TensorFlow otimizado permite publicar modelos do TensorFlow a um custo inferior e com uma latência inferior do que os contentores de publicação do TensorFlow pré-criados baseados em código aberto.

    • Para casos de apresentação online com modelos tabulares, use o Vertex AI Feature Store para apresentar funcionalidades a partir de um repositório central e monitorizar o estado das funcionalidades.

    • A Vertex Explainable AI ajuda a compreender como cada funcionalidade contribui para a inferência do modelo (atribuição de funcionalidades) e a encontrar dados com etiquetas incorretas no conjunto de dados de preparação (explicação baseada em exemplos).

    • Implemente e obtenha inferências online para modelos preparados com o BigQuery ML.

  5. Monitorização de modelos: monitorize o desempenho do seu modelo implementado. Use dados de inferência recebidos para voltar a preparar o modelo e melhorar o desempenho.

    • O Vertex AI Model Monitoring monitoriza os modelos quanto à discrepância entre a preparação e a apresentação, bem como a variação da inferência, e envia-lhe alertas quando os dados de inferência recebidos se desviam demasiado da base de referência da preparação.

O que se segue?