Introdução à Vertex AI

A Vertex AI é uma plataforma de machine learning (ML) que permite treinar e implantar modelos de ML e aplicativos de IA, além de personalizar modelos de linguagem grandes (LLMs, na sigla em inglês) para uso em aplicativos com tecnologia de IA. A Vertex AI combina fluxos de trabalho de engenharia de dados, ciência de dados e engenharia de ML, permitindo que suas equipes colaborem usando um conjunto de ferramentas comum e escalonem seus aplicativos usando os benefícios do Google Cloud.

A Vertex AI oferece várias opções para treinamento e implantação de modelos:

  • O AutoML permite treinar dados tabulares, de imagem, de texto ou de vídeo sem escrever códigos ou preparar divisões de dados.

  • O treinamento personalizado oferece controle total sobre o processo de treinamento, incluindo o uso do framework de ML de sua preferência, como escrever seu próprio código de treinamento e escolher as opções de ajuste de hiperparâmetros.

  • O Model Garden permite descobrir, testar, personalizar e implantar a Vertex AI, além de selecionar modelos e recursos de código aberto (OSS).

  • A IA generativa dá acesso aos grandes modelos de IA generativa do Google para várias modalidades (textos, códigos, imagens, fala). É possível ajustar os LLMs do Google para atender às suas necessidades e implantá-los para uso nos seus aplicativos com tecnologia de IA.

Depois de implantar os modelos, use as ferramentas de MLOps de ponta a ponta da Vertex AI para automatizar e dimensionar projetos em todo o ciclo de vida de ML. Essas ferramentas de MLOps são executadas em uma infraestrutura totalmente gerenciada que pode ser personalizada com base nas suas necessidades de desempenho e orçamento.

É possível usar o SDK da Vertex AI para Python para executar todo o fluxo de trabalho de machine learning no Vertex AI Workbench, um ambiente de desenvolvimento baseado em notebook do Jupyter. Você pode colaborar com uma equipe para desenvolver seu modelo no Colab Enterprise, uma versão do Colaboratory integrada à Vertex AI. Outras interfaces disponíveis incluem o console do Google Cloud, a ferramenta de linha de comando gcloud, bibliotecas de cliente e o Terraform (suporte limitado).

Vertex AI e o fluxo de trabalho de machine learning (ML)

Nesta seção, apresentamos uma visão geral do fluxo de trabalho de machine learning e como usar a Vertex AI para criar e implantar seus modelos.

diagrama do fluxo de trabalho de ML

  1. Preparação de dados: após extrair e limpar o conjunto de dados, realize a análise exploratória de dados (EDA, na sigla em inglês) para entender o esquema de dados e as características esperadas pelo modelo de ML. Aplicar transformações de dados e engenharia de atributos ao modelo e dividir os dados em conjuntos de treinamento, validação e teste.

    • Explore e visualize dados usando os notebooks do Vertex AI Workbench. O Vertex AI Workbench se integra ao Cloud Storage e ao BigQuery para ajudar você a acessar e processar seus dados mais rapidamente.

    • Para grandes conjuntos de dados, use o Dataproc Serverless Spark de um notebook do Vertex AI Workbench para executar cargas de trabalho do Spark sem precisar gerenciar seus próprios clusters do Dataproc.

  2. Treinamento de modelo: escolha um método de treinamento para treinar um modelo e ajustá-lo para o desempenho.

    • Para treinar um modelo sem escrever código, consulte a visão geral do AutoML. O AutoML é compatível com dados tabulares, de imagem, texto e vídeo.

    • Para escrever seu próprio código de treinamento e treinar modelos personalizados usando o framework de ML de sua preferência, consulte a visão geral do treinamento personalizado.

    • Otimize os hiperparâmetros para modelos treinados personalizados usando jobs de ajuste personalizados.

    • O Vertex AI Vizier ajusta hiperparâmetros para você em modelos complexos de machine learning (ML).

    • Use o Vertex AI Experiments para treinar seu modelo usando diferentes técnicas de ML e comparar os resultados.

    • Registre seus modelos treinados no Vertex AI Model Registry para controle de versões e transferência para produção. O Vertex AI Model Registry está integrado a recursos de validação e implantação, como avaliação de modelos e endpoints.

  3. Avaliação e iteração de modelos: avalie o modelo treinado, ajuste os dados com base em métricas de avaliação e faça iterações no modelo.

    • Use métricas de avaliação de modelos, como precisão e recall, para avaliar e comparar o desempenho dos modelos. Crie avaliações por meio do Vertex AI Model Registry ou inclua avaliações no fluxo de trabalho do Vertex AI Pipelines.

  4. Exibição do modelo: implante o modelo na produção e receba previsões.

    • Implante o modelo treinado usando contêineres prebuilt ou personalizados para receber previsões on-line em tempo real (às vezes chamadas de previsão HTTP).

    • Receba previsões em lote assíncronas, que não exigem implantação em endpoints.

    • O ambiente de execução otimizado do TensorFlow permite fornecer modelos do TensorFlow por um custo menor e com menor latência do que os contêineres pré-criados de código aberto do TensorFlow Serving.

    • Para casos de exibição on-line com modelos tabulares, use o Vertex AI Feature Store para exibir atributos de um repositório central e monitorar a integridade do recurso.

    • A Vertex Explainable AI ajuda a entender como cada atributo contribui para a previsão de modelos (atribuição de atributos) e encontrar dados rotulados incorretamente do conjunto de dados de treinamento (exemplo com base em explicações.

    • Implante e receba previsões on-line de modelos treinados com o BigQuery ML.

  5. Monitoramento de modelos: monitore o desempenho do modelo implantado. Use os dados de previsão recebidos para treinar novamente seu modelo para melhorar o desempenho.

    • O Vertex AI Model Monitoring monitora modelos para deslocamento de previsão e desvio de treinamento e envia alertas quando os dados de previsão de entrada estão muito distantes do valor de referência de treinamento.

A seguir