Introdução à Vertex AI

A Vertex AI é uma plataforma de machine learning (ML) que permite treinar e implantar modelos de ML e aplicativos de IA, além de personalizar modelos de linguagem grandes (LLMs, na sigla em inglês) para uso em aplicativos com tecnologia de IA. A Vertex AI combina fluxos de trabalho de engenharia de dados, ciência de dados e engenharia de ML, permitindo que suas equipes colaborem usando um conjunto de ferramentas comum e escalonem seus aplicativos aproveitando os benefícios do Google Cloud.

A Vertex AI oferece várias opções para treinamento e implantação de modelos:

Depois de implantar os modelos, use as ferramentas de MLOps de ponta a ponta da Vertex AI para automatizar e dimensionar projetos em todo o ciclo de vida de ML. Essas ferramentas de MLOps são executadas em uma infraestrutura totalmente gerenciada que pode ser personalizada com base nas suas necessidades de desempenho e orçamento.

É possível usar o SDK da Vertex AI para Python para executar todo o fluxo de trabalho de machine learning no Vertex AI Workbench, um ambiente de desenvolvimento baseado em notebook do Jupyter. Você pode colaborar com uma equipe para desenvolver seu modelo no Colab Enterprise, uma versão do Colaboratory integrada à Vertex AI. Outras interfaces disponíveis incluem o Google Cloud console, a ferramenta de linha de comando da CLI do Google Cloud, bibliotecas e Terraform (suporte limitado).

Vertex AI e o fluxo de trabalho de machine learning (ML)

Nesta seção, apresentamos uma visão geral do fluxo de trabalho de machine learning e como usar a Vertex AI para criar e implantar seus modelos.

diagrama do fluxo de trabalho de ML

  1. Preparação de dados: após extrair e limpar o conjunto de dados, realize a análise exploratória de dados (EDA, na sigla em inglês) para entender o esquema de dados e as características esperadas pelo modelo de ML. Aplicar transformações de dados e engenharia de atributos ao modelo e dividir os dados em conjuntos de treinamento, validação e teste.

    • Explore e visualize dados usando os notebooks do Vertex AI Workbench. O Vertex AI Workbench se integra ao Cloud Storage e ao BigQuery para ajudar você a acessar e processar seus dados mais rapidamente.

    • Para grandes conjuntos de dados, use o Dataproc Serverless Spark de um notebook do Vertex AI Workbench para executar cargas de trabalho do Spark sem precisar gerenciar seus próprios clusters do Dataproc.

  2. Treinamento de modelo: escolha um método de treinamento para treinar um modelo e ajustá-lo para o desempenho.

    • Para treinar um modelo sem escrever código, consulte a visão geral do AutoML. O AutoML é compatível com dados tabulares, de imagem e vídeo.

    • Para escrever seu próprio código de treinamento e treinar modelos personalizados usando o framework de ML de sua preferência, consulte a visão geral do treinamento personalizado.

    • Otimize os hiperparâmetros para modelos treinados personalizados usando jobs de ajuste personalizados.

    • O Vertex AI Vizier ajusta hiperparâmetros para você em modelos complexos de machine learning (ML).

    • Use o Vertex AI Experiments para treinar seu modelo usando diferentes técnicas de ML e comparar os resultados.

    • Registre seus modelos treinados no Vertex AI Model Registry para controle de versões e transferência para produção. O Vertex AI Model Registry está integrado a recursos de validação e implantação, como avaliação de modelos e endpoints.

  3. Avaliação e iteração de modelos: avalie o modelo treinado, ajuste os dados com base em métricas de avaliação e faça iterações no modelo.

    • Use métricas de avaliação de modelos, como precisão e recall, para avaliar e comparar o desempenho dos modelos. Crie avaliações por meio do Vertex AI Model Registry ou inclua avaliações no fluxo de trabalho do Vertex AI Pipelines.

  4. Exibição do modelo: implante o modelo na produção e receba inferências on-line ou consulte-o diretamente para inferências em lote.

    • Implante seu modelo treinado usando contêineres pré-criados ou personalizados para receber inferências on-line em tempo real (às vezes chamadas de inferência HTTP).

    • Receba inferências em lote assíncronas, que não exigem implantação em endpoints.

    • O ambiente de execução otimizado do TensorFlow permite fornecer modelos do TensorFlow por um custo menor e com menor latência do que os contêineres pré-criados de código aberto do TensorFlow Serving.

    • Para casos de exibição on-line com modelos tabulares, use o Vertex AI Feature Store para exibir atributos de um repositório central e monitorar a integridade do recurso.

    • A Vertex Explainable AI ajuda a entender como cada atributo contribui para a inferência de modelos (atribuição de atributos) e encontrar dados rotulados incorretamente do conjunto de dados de treinamento (exemplo com base em explicações.

    • Implante e receba inferências on-line de modelos treinados com o BigQuery ML.

  5. Monitoramento de modelos: monitore o desempenho do modelo implantado. Use os dados de inferência recebidos para treinar novamente seu modelo e melhorar o desempenho.

    • O Vertex AI Model Monitoring monitora modelos para deslocamento de inferência e desvio de treinamento e envia alertas quando os dados de inferência de entrada estão muito distantes do valor de referência de treinamento.

A seguir