Tutoriais de notebooks da Vertex AI

Este documento contém uma lista de tutoriais de notebooks disponíveis da Vertex AI. Estes tutoriais completos ajudam você a começar a usar a Vertex AI e oferecem ideias de como implementar um projeto específico.

Há muitos ambientes em que você pode hospedar notebooks. Você pode:

  • Executá-los na nuvem usando um serviço como o Colaboratory (Colab) ou o Vertex AI Workbench;
  • Fazer o download no GitHub e executá-los na sua máquina local
  • Fazer o download deles no GitHub e executá-los em um servidor Jupyter ou JupyterLab na sua rede local

Colab

Executar um notebook no Colab é uma maneira rápida de começar.

Para abrir o tutorial de um bloco no Colab, clique no link Colab na lista de blocos. O Colab cria uma instância de VM com todas as dependências necessárias, inicia o ambiente do Colab e carrega o bloco.

Vertex AI Workbench

Também é possível executar o notebook usando notebooks gerenciados pelo usuário. Ao criar uma instância de blocos gerenciada pelo usuário com o Vertex AI Workbench, você tem controle total sobre a VM de hospedagem. É possível especificar a configuração e o ambiente da VM de hospedagem.

Para abrir um tutorial de notebook em uma instância do Vertex AI Workbench:

  1. Clique no link do Vertex AI Workbench na lista de blocos. O link abre o console do Vertex AI Workbench.
  2. Na tela Implantar no bloco, digite um nome para a nova instância do Vertex AI Workbench e clique em Criar.
  3. Na caixa de diálogo Pronto para abrir o bloco que aparece depois de iniciar a instância, clique em Abrir.
  4. Na página Confirmar implantação no servidor de notebook, selecione Confirmar.
  5. Antes de executar o bloco, selecione Kernel > Reiniciar kernel e limpar todas as saídas.

Lista de notebooks

Serviços Descrição Abrir em
Classificação para dados tabulares
Previsão e treinamento tabular do AutoML
Saiba como treinar e fazer previsões em um modelo do AutoML baseado em um conjunto de dados tabular. Saiba mais sobre a classificação de dados tabulares.

Etapas do tutorial

  • Criar um job de treinamento de modelo da Vertex AI.
  • Treinar um modelo tabular do AutoML.
  • Implantar o recurso de modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão ao enviar dados.
  • Desfazer a implantação do recurso de modelo.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Receber previsões de um modelo de classificação de imagens
Modelo de classificação de imagem de treinamento do AutoML para previsão em lote.
Neste tutorial, você criará um modelo de classificação de imagens do AutoML com um script Python e, em seguida, fará uma predição em lote usando o SDK Vertex. Saiba mais sobre Como receber predições de um modelo de classificação de imagem.

Etapas do tutorial

  • Criar um recurso de conjunto de dados Vertex.
  • Treine o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Receber previsões de um modelo de classificação de imagens
Modelo de classificação de imagem de treinamento da AutoML para previsão on-line
Neste tutorial, você criará um modelo de classificação de imagens do AutoML e implantará para previsão on-line com um script Python usando o SDK Vertex. Saiba mais sobre Como receber predições de um modelo de classificação de imagem.

Etapas do tutorial

  • Crie um recurso Dataset da Vertex.
  • Treine o modelo.
  • Visualizar o modelo de avaliação
  • Implantar o recurso Model em um recurso Endpoint de veiculação.
  • Fazer uma previsão.
  • Desfaça a implantação de Model.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
AutoML
Modelo de detecção de objetos de imagem de treinamento do AutoML para exportação para a borda.
Neste tutorial, você criará um modelo de detecção de objetos de imagem do AutoML com um script Python usando o SDK Vertex e exportará o modelo como um modelo de borda no formato TFLite.

Etapas do tutorial

  • Criar um recurso de conjunto de dados Vertex.
  • Treine o modelo.
  • Exportar o modelo de borda do recurso de modelo para o Cloud Storage.
  • Faça o download do modelo localmente.
  • Fazer uma previsão local
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Detecção de objetos para dados de imagem
Modelo de detecção de objetos de imagem de treinamento do AutoML para previsão on-line.
Neste tutorial, você criará um modelo de detecção de objetos de imagem do AutoML e implantará a previsão on-line com um script Python usando o SDK da Vertex AI. Saiba mais sobre a detecção de objetos para dados de imagem.

Etapas do tutorial

  • Criar um recurso de conjunto de dados da Vertex AI.
  • Treine o modelo.
  • Visualizar o modelo de avaliação
  • Implantar o recurso de modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão.
  • Remover a implantação do modelo
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Fluxo de trabalho tabular para o AutoML E2E
Pipelines de fluxo de trabalho tabular do AutoML.
Saiba como criar dois modelos de regressão usando os Vertex AI Pipelines baixados dos componentes de pipelines do Google Cloud. Saiba mais sobre o Fluxo de trabalho tabular para o AutoML E2E.

Etapas do tutorial

  • Criar um pipeline de treinamento que reduza o espaço de pesquisa do padrão para poupar tempo.
  • Criar um pipeline de treinamento que reutilize os resultados da pesquisa de arquitetura do pipeline anterior para economizar tempo.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Treinamento do AutoML
Primeiros passos no treinamento do AutoML.
Saiba como usar AutoML para treinamento com Vertex AI. Saiba mais sobre o treinamento do AutoML.

Etapas do tutorial

  • Treinar um modelo de imagem
  • Exportar o modelo de imagem como um modelo de borda
  • Treinar um modelo tabular
  • Exportar o modelo tabular como um modelo de nuvem
  • Treinar um modelo de texto
  • Treinar um modelo de vídeo
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Previsão hierárquica de dados tabulares
Previsão hierárquica de treinamento do AutoML da Vertex AI para predição em lote.
Neste tutorial, você criará um modelo de previsão hierárquica do AutoML e o implantará para predição em lote usando o SDK da Vertex AI para Python. Saiba mais sobre a Previsão hierárquica de dados tabulares.

Etapas do tutorial

  • Criar um recurso "TimeSeriesDataset" da Vertex AI.
  • Treinar o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Detecção de objetos para dados de imagem
Modelo de detecção de objetos de imagem de treinamento do AutoML para previsão em lote.
Neste tutorial, você criará um modelo de detecção de objetos de imagem do AutoML com um script Python e fará uma predição em lote usando o SDK da Vertex AI para Python. Saiba mais sobre a detecção de objetos para dados de imagem.

Etapas do tutorial

  • Criar um recurso de conjunto de dados Vertex.
  • Treine o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Previsão com o AutoML
Modelo de previsão tabular do AutoML para previsão em lote.
Saiba como criar um modelo de previsão tabular do AutoML com um script Python e, em seguida, gerará uma predição em lote usando o SDK da Vertex AI. Saiba mais sobre Como fazer previsões com o AutoML.

Etapas do tutorial

  • Criar um recurso de conjunto de dados da Vertex AI.
  • Treinar um recurso de modelo de previsão tabular do AutoML.
  • Conseguir as métricas de avaliação do recurso de modelo.
  • Fazer uma previsão em lote.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Regressão para dados tabulares
Modelo de regressão tabular do treinamento de AutoML para previsão em lote usando o BigQuery.
Saiba como criar um modelo de regressão tabular do AutoML e implantá-lo para predição em lote usando o SDK da Vertex AI para Python. Saiba mais sobre regressão para dados tabulares.

Etapas do tutorial

  • Criar um recurso de conjunto de dados da Vertex AI.
  • Treine um recurso de modelo de regressão tabular do AutoML.
  • Conseguir as métricas de avaliação do recurso de modelo.
  • Fazer uma previsão em lote.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Regressão para dados tabulares
Modelo de regressão tabular do treinamento de AutoML para previsão on-line usando o BigQuery.
Saiba como criar um modelo de regressão tabular do AutoML e implantar para previsão on-line com um script Python usando o SDK da Vertex AI. Saiba mais sobre regressão para dados tabulares.

Etapas do tutorial

  • Criar um recurso de conjunto de dados Vertex.
  • Treine o modelo.
  • Visualizar o modelo de avaliação
  • Implantar o recurso de modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão.
  • Remover a implantação do modelo
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Reconhecimento de ação para dados de vídeo
Modelo de reconhecimento de ações em vídeo de treinamento do AutoML para previsão em lote.
Saiba como criar um modelo de reconhecimento de ações em vídeo do AutoML com um script Python e, em seguida, fazer uma predição em lote usando o SDK da Vertex AI. Saiba mais sobre o reconhecimento de ação para dados de vídeo.

Etapas do tutorial

  • Criar um recurso de conjunto de dados da Vertex AI.
  • Treine o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Classificação para dados de vídeo
Modelo de classificação de vídeo de treinamento do AutoML para previsão em lote.
Saiba como criar um modelo de classificação de vídeos do AutoML com um script Python e, em seguida, fazer uma predição em lote usando o SDK da Vertex AI. Saiba mais sobre a classificação de dados de vídeo.

Etapas do tutorial

  • Criar um recurso de conjunto de dados Vertex.
  • Treine o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Rastreamento de objetos para dados de vídeo
Modelo de rastreamento de objetos de vídeo de treinamento do AutoML para previsão em lote.
Saiba como criar um modelo de rastreamento de objetos em vídeo do AutoML com um script Python e, em seguida, fazer uma predição em lote usando o SDK da Vertex AI para Python. Saiba mais sobre o rastreamento de objetos para dados de vídeo.

Etapas do tutorial

  • Criar um recurso de conjunto de dados Vertex.
  • Treine o modelo.
  • Visualizar o modelo de avaliação
  • Fazer uma previsão em lote.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
BigQuery ML
Comece a usar o BigQuery ML Training.
Saiba como usar o BigQuery ML para treinamento com a Vertex AI. Saiba mais sobre o BigQuery ML.

Etapas do tutorial

  • Criar uma tabela local do BigQuery no seu projeto
  • Treinar um modelo do BigQuery ML
  • Avaliar o modelo do BigQuery ML
  • Exportar o modelo do BigQuery ML como um modelo de nuvem
  • Fazer upload do modelo exportado como um recurso de Modelo da Vertex AI.
  • Os hiperparâmetros ajustam um modelo do BigQuery ML com o "Vertex AI Vizier".
  • Registrar automaticamente um modelo do BigQuery ML no "Registro de modelo da Vertex AI".
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Treinamento personalizado
Previsão da Vertex AI
Como implantar o modelo de detecção de íris usando a API Fast Service e a exibição de contêiner personalizado da Vertex AI.
Saiba como criar, implantar e disponibilizar um modelo de classificação personalizado na Vertex AI. Saiba mais sobre o treinamento personalizado. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Treine um modelo que usa as medidas de flor como entrada para prever a classe da íris.
  • Salve o modelo e o pré-processador serializado.
  • Crie um servidor FastAPI para processar previsões e verificações de integridade.
  • Crie um contêiner personalizado com artefatos de modelo.
  • Fazer upload e implantar o contêiner personalizado no Endpoints da Vertex AI
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Training
Como treinar um modelo do TensorFlow com dados do BigQuery
Saiba como criar um modelo treinado personalizado com um script Python em um contêiner do Docker usando o SDK da Vertex AI para Python e, em seguida, enviar dados para receber uma previsão do modelo implantado. Saiba mais sobre o Vertex AI Training.

Etapas do tutorial

  • Criar um TrainingPipeline personalizado do Vertex AI para treinar um modelo.
  • Treinar um modelo do TensorFlow.
  • Implantar o recurso Model em um recurso Endpoint de veiculação.
  • Fazer uma previsão.
  • Cancelar a implantação do recurso Model.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Treinamento personalizado
Treinamento personalizado com imagem de contêiner personalizado e upload automático do modelo para o Vertex AI Model Registry.
Neste tutorial, você treinará uma abordagem de imagem de contêiner personalizado de um modelo de machine learning para treinamento personalizado na Vertex AI. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Criar um job personalizado da Vertex AI para treinar um modelo.
  • Treine e registre um modelo do TensorFlow usando um contêiner personalizado.
  • Liste o modelo registrado no Vertex AI Model Registry.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Cloud Profiler
Gere um perfil de desempenho do treinamento de modelo usando o Cloud Profiler.
Saiba como ativar o Cloud Profiler para jobs de treinamento personalizado. Saiba mais sobre o Cloud Profiler.

Etapas do tutorial

  • Criar uma conta de serviço e um bucket do Cloud Storage
  • Criar uma instância do TensorBoard da Vertex AI
  • Criar e executar um job de treinamento personalizado
  • Ver o painel do Cloud Profiler
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Treinamento personalizado
Comece a usar o Vertex AI Training para XGBoost.
Saiba como usar o Vertex AI Training para treinar um modelo personalizado do XGBoost. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Treinamento usando um pacote Python.
  • Gerar relatórios de precisão ao ajustar hiperparâmetros.
  • Salve os artefatos do modelo no Cloud Storage usando o Cloud StorageFuse.
  • Criar um recurso Modelo da Vertex AI.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Recursos compartilhados entre implantações
Primeiros passos com o endpoint e a VM compartilhada.
Saiba como usar pools de recursos de implantação para implantar modelos. Saiba mais sobre recursos compartilhados em implantações.

Etapas do tutorial

  • Fazer o upload de um modelo de classificação de imagem pré-treinado como um recurso Model (modelo A).
  • Fazer upload de um modelo pré-treinado de codificador de sentenças de texto como um recurso Model (modelo B).
  • Crie um pool de recursos de implantação de VM compartilhada.
  • Listar pools de recursos de implantação de VM compartilhada.
  • Criar dois recursos Endpoint.
  • Implantar o primeiro modelo (modelo A) no primeiro recurso Endpoint usando o pool de recursos de implantação.
  • Implantar o segundo modelo (modelo B) no segundo recurso Endpoint usando o pool de recursos de implantação.
  • Faça uma solicitação de previsão com o primeiro modelo implantado (modelo A).
  • Faça uma solicitação de previsão com o segundo modelo implantado (modelo B).
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Treinamento personalizado
Predição em lote da Vertex AI
Treinamento personalizado e previsão em lote.
Saiba como usar o Vertex AI Training para criar um modelo treinado personalizado e como usar o Vertex AI Batch Prediction para fazer uma predição em lote no modelo treinado. Saiba mais sobre o treinamento personalizado. Saiba mais sobre a Previsão em lote da Vertex AI.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do TensorFlow.
  • Fazer upload dos artefatos do modelo treinado como um recurso de modelo.
  • Fazer uma previsão em lote.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Treinamento personalizado
Previsão da Vertex AI
Treinamento personalizado e previsão on-line
Saiba como usar Vertex AI Training para criar um modelo treinado personalizado com um script Python em um contêiner do Docker e como usar Vertex AI Prediction para fazer previsões no modelo implantado enviando dados. Saiba mais sobre o treinamento personalizado. Saiba mais sobre a Previsão da Vertex AI.

Etapas do tutorial

  • Criar um job personalizado Vertex AI para treinar um modelo do TensorFlow.
  • Faça upload dos artefatos do modelo treinado em um recurso Model.
  • Crie um recurso Endpoint em veiculação.
  • Implantar o recurso Model em um recurso Endpoint de veiculação.
  • Fazer uma previsão.
  • Cancelar a implantação do recurso Model.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Conjuntos de dados do BigQuery
Vertex AI para usuários do BigQuery
Primeiros passos com os conjuntos de dados do BigQuery.
Saiba como usar o BigQuery como um conjunto de dados para treinamento com a Vertex AI. Saiba mais sobre os conjuntos de dados do BigQuery. Saiba mais sobre a Vertex AI para usuários do BigQuery.

Etapas do tutorial

  • Criar um recurso de conjunto de dados da Vertex AI da tabela do BigQuery compatível com treinamento do AutoML.
  • Extraia uma cópia do conjunto de dados do "BigQuery" para um arquivo CSV no Cloud Storage compatível com "AutoML" ou treinamento personalizado.
  • Selecione linhas de um conjunto de dados do BigQuery em um dataframe pandas compatível com treinamento personalizado.
  • Selecione linhas de um conjunto de dados do BigQuery em um tf.data.Dataset compatível com modelos de treinamento personalizados do TensorFlow.
  • Selecione linhas dos arquivos CSV extraídos em um tf.data.Dataset compatível com modelos de treinamento personalizados do TensorFlow.
  • Criar um conjunto de dados do BigQuery a partir de arquivos CSV.
  • Extraia dados da tabela "BigQuery" em um "DMatrix" compatível com modelos de treinamento personalizados do "XGBoost".
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Experimentos da Vertex AI
Vertex ML Metadata
Crie linhagem de experimento da Vertex AI para treinamento personalizado.
Saiba como integrar código de pré-processamento em experimentos da Vertex AI. Saiba mais sobre os experimentos da Vertex AI. Saiba mais sobre o Vertex ML Metadata.

Etapas do tutorial

  • Executar módulo para pré-processamento de dados
  • Criar um artefato de conjunto de dados
  • Parâmetros de registro
  • Executar módulo para treinar o modelo
  • Parâmetros de registro
  • Criar artefato do modelo
  • Atribuir linhagem de rastreamento a conjuntos de dados, modelos e parâmetros
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Experimentos da Vertex AI
Rastrear parâmetros e métricas para modelos treinados localmente.
Saiba como usar os Experimentos da Vertex AI para comparar e avaliar os experimentos de modelos. Saiba mais sobre os experimentos da Vertex AI.

Etapas do tutorial

  • Registrar os parâmetros do modelo
  • registrar a perda e as métricas em cada época no Vertex AI TensorBoard.
  • Registrar as métricas de avaliação
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Experimentos da Vertex AI
Vertex AI Pipelines
Compare execuções de pipeline com os experimentos da Vertex AI.
Saiba como usar os Experimentos da Vertex AI para registrar um job de pipeline e comparar diferentes jobs de pipeline. Saiba mais sobre os experimentos da Vertex AI. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Formalizar um componente de treinamento
  • Criar um pipeline de treinamento
  • Executar vários jobs de pipeline e registrar os resultados
  • Comparar diferentes jobs de pipeline
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
Exclua experimentos desatualizados no TensorBoard da Vertex AI.
Saiba como excluir experimentos desatualizados do TensorBoard da Vertex AI para evitar custos desnecessários de armazenamento. Saiba mais sobre o Vertex AI TensorBoard.

Etapas do tutorial

  • Como excluir o experimento do TB com um par de rótulos de chave-valor predefinido
  • Como excluir os experimentos do TB criados antes do create_time
  • Como excluir os experimentos do TB criados antes do update_time
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Experimentos da Vertex AI
Registro automático de treinamento personalizado: script local.
Saiba como registrar automaticamente parâmetros e métricas de um experimento de ML em execução no Vertex AI Training utilizando a integração com os Experimentos da Vertex AI.

Etapas do tutorial

  • Formalizar a experiência do modelo em um script
  • Executar treinamento de modelo usando o script local no treinamento da Vertex AI
  • Confira os parâmetros e métricas do experimento de ML no Vertex AI Experiments
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Experimentos da Vertex AI
Vertex ML Metadata
Treinamento personalizado
Primeiros passos com os experimentos da Vertex AI
Saiba como usar os Experimentos da Vertex AI ao treinar com a Vertex AI. Saiba mais sobre os experimentos da Vertex AI. Saiba mais sobre o Vertex ML Metadata. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Treinamento local (bloco)
  • Criar um experimento.
  • Criar a primeira execução do experimento.
  • Parâmetros e métricas de registro.
  • Criar linhagem de artefato.
  • Visualizar os resultados do experimento.
  • Realizar uma segunda execução.
  • Comparar as duas execuções no experimento.
  • Treinamento do Cloud (Vertex AI)
  • No script de treinamento
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Experimentos da Vertex AI
Geração automática de registros.
Saiba como usar o Vertex AI Autologging.

Etapas do tutorial

  • Ative a geração automática de registros no SDK da Vertex AI.
  • Treine o modelo scikitlearn e veja o experimento resultante executado com métricas e parâmetros registrados automaticamente na Vertex AI Experiments sem definir uma execução do experimento.
  • Treine o modelo do TensorFlow, verifique as métricas e os parâmetros registrados automaticamente nos Experimentos da Vertex AI definindo manualmente uma execução de experimento com aiplatform.start_run() e aiplatform.end_run().
  • Desative a geração automática de registros no SDK da Vertex AI, treine um modelo do PyTorch e verifique se nenhum dos parâmetros ou métricas está registrado.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Classificação para dados tabulares
Vertex Explainable AI
Explicação em lote para o modelo de classificação binária tabular do AutoML.
Saiba como usar AutoML para criar um modelo de classificação binária tabular com um script Python e, em seguida, como usar Vertex AI Batch Prediction para fazer previsões com explicações. Saiba mais sobre a classificação de dados tabulares. Saiba mais sobre a Vertex Explainable AI.

Etapas do tutorial

  • Crie um recurso de conjunto de dados gerenciado da Vertex AI.
  • Treinar um modelo de classificação tabular do AutoML.
  • Veja as métricas de avaliação do modelo treinado.
  • Fazer uma solicitação de previsão em lote com explicabilidade.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Classificação para dados tabulares
Vertex Explainable AI
Modelo de classificação tabular do treinamento do AutoML para explicação on-line.
Saiba como usar o AutoML para criar um modelo de classificação binária tabular com um script Python. Saiba mais sobre a classificação de dados tabulares. Saiba mais sobre a Vertex Explainable AI.

Etapas do tutorial

  • Criar um recurso de conjunto de dados da Vertex AI.
  • Treinar um modelo de classificação tabular do AutoML.
  • Veja as métricas de avaliação do modelo treinado.
  • Criar um recurso de endpoint em veiculação.
  • Implantar o recurso de modelo em um recurso de endpoint em veiculação.
  • Fazer uma solicitação de previsão on-line com explicabilidade.
  • Desfazer a implantação do recurso modelo
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex Explainable AI
Predição em lote da Vertex AI Batch
Modelo de classificação de imagem de treinamento personalizado para previsão em lote com explicação
Saiba como usar Vertex AI Training and Vertex Explainable AI para criar um modelo de classificação de imagens personalizado com explicações e, em seguida, como usar Vertex AI Batch Prediction para fazer uma solicitação de predição em lote com explicações. Saiba mais sobre a Vertex Explainable AI. Saiba mais sobre a Previsão em lote da Vertex AI.

Etapas do tutorial

  • Criar um job personalizado Vertex AI para treinar um modelo do TensorFlow.
  • Veja a avaliação do modelo treinado.
  • Defina os parâmetros de explicação para quando o modelo for implantado.
  • Fazer upload dos artefatos do modelo treinado e dos parâmetros de explicação como um recurso Model.
  • Fazer uma previsão em lote com explicações.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex Explainable AI
Previsão da Vertex AI
Modelo de classificação de imagem de treinamento personalizado para previsão on-line com explicação
Saiba como usar o Vertex AI Training e a Vertex Explainable AI para criar um modelo de classificação personalizado de imagens com explicações. Saiba mais sobre a Vertex Explainable AI. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do TensorFlow.
  • Veja a avaliação do modelo treinado.
  • Defina os parâmetros de explicação para quando o modelo for implantado.
  • Fazer upload dos artefatos do modelo treinados e das explicações como um recurso de modelo.
  • Criar um recurso de endpoint em veiculação.
  • Implantar o recurso de modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão com explicação
  • Desfazer a implantação do recurso de modelo.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex Explainable AI
Predição em lote da Vertex AI Batch
Modelo de regressão tabular de treinamento personalizado para previsão em lote com explicação
Saiba como usar o Vertex AI Training e a Vertex Explainable AI para criar um modelo de classificação personalizado de imagens com explicações. Saiba mais sobre a Vertex Explainable AI. Saiba mais sobre a Previsão em lote da Vertex AI.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do TensorFlow.
  • Veja a avaliação do modelo treinado.
  • Defina parâmetros de explicação para o modelo.
  • Fazer upload dos artefatos do modelo treinado como um recurso de modelo.
  • Fazer uma previsão em lote com explicações.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex Explainable AI
Previsão da Vertex AI
Modelo de regressão tabular de treinamento personalizado para previsão on-line com explicação
Saiba como usar o Vertex AI Training e a Vertex Explainable AI para criar um modelo de regressão tabular personalizado com explicações. Saiba mais sobre a Vertex Explainable AI. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do TensorFlow.
  • Veja a avaliação do modelo treinado.
  • Defina os parâmetros de explicação para quando o modelo for implantado.
  • Fazer upload dos artefatos do modelo treinados e das explicações como um recurso de modelo.
  • Criar um recurso de endpoint em veiculação.
  • Implantar o recurso de modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão com explicação
  • Desfazer a implantação do recurso de modelo.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex Explainable AI
Previsão da Vertex AI
Modelo de regressão tabular do treinamento personalizado para previsão on-line com explicabilidade usando get_metadata.
Saiba como criar um modelo personalizado com um script Python em um contêiner do Docker pré-criado do Google usando o SDK da Vertex AI. Saiba mais sobre a Vertex Explainable AI. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Criar um job personalizado da Vertex AI para treinar um modelo do TensorFlow.
  • Treinar um modelo do TensorFlow
  • Recuperar e carregar os artefatos do modelo
  • Veja a avaliação do modelo treinado.
  • Definir parâmetros de explicação
  • Fazer upload do modelo Model como um recurso da Vertex AI.
  • Implantar o recurso de modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão com explicação
  • Desfazer a implantação do recurso modelo
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex Explainable AI
Previsão da Vertex AI
Explicação da classificação de imagens com a Vertex Explainable AI
Saiba como configurar explicações baseadas em atributos em um modelo de classificação pré-treinado de imagens e fazer previsões on-line e em lote com explicações. Saiba mais sobre a Vertex Explainable AI. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Fazer o download de um modelo pré-treinado do TensorFlow Hub
  • Fazer upload do modelo para implantação
  • Implantar o modelo para previsão on-line
  • Fazer uma previsão on-line com explicações
  • Fazer previsões em lote com explicações
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex Explainable AI
Explicação da classificação de texto com a Vertex Explainable AI.
Saiba como configurar explicações baseadas em atributos usando o método Shapley de amostra em um modelo de classificação de texto do TensorFlow para previsões on-line com explicações. Saiba mais sobre a Vertex Explainable AI.

Etapas do tutorial

  • Criar e treinar um modelo de classificação de texto do TensorFlow
  • Fazer upload do modelo para implantação
  • Implantar o modelo para previsão on-line
  • Fazer uma previsão on-line com explicações
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Disponibilização de atributos on-line e busca de dados do BigQuery com o Vertex AI Feature Store
Saiba como criar e usar uma instância on-line do Feature Store para hospedar e disponibilizar dados no BigQuery com o Vertex AI Feature Store em um fluxo de trabalho completo da jornada do usuário para disponibilização e busca de valores de atributos. Saiba mais sobre o Feature Store da Vertex AI.

Etapas do tutorial

  • Provisionar uma instância de Feature Store on-line para hospedar e exibir dados.
  • Registrar uma visualização do BigQuery com a instância do Feature Store on-line e configurar o job de sincronização.
  • Usar o servidor on-line para buscar valores de atributos para previsão on-line.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Exibição de atributos on-line e busca de dados do BigQuery com a exibição otimizada da Vertex AI Feature Store.
Saiba como criar e usar uma instância on-line do Feature Store para hospedar e disponibilizar dados no BigQuery com o Vertex AI Feature Store em um fluxo de trabalho completo de disponibilização e busca de valores de atributos. Saiba mais sobre o Feature Store da Vertex AI.

Etapas do tutorial

  • Provisione uma instância do Feature Store on-line para hospedar e veicular os dados usando a veiculação on-line otimizada com o endpoint público ou privado.
  • Registrar uma visualização do BigQuery com a instância do Feature Store on-line e configurar o job de sincronização.
  • Usar o servidor on-line para buscar valores de atributos para previsão on-line.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Veiculação de atributos on-line e recuperação de vetores do BigQuery com o Vertex AI Feature Store.
Saiba como criar e usar uma instância on-line do Feature Store para hospedar e disponibilizar dados no BigQuery com o Vertex AI Feature Store em um fluxo de trabalho completo da jornada do usuário para disponibilização de recursos e recuperação de vetores. Saiba mais sobre o Feature Store da Vertex AI.

Etapas do tutorial

  • Provisionar uma instância de Feature Store on-line para hospedar e exibir dados.
  • Criar uma instância de Feature Store on-line para disponibilizar uma tabela do BigQuery.
  • Usar o servidor on-line para pesquisar vizinhos mais próximos.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Tutorial de embasamento de LLM baseado no Vertex AI Feature Store.
Saiba como criar e usar uma instância on-line do Feature Store para hospedar e disponibilizar dados no BigQuery com o Vertex AI Feature Store em um fluxo de trabalho completo da jornada do usuário para disponibilização de recursos e recuperação de vetores. Saiba mais sobre o Feature Store da Vertex AI.

Etapas do tutorial

  • Provisionar uma instância de Feature Store on-line para hospedar e exibir dados.
  • Criar uma instância de Feature Store on-line para disponibilizar uma tabela do BigQuery.
  • Usar o servidor on-line para pesquisar vizinhos mais próximos.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Tutorial de agentes de serviço da visualização de atributos do Vertex AI Feature Store.
Saiba como usar um agente de serviço dedicado para uma visualização de atributos no Vertex AI Feature Store. Saiba mais sobre o Feature Store da Vertex AI.

Etapas do tutorial

  • Crie uma visualização de atributos configurada para usar uma conta de serviço dedicada.
  • Uma conta de serviço é criada para cada visualização de atributos. Essa conta de serviço é usada para sincronizar dados do BigQuery.
  • A API Get/List da visualização de atributos retorna a conta de serviço criada automaticamente. Os usuários precisam chamar o comando bq addiampolicybinding para conceder roles/bigquery.dataViewer à conta de serviço.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Feature Store
SDK de importação de streaming no Feature Store da Vertex AI (legado).
Saiba como importar atributos de um Pandas DataFrame para o Vertex AI Feature Store usando o método write_feature_values do SDK da Vertex AI. Saiba mais sobre o Vertex AI Feature Store.

Etapas do tutorial

  • Criar um featurestore.
  • Criar um novo tipo de entidade para seu featurestore.
  • Importe valores de atributo de Pandas DataFrame para o tipo de entidade no featurestore.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Como usar o Feature Store da Vertex AI com o DataFrame do Pandas
Saiba como usar Vertex AI Feature Store com o Dataframe do pandas. Saiba mais sobre o Vertex AI Feature Store.

Etapas do tutorial

  • Crie os recursos Featurestore, EntityType e Feature.
  • Importar valores de atributos do DataFrame do Pandas para o tipo de entidade.
  • Ler os valores de atributos de entidade do Online Feature Store no Pandas DataFrame.
  • Exibir em lote valores de atributo do Feature Store para o DataFrame do Pandas.
  • veiculação on-line com valores de recurso atualizados.
  • Correção pontual para buscar valores de atributos para treinamento.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Previsões on-line e em lote usando o Feature Store da Vertex AI (legado)
Saiba como usar Vertex AI Feature Store para importar dados de atributos e acessá-los em tarefas de veiculação on-line e off-line, como treinamento. Saiba mais sobre o Vertex AI Feature Store.

Etapas do tutorial

  • Crie os recursos Featurestore, EntityType e Feature.
  • Importar dados de atributos para o recurso Featurestore.
  • Exibir solicitações de previsão on-line usando os atributos importados
  • Acessar atributos importados em jobs off-line, como os de treinamento
  • Usar a importação de streaming para importar uma pequena quantidade de dados.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Visão geral do suporte de IA generativa na Vertex AI
Inferência em lote de LLM da Vertex AI com modelos ajustados pelo aprendizado por reforço com feedback humano (RLHF).
Neste tutorial, você usará a Vertex AI para receber previsões de um modelo de linguagem grande ajustado pelo RLHF. Saiba mais sobre a Visão geral do suporte da IA generativa na Vertex AI.

Etapas do tutorial

  • Criar um job do Vertex AI Pipelines usando um modelo predefinido para inferência em massa.
  • Executar o pipeline usando o "Vertex AI Pipelines".
  • Produza resultados de previsão em um modelo para um determinado conjunto de dados.
Colab Enterprise
GitHub
Vertex AI Workbench
generative_ai
Destile um modelo de linguagem grande.
Saiba como destilar e implantar um modelo de linguagem grande usando o LLM da Vertex AI.

Etapas do tutorial

  • Acessar o modelo LLM da Vertex AI.
  • Destile o modelo (isso cria automaticamente um endpoint da Vertex AI e implanta o modelo nele).
  • Fazer uma previsão usando o LLM da Vertex AI.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Ajustar modelos de texto usando o ajuste de RLHF
Aprendizado por reforço do LLM da Vertex AI com feedback humano.
Neste tutorial, você usará o RLHF da Vertex AI para ajustar e implantar um modelo de linguagem grande. Saiba mais sobre Ajustar modelos de texto usando o ajuste RLHF.

Etapas do tutorial

  • Definir o número de etapas de ajuste do modelo.
  • Crie um job do Vertex AI Pipelines usando um modelo de ajuste predefinido.
  • Executar o pipeline usando o "Vertex AI Pipelines".
  • Receba previsões do modelo ajustado.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Incorporação de texto
Pesquisa semântica usando embeddings.
Neste tutorial, demonstramos como criar um embedding gerado com base em texto e realizar uma pesquisa semântica. Saiba mais sobre o embedding de texto.

Etapas do tutorial

  • Instalação e importações
  • Criar conjunto de dados de embedding
  • Criar um índice
  • Consultar o índice
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
API de embedding de texto
Nova API Text Embedding.
Saiba como chamar as APIs mais recentes de embedding de texto em dois novos modelos do GA, o text-embedding-004 e o text-multilingual-embedding-002, além de um modelo de pré-lançamento, text-embedding-preview-0815. Saiba mais sobre a API de embedding de texto.

Etapas do tutorial

  • Instalação e importações
  • Gerar embeddings
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
generative_ai
Como usar embeddings de texto na Vertex AI.
Saiba como gerar um embedding de texto com base em um modelo de embedding de texto e um texto.

Etapas do tutorial

Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Ajustar modelos de texto usando ajuste supervisionado
Como ajustar um modelo PEFT com a Vertex AI.
Saiba como usar o LLM da Vertex AI para ajustar e implantar um modelo de linguagem grande PEFT. Saiba mais sobre Ajustar modelos de texto usando o ajuste supervisionado.

Etapas do tutorial

  • Acessar o modelo LLM da Vertex AI.
  • Ajustar o modelo.
  • Isso cria automaticamente um endpoint da Vertex AI e implanta o modelo nele.
  • Fazer uma previsão usando o LLM da Vertex AI.
  • Fazer uma previsão usando o Vertex AI Prediction
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
generative_ai
Como ajustar embeddings de texto na Vertex AI.
Saiba como ajustar um modelo de embedding de texto.

Etapas do tutorial

Colab
GitHub
Vertex AI Workbench
API PaLM
Como usar o SDK da Vertex AI com modelos de linguagem grandes.
Saiba como fornecer entrada de texto para modelos de linguagem grandes disponíveis na Vertex AI para testar, ajustar e implantar modelos de linguagem de IA generativa. Saiba mais sobre a API PaLM.

Etapas do tutorial

  • Use os endpoints de previsão da API Vertex AI PaLM para receber respostas da IA generativa a uma mensagem.
  • Use o endpoint de incorporação de texto para receber uma representação vetorial de uma mensagem.
  • Fazer o ajuste de prompts de um LLM com base em dados de treinamento de entrada/saída.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Classificação para dados de imagem
Classificação da imagem do AutoML
Saiba como usar AutoML para treinar um modelo de imagem e usar Vertex AI Prediction e Vertex AI batch prediction para fazer previsões on-line e em lote. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a classificação de dados de imagem.

Etapas do tutorial

  • Treinar um modelo de classificação de imagens do AutoML.
  • Fazer uma previsão em lote.
  • Implantar o modelo em um endpoint
  • Fazer uma previsão on-line
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Detecção de objetos para dados de imagem
Detecção de objetos do AutoML Image.
Saiba como usar AutoML para treinar um modelo de imagem e usar Vertex AI Prediction e Vertex AI Batch Prediction para fazer previsões on-line e em lote. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a detecção de objetos para dados de imagem.

Etapas do tutorial

  • Treinar um modelo de detecção de objetos do AutoML.
  • Fazer uma previsão em lote.
  • Implantar o modelo em um endpoint
  • Fazer uma previsão on-line
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Rastreamento de objetos para dados de vídeo
Rastreamento de objetos de vídeo de AutoML.
Saiba como usar o AutoML para treinar um modelo de vídeo e usar o Vertex AI Batch Prediction para fazer predições em lote. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre o rastreamento de objetos para dados de vídeo.

Etapas do tutorial

  • Treinar um modelo de rastreamento de objetos de vídeo do AutoML.
  • Fazer uma previsão em lote.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Classificação para dados tabulares
Classificação binária do AutoML tabular.
Neste tutorial, você cria um modelo de classificação binária tabular do AutoML e implanta para previsão on-line com um script Python usando o SDK da Vertex AI. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a classificação de dados tabulares.

Etapas do tutorial

  • Criar um recurso de conjunto de dados da Vertex AI.
  • Treine o modelo.
  • Visualizar o modelo de avaliação
  • Implantar o recurso de modelo em um recurso de endpoint em veiculação.
  • Fazer uma previsão.
  • Remover a implantação do modelo
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Classificação para dados de vídeo
Classificação de vídeo de AutoML.
Saiba como usar o AutoML para treinar um modelo de vídeo e usar o Vertex AI Batch Prediction para fazer predições em lote. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a classificação de dados de vídeo.

Etapas do tutorial

  • Treinar um modelo de classificação de vídeos do AutoML.
  • Fazer uma previsão em lote.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Treinamento personalizado
Classificação de imagem personalizada com um contêiner de treinamento personalizado.
Saiba como treinar um modelo de classificação de imagens do TensorFlow usando um contêiner personalizado e o Vertex AI Training. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Empacotar o código de treinamento em um aplicativo Python.
  • Conteinerizar o aplicativo de treinamento usando o Cloud Build e o Artifact Registry.
  • Criar e executar um job de treinamento de contêiner personalizado na Vertex AI.
  • Avaliar o modelo gerado com base no job de treinamento.
  • Criar um recurso de modelo para o modelo treinado no Vertex AI Model Registry
  • Executar um job de previsão em lote da Vertex AI.
  • Implantar o recurso de modelo em um endpoint da Vertex AI.
  • Executar um job de previsão on-line no recurso do modelo
  • Limpar os recursos criados.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Visão geral do treinamento personalizado
Classificação de imagem personalizada com um contêiner de treinamento pré-criado.
Saiba como treinar um modelo de classificação de imagens do TensorFlow usando um contêiner pré-criado e o Vertex AI Training. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a visão geral do treinamento personalizado.

Etapas do tutorial

  • Empacotar o código de treinamento em um aplicativo Python.
  • Conteinerizar o aplicativo de treinamento usando o Cloud Build e o Artifact Registry.
  • Criar e executar um job de treinamento de contêiner personalizado na Vertex AI.
  • Avaliar o modelo gerado com base no job de treinamento.
  • Criar um recurso de modelo para o modelo treinado no Vertex AI Model Registry
  • Executar um job de previsão em lote da Vertex AI.
  • Implantar o recurso de modelo em um endpoint da Vertex AI.
  • Executar um job de previsão on-line no recurso do modelo
  • Limpar os recursos criados.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Visão geral do treinamento personalizado
Modelo scikit-learn personalizado com contêiner de treinamento pré-criado.
Saiba como usar o Vertex AI Training para criar um modelo treinado personalizado. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a visão geral do treinamento personalizado.

Etapas do tutorial

  • Criar um job personalizado da "Vertex AI" para treinar um modelo do scikitlearn.
  • Fazer upload dos artefatos do modelo treinado como um recurso de modelo.
  • Gere predições em lote.
  • Implantar o recurso de modelo em um recurso de endpoint em veiculação.
  • Gere previsões on-line.
  • Desfazer a implantação do recurso de modelo.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Migrar para a Vertex AI
Visão geral do treinamento personalizado
Modelo XGBoost personalizado com contêiner de treinamento pré-criado.
Saiba como usar o Vertex AI Training para criar um modelo treinado personalizado. Saiba mais sobre como migrar para a Vertex AI. Saiba mais sobre a visão geral do treinamento personalizado.

Etapas do tutorial

  • Criar um job personalizado da Vertex AI para treinar um modelo do XGBoost.
  • Fazer upload dos artefatos do modelo treinado como um recurso de modelo.
  • Gere predições em lote.
  • Implantar o recurso de modelo em um recurso de endpoint em veiculação.
  • Gere previsões on-line.
  • Desfazer a implantação do recurso de modelo.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Ajuste de hiperparâmetros da Vertex AI
Treinamento personalizado
Ajuste de hiperparâmetro.
Saiba como usar o hiperparâmetro da Vertex AI para criar e ajustar um modelo treinado personalizado. Saiba mais sobre o Ajuste de hiperparâmetros da Vertex AI. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Criar um job de ajuste de hiperparâmetros da Vertex AI para treinar um modelo do TensorFlow.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Documentação do Google Artifact Registry
Comece a usar o Google Artifact Registry.
Saiba como usar o Google Artifact Registry. Saiba mais sobre a documentação do Google Artifact Registry.

Etapas do tutorial

  • criar um repositório particular do Docker;
  • Incluir tags em uma imagem de contêiner específica para o repositório particular do Docker.
  • Enviar uma imagem de contêiner para o repositório particular do Docker.
  • Extrair uma imagem de contêiner do repositório particular do Docker.
  • Excluir um repositório particular do Docker.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex ML Metadata
Rastrear parâmetros e métricas para jobs de treinamento personalizados
Saiba como usar o SDK da Vertex AI para Python para:

Etapas do tutorial

  • Rastreie parâmetros de treinamento e métricas de previsão para um job de treinamento personalizado.
  • Extrair e realizar análises para todos os parâmetros e métricas em um experimento.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex ML Metadata
Rastrear parâmetros e métricas para modelos treinados localmente.
Saiba como usar o Vertex ML Metadata para monitorar parâmetros de treinamento e métricas de avaliação. Saiba mais sobre o Vertex ML Metadata.

Etapas do tutorial

  • Rastreie parâmetros e métricas para um modelo treinado localmente.
  • Extraia e realize análises para todos os parâmetros e métricas em um experimento.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex ML Metadata
Vertex AI Pipelines
Rastrear artefatos e métricas nas execuções de pipelines da Vertex AI usando metadados de ML da Vertex
Saiba como monitorar artefatos e métricas com o Vertex ML Metadata nas execuções do Vertex AI Pipelines. Saiba mais sobre o Vertex ML Metadata. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Usar o SDK do Kubeflow Pipelines para criar um pipeline de ML executado na Vertex AI.
  • O pipeline cria um conjunto de dados, treina um modelo do scikitlearn e o implanta em um endpoint.
  • Gravar componentes de pipeline personalizados que geram artefatos e metadados
  • Compare as execuções do Vertex AI Pipelines no console do Google Cloud e de maneira programática.
  • Rastrear a linhagem para artefatos gerados por pipeline
  • Consultar os metadados de execução do pipeline
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Avaliação de modelos da Vertex AI
Classificação para dados tabulares
Como avaliar resultados de previsão em lote de um modelo de classificação tabular do AutoML Tabular.
Saiba como treinar um modelo de classificação tabular do AutoML da Vertex AI e como avaliar esse modelo com um job de pipeline da Vertex AI usando google_cloud_pipeline_components: Saiba mais sobre a Avaliação de modelos da Vertex AI. Saiba mais sobre a classificação de dados tabulares.

Etapas do tutorial

  • Crie um Dataset da Vertex AI.
  • Treine um modelo de classificação tabular do AutoML no recurso Dataset.
  • Importe o AutoML model resource treinado para o pipeline.
  • Executar um job Batch Prediction.
  • Avalie o modelo do AutoML usando o Classification Evaluation component.
  • Importar as métricas de classificação para o recurso de modelo do AutoML.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Avaliação de modelos da Vertex AI
Regressão para dados tabulares
Como avaliar resultados da predição em lote do modelo de regressão tabular do AutoML.
Saiba como avaliar um recurso de modelo da Vertex AI com um job de pipeline da Vertex AI usando google_cloud_pipeline_components: Saiba mais sobre a Avaliação de modelos da Vertex AI. Saiba mais sobre regressão para dados tabulares.

Etapas do tutorial

  • Criar um conjunto de dados da Vertex AI.
  • Configure uma classe AutoMLTabularTrainingJob.
  • Executar o AutoMLTabularTrainingJob que retorna um modelo.
  • Importe um AutoML model resource pré-treinado para o pipeline.
  • Execute um job batch prediction no pipeline.
  • Avalie o modelo do AutoML usando o regression evaluation component.
  • Importe as métricas de regressão geradas para o recurso de modelo do AutoML.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Avaliação de modelos da Vertex AI
Classificação para dados de vídeo
Como avaliar resultados de predição em lote do modelo de classificação de vídeo do AutoML.
Saiba como treinar um modelo de classificação de vídeos do AutoML na Vertex AI e como avaliar esse modelo usando um job de pipeline da Vertex AI usando google_cloud_pipeline_components: Saiba mais sobre a Avaliação de modelos da Vertex AI. Saiba mais sobre a classificação de dados de vídeo.

Etapas do tutorial

  • Criar um conjunto de dados da Vertex AI.
  • Treinar um modelo de classificação de vídeo do AutoML no recurso de conjunto de dados do Vertex AI.
  • Importar o recurso de modelo da AutoML Vertex AI treinado para o pipeline.
  • Executar um job de previsão em lote dentro do pipeline;
  • Avaliar o modelo do AutoML usando o componente de avaliação de classificação.
  • Importar as métricas de classificação para o recurso de modelo da AutoML Vertex AI.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Treinamento personalizado da Vertex AI
Avaliação de modelos da Vertex AI
Como avaliar os resultados de BatchPrediction em um modelo de classificação tabular personalizado.
Neste tutorial, você treinará um modelo RandomForest do scikit-learn, salvará o modelo no Vertex AI Model Registry e saberá como avaliar o modelo por um job de pipeline da Vertex AI usando o SDK de componentes de pipeline do Google Cloud para Python. Saiba mais sobre o treinamento personalizado da Vertex AI. Saiba mais sobre a avaliação de modelos da Vertex AI.

Etapas do tutorial

  • Busque o conjunto de dados na origem pública.
  • Pré-processar os dados localmente e salvar os dados de teste no BigQuery
  • Treinar localmente um modelo de classificação de RandomForest usando o pacote Python do scikitlearn
  • Crie um contêiner personalizado no Artifact Registry para previsões.
  • Fazer upload do modelo para o Vertex AI Model Registry
  • Criar e executar um pipeline da Vertex AI
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Avaliação de modelos da Vertex AI
Treinamento personalizado
Como avaliar resultados de previsão em lote do modelo de regressão tabular personalizado.
Saiba como avaliar um recurso de modelo da Vertex AI usando um job de pipeline da Vertex AI com os componentes de pipeline do Google Cloud. Saiba mais sobre a avaliação de modelo da Vertex AI. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Criar um job de treinamento personalizado da Vertex AI para treinar um modelo do TensorFlow.
  • Executar o job de treinamento personalizado.
  • Recuperar e carregar os artefatos do modelo
  • Visualizar o modelo de avaliação
  • Fazer upload do modelo Model como um recurso da Vertex AI.
  • Importar um recurso de modelo da Vertex AI pré-treinado para o pipeline.
  • Executar um job de previsão em lote no pipeline.
  • Avaliar o modelo usando o "componente de avaliação de regressão".
  • Importar as métricas de regressão para o recurso de modelo da Vertex AI
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Avaliação de modelos do Vertex AI AutoSxS
Verifique o alinhamento do avaliador automático em relação a um conjunto de dados de preferências humanas.
Saiba como usar Vertex AI Pipelines e google_cloud_pipeline_components para verificar o alinhamento do avaliador automático usando dados de preferências humanas: Saiba mais sobre a Avaliação de modelos do Vertex AI AutoSxS.

Etapas do tutorial

  • Crie um conjunto de dados de avaliação com previsões e dados de preferências humanas.
  • Pré-processe os dados localmente e salve-os no Cloud Storage.
  • Crie e execute um pipeline do Vertex AI AutoSxS que gera os julgamentos e um conjunto de métricas da AutoSxS usando os julgamentos gerados.
  • Mostre os julgamentos e as métricas do AutoSxS.
  • Limpar os recursos criados neste notebook.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Avaliação de modelos do Vertex AI AutoSxS
Avalie um LLM no Vertex AI Model Registry em relação a um modelo de terceiros.
Saiba como usar Vertex AI Pipelines e google_cloud_pipeline_components para avaliar o desempenho entre dois modelos LLM: Saiba mais sobre a Avaliação de modelos do Vertex AI AutoSxS.

Etapas do tutorial

  • Busque o conjunto de dados na origem pública.
  • Pré-processe os dados localmente e salve os dados de teste no Cloud Storage.
  • Crie e execute um pipeline do Vertex AI AutoSxS que gera os julgamentos e avalia os dois modelos candidatos usando os julgamentos gerados.
  • Mostre os julgamentos e as métricas de avaliação.
  • Limpar os recursos criados neste notebook.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Monitoramento de modelos da Vertex AI para previsões em lote
Previsão em lote da Vertex AI com monitoramento de modelos.
Saiba como usar o serviço de monitoramento de modelos da Vertex AI para detectar deslocamentos e anomalias na predição em lote. Saiba mais sobre o Monitoramento de modelos da Vertex AI para previsões em lote.

Etapas do tutorial

  • Fazer upload de um modelo pré-treinado como um recurso de modelo da Vertex AI.
  • Gere solicitações de previsão em lote.
  • Interpretar as estatísticas, visualizações e outros dados informados pelo recurso de monitoramento do modelo.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Vertex AI Model Monitoring para modelos tabulares do AutoML.
Saiba como usar o serviço Vertex AI Model Monitoring para detectar desvios de atributo e deslocamentos nas solicitações de previsão de entrada em modelos tabulares do AutoML. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • Treinar um modelo do AutoML.
  • Implantar o recurso de modelo em um recurso de endpoint da Vertex AI.
  • Configurar o recurso de endpoint para monitoramento de modelos.
  • Gerar solicitações de previsão sintéticas para desvio.
  • Gere solicitações de previsão sintéticas para deslocamento.
  • Aguarde a notificação de alerta por e-mail.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Monitoramento de modelos da Vertex AI para previsão on-line em modelos de imagem do AutoML.
Saiba como usar Vertex AI Model Monitoring com Vertex AI Online Prediction e um modelo de classificação de imagens do AutoML para detectar uma imagem fora de distribuição. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • 1. Treinar um modelo de classificação de imagens do AutoML.
  • 2. Crie um endpoint
  • 3. Implante o modelo no endpoint e configure para monitoramento de modelos.
  • 4. Envie uma previsão on-line contendo imagens de distribuição de entrada e saída.
  • 5. Use o monitoramento de modelos para calcular a pontuação de anomalia em cada imagem.
  • 6. Identifique as imagens na solicitação de previsão on-line que estão fora da distribuição.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Monitoramento de modelos da Vertex AI para modelos tabulares personalizados.
Saiba como usar o serviço Vertex AI Model Monitoring para detectar desvios de atributo e deslocamentos nas solicitações de previsão de entrada em modelos tabulares personalizados. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • Fazer o download de um modelo tabular personalizado e pré-treinado.
  • Fazer upload do modelo pré-treinado para o Vertex AI Model Registry.
  • Implantar o recurso de modelo em um recurso de endpoint da Vertex AI.
  • Configurar o recurso de endpoint para monitoramento de modelos.
  • Gere solicitações de previsão sintética para simular os desvios.
  • Aguarde as notificações de alerta por e-mail.
  • Gere solicitações de previsão sintética para simular deslocamentos.
  • Aguarde as notificações de alerta por e-mail.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Monitoramento de modelos da Vertex AI para modelos tabulares personalizados com o contêiner do TensorFlow Serving.
Saiba como usar o serviço Vertex AI Model Monitoring para detectar desvios de atributo e deslocamentos nas solicitações de previsão de entrada em modelos tabulares personalizados usando um contêiner de implantação personalizado. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • Fazer o download de um modelo tabular personalizado e pré-treinado.
  • Fazer upload do modelo pré-treinado como um recurso de modelo.
  • Como implantar o recurso de modelo em um recurso de endpoint com o binário de veiculação TensorFlow Serving.
  • Configurar o recurso "Endpoint" para monitoramento de modelos.
  • Gerar solicitações de previsão sintéticas para desvio.
  • Aguarde a notificação de alerta por e-mail.
  • Gere solicitações de previsão sintéticas para deslocamento.
  • Aguarde a notificação de alerta por e-mail.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Vertex AI Model Monitoring para configuração de modelos tabulares.
Saiba como configurar o serviço de monitoramento de modelos da Vertex AI para detectar desvios de recursos e deslocamentos nas solicitações de previsão de entrada. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • Fazer o download de um modelo tabular personalizado e pré-treinado.
  • Fazer upload do modelo pré-treinado como um recurso de modelo.
  • Implantar o recurso de modelo no recurso de endpoint.
  • Configurar o recurso de endpoint para monitoramento de modelos.
  • Detecção de desvio e deslocamento de entradas de atributos.
  • Detecção de desvio e deslocamento de atribuições de recursos.
  • Geração automática do "esquema de entrada" enviando 1.000 solicitações de previsão.
  • Liste, pause, retome e exclua jobs de monitoramento.
  • Reiniciar o job de monitoramento com um "esquema de entrada" predefinido.
  • Ver dados monitorados registrados.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Vertex AI Model Monitoring para modelos XGBoost
Saiba como usar o serviço Vertex AI Model Monitoring para detectar desvios de atributo e deslocamentos nas solicitações de previsão de entrada para modelos do XGBoost. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • Fazer o download de um modelo XGBoost pré-treinado.
  • Fazer upload do modelo pré-treinado para o Vertex AI Model Registry.
  • Implantar o recurso de modelo em um recurso de endpoint da Vertex AI.
  • Configurar o recurso de endpoint para monitoramento de modelos
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Monitoramento de modelos com a Vertex AI
Vertex AI Model Monitoring com atribuições de recursos da Vertex Explainable AI.
Saiba como usar o serviço Vertex AI Model Monitoring para detectar desvios e anomalias em solicitações de previsão de um recurso de modelo da Vertex AI. Saiba mais sobre o Vertex AI Model Monitoring.

Etapas do tutorial

  • Fazer upload de um modelo pré-treinado como um recurso de modelo da Vertex AI.
  • Criar um recurso de endpoint da Vertex AI.
  • Implantar o recurso de modelo no recurso de endpoint.
  • Configurar o recurso de endpoint para monitoramento de modelos.
  • Inicializar a distribuição do valor de referência para monitoramento do modelo.
  • Gere solicitações de previsão sintéticas.
  • Entenda como interpretar as estatísticas, visualizações e outros dados informados pelo recurso de monitoramento de modelos.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
model_monitoring_v2
Monitoramento de modelos do job de predição em lote de modelos personalizados da Vertex AI.
Neste tutorial, você concluirá as seguintes etapas:

Etapas do tutorial

Colab
Colab Enterprise
GitHub
Vertex AI Workbench
model_monitoring_v2
Monitoramento de modelos da previsão on-line de modelos personalizado da Vertex AI.
Neste tutorial, você concluirá as seguintes etapas:

Etapas do tutorial

Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Model Registry
Introdução ao Registro de modelos da Vertex AI.
Saiba como usar o Vertex AI Model Registry para criar e registrar várias versões de um modelo. Saiba mais sobre o Vertex AI Model Registry.

Etapas do tutorial

  • Criar e registrar uma primeira versão de um modelo no Registro de modelos da Vertex AI.
  • Crie e registre uma segunda versão de um modelo no Registro de modelos da Vertex AI.
  • Atualizar a versão do modelo, que é o padrão.
  • Como excluir uma versão de modelo.
  • Novo treinamento da próxima versão de modelo.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes do AutoML
Classificação para dados tabulares
Pipelines do AutoML Tabular usando google-cloud-pipeline-components.
Saiba como usar o Vertex AI Pipelines e os componentes de pipeline do Google Cloud para criar um modelo de classificação tabular do AutoML. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes do AutoML. Saiba mais sobre a classificação de dados tabulares.

Etapas do tutorial

  • Criar um pipeline KFP que gere um conjunto de dados da Vertex AI.
  • Adicionar um componente ao pipeline que treine um recurso de modelo de classificação tabular do AutoML.
  • Adicionar um componente que crie um recurso de endpoint da Vertex AI.
  • Adicionar um componente que implante o recurso de modelo no recurso de endpoint.
  • Compile o pipeline KFP.
  • Executar o pipeline KFP usando o Vertex AI Pipelines.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Metodologia entre o desafio e a bênção para implantação de modelos na produção.
Saiba como criar um pipeline da Vertex AI, que treina uma nova versão desafiadora de um modelo, avalia o modelo e compara a avaliação com o modelo abençoado em produção.

Etapas do tutorial

  • Importar um modelo pré-treinado (abençoado) para o Vertex AI Model Registry
  • Importe métricas de avaliação de modelos sintéticos para o modelo (abençoado) correspondente.
  • Criar um recurso de endpoint da Vertex AI.
  • Implantar o modelo abençoado no recurso de endpoint.
  • Criar um pipeline da Vertex AI que execute as etapas a seguir
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Estruturas de controle de pipeline usando o SDK do KFP.
Saiba como usar o SDK do KFP, que usa loops e condicionais, incluindo exemplos aninhados, para criar pipelines. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Criar um pipeline KFP usando componentes de fluxo de controle
  • Compilar o pipeline KFP.
  • Executar o pipeline KFP usando o "Vertex AI Pipelines".
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes de treinamento personalizados
Treinamento personalizado com componentes de pipeline predefinidos do Google Cloud
Saiba como usar o Vertex AI Pipelines e os componentes de pipeline do Google Cloud para criar um modelo personalizado. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes de treinamento personalizados.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes da predição em lote da Vertex AI
Treinamento e previsão em lote com origem e destino do BigQuery para um modelo de classificação tabular personalizado.
Neste tutorial, você treinará um modelo de classificação tabular do scikit-learn e criará um job de predição em lote para ele por um pipeline da Vertex AI usando google_cloud_pipeline_components. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes de previsão em lote da Vertex AI.

Etapas do tutorial

  • Criar um conjunto de dados no BigQuery
  • Definir alguns dados além do conjunto de origem para previsão em lote.
  • Criar um pacote Python personalizado para o aplicativo de treinamento
  • Fazer upload do pacote Python para o Cloud Storage
  • Criar um Vertex AI Pipelines que
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Ajuste de hiperparâmetros da Vertex AI
Primeiros passos com os componentes do pipeline de ajuste de hiperparâmetros da Vertex AI.
Saiba como usar os componentes de pipeline pré-criados do Google Cloud para o ajuste de hiperparâmetros da Vertex AI. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre o Ajuste de hiperparâmetros da Vertex AI.

Etapas do tutorial

  • Crie um pipeline para
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Primeiros passos no gerenciamento de máquinas para pipelines da Vertex AI.
Saiba como converter um componente independente de treinamento personalizado em um Vertex AI CustomJob, em que:

Etapas do tutorial

  • Crie um componente personalizado com um job de treinamento autônomo.
  • Executar o pipeline usando configurações no nível do componente para recursos de máquina
  • Converta o componente independente de treinamento em um Vertex AI CustomJob.
  • Executar o pipeline usando configurações personalizadas de nível de job para recursos de máquina
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes do AutoML
Pipelines de classificação de imagens do AutoML usando google-cloud-pipeline-components.
Saiba como usar o Vertex AI Pipelines e os componentes de pipeline do Google Cloud para criar um modelo de classificação de imagens do AutoML. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes do AutoML.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes do AutoML
Regressão para dados tabulares
Pipelines de regressão tabulares do AutoML usando google-cloud-pipeline-components.
Saiba como usar Vertex AI Pipelines e Google Cloud Pipeline Components para criar um modelo de regressão tabular AutoML. Saiba mais sobre o Vertex AI Pipelines. Saiba mais sobre os componentes do AutoML. Saiba mais sobre a regressão para dados tabulares.

Etapas do tutorial

  • Crie um pipeline KFP que gere um recurso Dataset.
  • Adicione um componente ao pipeline que treine um recurso Model de regressão tabular do AutoML.
  • Adicione um componente que crie um recurso Endpoint.
  • Adicione um componente que implante o recurso Model no recurso Endpoint.
  • Compile o pipeline KFP.
  • Execute o pipeline KFP usando Vertex AI Pipelines.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes do AutoML
AutoML pipelines de classificação de texto usando google-cloud-pipeline-components.
Saiba como usar Vertex AI Pipelines e Google Cloud Pipeline Components para criar um modelo de classificação de texto AutoML. Saiba mais sobre o Vertex AI Pipelines. Saiba mais sobre os componentes do AutoML.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes do BigQuery ML
Como treinar um modelo de aquisição-previsão usando o Swivel, o BigQuery ML e o Vertex AI Pipelines.
Saiba como criar um pipeline simples do BigQuery ML usando o Vertex AI Pipelines para calcular embeddings de texto de conteúdo de artigos e classificá-los na categoria *aquisições corporativas*. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes do BigQuery ML.

Etapas do tutorial

  • Como criar um componente para um job do Dataflow que ingere dados no BigQuery.
  • Criar um componente para etapas de pré-processamento a serem executadas nos dados no BigQuery
  • Criar um componente para treinar um modelo de regressão logística usando o BigQuery ML.
  • Criar e configurar um pipeline de DSL do Kubeflow com todos os componentes criados.
  • Como compilar e executar o pipeline no Vertex AI Pipelines
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes de treinamento personalizados
Treinar, fazer upload e implantar modelos com os componentes de pipelines do Google Cloud.
Saiba como usar o Vertex AI Pipelines e o componente de pipeline do Google Cloud para criar e implantar um modelo personalizado. Saiba mais sobre Vertex AI Pipelines. Saiba mais sobre os componentes de treinamento personalizados.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Vertex AI Pipelines com KFP 2.x
Saiba como usar o Vertex AI Pipelines e o KFP 2.

Etapas do tutorial

  • Criar um pipeline KFP
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Componentes leves e baseados em função do Python e E/S de componentes.
Saiba como usar o SDK do KFP para criar componentes leves do Python baseados em funções e, em seguida, aprender a usar o Vertex AI Pipelines para executar o pipeline. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Criar componentes KFP baseados em função do Python.
  • Criar um pipeline KFP
  • Transmita artefatos e parâmetros entre componentes, tanto por referência do caminho quanto por valor.
  • Usar o método "kfp.dsl.importer".
  • Compile o pipeline KFP.
  • Executar o pipeline KFP usando o "Vertex AI Pipelines".
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Visualização de métricas e execução de comparação usando o SDK do KFP.
Saiba como usar o SDK do KFP para Python e criar pipelines que geram métricas de avaliação. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Criar componentes KFP
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Metodologia Multicontender x Champion para implantação de modelos na produção.
Saiba como criar um pipeline da Vertex AI, que avalia novos dados de produção de um modelo implantado em relação a outras versões do modelo, para determinar se um modelo de contendor será o modelo campeão para substituição na produção.

Etapas do tutorial

  • Importar um modelo pré-treinado (campeão) para o Vertex AI Model Registry.
  • Importe métricas de avaliação de treinamento de modelo sintético para o modelo correspondente (campeão).
  • Criar um recurso de Vertex AI Endpoint.
  • Implantar o modelo campeão no recurso Endpoint.
  • Importe versões adicionais (conterentes) do modelo implantado.
  • Importar métricas de avaliação de treinamento de modelos sintéticos para os modelos correspondentes (conferenciadores).
  • Criar um pipeline da Vertex AI que execute as etapas a seguir
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Introdução aos pipelines para KFP.
Saiba como usar o SDK do KFP para Python e criar pipelines que geram métricas de avaliação. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Definir e compilar um pipeline da Vertex AI.
  • Especifique a conta de serviço a ser usada para uma execução do pipeline.
  • Execute o pipeline usando o SDK da Vertex AI para Python e a API REST.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Componentes do AutoML
Componentes do BigQuery ML
BigQuery ML e AutoML: prototipagem rápida com a Vertex AI.
Saiba como usar o Vertex AI Pipelines para prototipagem rápida de um modelo. Saiba mais sobre os componentes do AutoML. Saiba mais sobre os componentes do BigQuery ML.

Etapas do tutorial

  • Criar um conjunto de dados de treinamento do BigQuery e da Vertex AI
  • Como treinar um modelo do BigQuery ML e do AutoML
  • Extração de métricas de avaliação dos modelos BigQueryML e AutoML.
  • Selecionar o modelo mais bem treinado.
  • Implantar o melhor modelo treinado.
  • Como testar a infraestrutura do modelo implantado.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Previsão em lote da Vertex AI
Previsão em lote de modelos personalizados com filtragem de atributos.
Saiba como criar um modelo treinado personalizado com um script Python em um contêiner do Docker usando o SDK da Vertex AI para Python e, em seguida, como executar um job de predição em lote incluindo ou excluindo uma lista de atributos. Saiba mais sobre a Previsão em lote da Vertex AI.

Etapas do tutorial

  • Criar um TrainingPipeline personalizado do Vertex AI para treinar um modelo.
  • Treinar um modelo do TensorFlow
  • Enviar job de previsão em lote.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Previsão do Vertex AI
Comece a usar o servidor NVIDIA Triton.
Saiba como implantar um contêiner que executa o servidor NVIDIA Triton com um recurso de modelo da Vertex AI em um endpoint da Vertex AI para fazer previsões on-line. Saiba mais sobre o Vertex AI Prediction.

Etapas do tutorial

  • Faça o download dos artefatos de modelo no TensorFlow Hub.
  • Crie o arquivo de configuração de exibição do Triton para o modelo.
  • Construa um contêiner personalizado, com a imagem de exibição do Triton, para a implantação do modelo.
  • Fazer upload do modelo Model como um recurso da Vertex AI.
  • Implantar o recurso de modelo da Vertex AI em um recurso de endpoint da Vertex AI.
  • Fazer uma solicitação de previsão
  • Desfazer a implantação do recurso de modelo e excluir o endpoint.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Raw Predict
Comece a usar as funções de exibição do TensorFlow com a Vertex AI Raw Prediction.
Saiba como usar Vertex AI Raw Prediction em um recurso Vertex AI Endpoint. Saiba mais sobre previsão bruta.

Etapas do tutorial

  • Fazer o download de artefatos do modelo de classificação tabular pré-treinados para um estimador do TensorFlow 1.x.
  • Faça upload do modelo Estimator do TensorFlow como um recurso Vertex AI Model.
  • Crie um recurso Endpoint.
  • Implante o recurso Model em um recurso Endpoint.
  • Faça uma previsão bruta on-line na instância de recurso Model implantada no recurso Endpoint.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Como receber previsões de um modelo treinado personalizado
Comece a usar o TensorFlow Serving com a Vertex AI Prediction.
Saiba como usar Vertex AI Prediction em um recurso Vertex AI Endpoint com o binário de veiculação TensorFlow Serving. Saiba mais sobre Como receber previsões de um modelo treinado personalizado.

Etapas do tutorial

Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Endpoints particulares
Comece a usar endpoints particulares da Vertex AI.
Saiba como usar os recursos Vertex AI Private Endpoint. Saiba mais sobre endpoints particulares.

Etapas do tutorial

  • Como criar um recurso Private Endpoint.
  • Configurar uma conexão de peering de VPC.
  • Como configurar o binário de veiculação de um recurso Model para implantação em um recurso Private Endpoint.
  • Como implantar um recurso Model em um recurso Private Endpoint.
  • Envie uma solicitação de previsão para um Private Endpoint
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Modelos de linguagem da Vertex AI
LLM da Vertex AI e previsão de streaming.
Saiba como usar o LLM da Vertex AI para fazer o download de um modelo LLM pré-treinado, fazer previsões e ajustar o modelo. Saiba mais sobre os modelos de linguagem da Vertex AI.

Etapas do tutorial

  • Carregar um modelo de geração de texto pré-treinado.
  • Fazer uma previsão sem streaming
  • Carregar um modelo de geração de texto pré-treinado, compatível com streaming.
  • Fazer uma previsão de streaming
  • Carregar um modelo de chat pré-treinado.
  • Fazer uma sessão de chat interativo local.
  • Fazer uma previsão em lote com um modelo de geração de texto.
  • Fazer uma previsão em lote com um modelo de embedding de texto.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Contêineres pré-criados para previsão
Como disponibilizar modelos de imagem do PyTorch com contêineres predefinidos na Vertex AI.
Saiba como empacotar e implantar um modelo de classificação de imagens do PyTorch usando um contêiner pré-criado da Vertex AI com o TorchServe para disponibilizar previsões on-line e em lote. Saiba mais sobre contêineres pré-criados para previsão.

Etapas do tutorial

  • Fazer o download de um modelo de imagem pré-treinado do PyTorch
  • Criar um gerenciador de modelos personalizado
  • Empacotar artefatos de modelo em um arquivo de modelo
  • Fazer upload do modelo para implantação
  • Implantar modelo para previsão
  • Fazer previsões on-line
  • Fazer previsões em lote
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Previsão do Vertex AI
Treine e implante modelos PyTorch com contêineres pré-criados na Vertex AI.
Saiba como criar, treinar e implantar um modelo de classificação de imagens do PyTorch usando contêineres pré-criados para treinamento e previsão personalizados.

Etapas do tutorial

  • Empacotar o aplicativo de treinamento em uma distribuição de origem do Python
  • Configurar e executar o job de treinamento em um contêiner pré-criado
  • Empacotar artefatos de modelo em um arquivo de modelo
  • Fazer upload do modelo para implantação
  • Implantar o modelo usando um contêiner pré-criado para previsão
  • Fazer previsões on-line
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Visão geral do Ray na Vertex AI
Comece a usar o PyTorch no Ray na Vertex AI.
Saiba como distribuir com eficiência o processo de treinamento de um modelo de classificação de imagens do PyTorch aproveitando o Ray na Vertex AI. Saiba mais sobre Visão geral do Ray na Vertex AI.

Etapas do tutorial

  • Prepare o script de treinamento.
  • Enviar um job do Ray usando a API Ray Jobs
  • Baixe um modelo de imagem pré-treinado do PyTorch.
  • Criar um gerenciador de modelos personalizado
  • Empacotar artefatos de modelo em um arquivo de modelo
  • Registre o modelo no Vertex AI Model Registry
  • Implante o modelo no endpoint da Vertex AI
  • Fazer previsões on-line
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Visão geral do Ray na Vertex AI
Gerenciamento de clusters do Ray na Vertex AI.
Saiba como criar, acessar, atualizar e excluir um cluster e listar clusters existentes. Saiba mais sobre Visão geral do Ray na Vertex AI.

Etapas do tutorial

  • Criar um cluster.
  • Liste clusters existentes.
  • Acesse um cluster.
  • Escalone verticalmente o cluster de forma manual e, em seguida, reduzir escala vertical dele.
  • Escalonamento automático de um cluster.
  • Exclua clusters existentes.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Ray na Vertex AI
Spark no Ray na Vertex AI
Spark no Ray na Vertex AI.
Aprenda a usar o RayDP para executar aplicativos Spark em um cluster do Ray na Vertex AI. Saiba mais sobre o Ray na Vertex AI. Saiba mais sobre o Spark no Ray na Vertex AI.

Etapas do tutorial

  • Criar uma imagem de contêiner personalizada do Ray na Vertex AI
  • Criar um cluster do Ray na Vertex AI usando a imagem de contêiner personalizada
  • Executar o Spark de forma interativa no cluster usando o RayDP
  • Executar o aplicativo Spark no cluster usando a API Ray Job
  • Ler arquivos do Google Cloud Storage no aplicativo Spark
  • UDF do Pandas no aplicativo Spark no Ray na Vertex AI
  • Excluir o cluster do Ray na Vertex AI
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Training
Servidor de redução da Vertex AI
Treinamento distribuído do PyTorch com o servidor de redução da Vertex AI
Saiba como criar um job de treinamento distribuído do PyTorch que usa o framework e as ferramentas de treinamento distribuído do PyTorch e como executar o job de treinamento no serviço de Vertex AI Training com o servidor de redução. Saiba mais sobre o Vertex AI Training. Saiba mais sobre o servidor de redução da Vertex AI.

Etapas do tutorial

  • Criar um aplicativo de treinamento distribuído do PyTorch
  • Empacotar o aplicativo de treinamento com contêineres pré-criados
  • Criar um job personalizado na Vertex AI com o servidor de redução
  • Enviar e monitorar o job
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Classificação para dados de vídeo
Exemplo de classificação de vídeo do AutoML.
O objetivo deste bloco é criar um modelo de classificação de vídeos do AutoML. Saiba mais sobre a classificação de dados de vídeo.

Etapas do tutorial

  • Defina o nome da tarefa e o prefixo do Cloud Storage
  • Copiar os dados de treinamento da demonstração em vídeo do AutoML para criar um conjunto de dados gerenciado
  • Criar um conjunto de dados na Vertex AI.
  • Configurar um job de treinamento
  • Lançar um job de treinamento e criar um modelo na Vertex AI
  • Copiar dados de previsão de demonstração do AutoML para criar um job de previsão em lote
  • Executar o job de previsão em lote no modelo
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Treinamento personalizado
Treinamento personalizado usando pacote do Python, conjunto de dados de texto gerenciado e contêiner veiculado TF.
Saiba como criar um modelo personalizado usando o treinamento de pacote personalizado do Python e como disponibilizar o modelo usando o contêiner TensorFlow Serving para previsão on-line. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Criar funções utilitárias para fazer o download de dados e preparar arquivos csv para criar um conjunto de dados gerenciado da Vertex AI
  • Fazer o download dos dados
  • Preparar arquivos CSV para criar um conjunto de dados gerenciado
  • Criar pacote personalizado de treinamento do Python
  • Criar um contêiner do TensorFlow Serving
  • Executar treinamento personalizado de pacotes Python com um conjunto de dados gerenciado de texto
  • Implantar um modelo e criar um endpoint na Vertex AI
  • Previsão no endpoint
  • Criar um job de previsão em lote no modelo
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Fluxo de trabalho tabular para TabNet
Explicações da Vertex AI com modelos da TabNet.
Saiba como fornecer uma ferramenta de plotagem de exemplo para visualizar a saída do TabNet, o que é útil para explicar o algoritmo. Saiba mais sobre o Fluxo de trabalho tabular para o TabNet.

Etapas do tutorial

  • Configure o projeto.
  • Fazer o download dos dados de previsão do modelo de pré-treino em dados de Syn2.
  • Visualize e entenda a importância do atributo com base na saída das máscaras.
  • Limpar os recursos criados por este tutorial.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Previsão ARIMA+ do BigQuery ML para dados tabulares
Treine um modelo ARIMA_PLUS do BigQuery ML usando fluxos de trabalho tabulares da Vertex AI.
Saiba como criar o modelo ARIMA_PLUS do BigQuery ML usando um pipeline de treinamento da Vertex AI nos componentes de pipeline do Google Cloud e, em seguida, como fazer uma predição em lote usando o pipeline de previsão correspondente. Saiba mais sobre a previsão ARIMA+ do BigQuery ML para dados tabulares.

Etapas do tutorial

  • Treine o modelo ARIMA_PLUS do BigQuery ML.
  • Ver avaliação do modelo do BigQuery ML
  • Fazer uma previsão em lote com o modelo do BigQuery ML
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Componentes de pipeline do Google Cloud
Prophet para dados tabulares
Treinar um modelo profeta usando os fluxos de trabalho tabulares da Vertex AI
Saiba como criar vários modelos do Prophet usando um pipeline da Vertex AI de treinamento dos componentes de pipeline do Google Cloud e, em seguida, como fazer uma predição em lote usando o pipeline de previsão correspondente. Saiba mais sobre os componentes do pipeline do Google Cloud. Saiba mais sobre o profeta de dados tabulares.

Etapas do tutorial

  • 1. Treine os modelos profetas.
  • 1. Veja as métricas de avaliação.
  • 1. Fazer uma previsão em lote com os modelos do Profeta.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Fluxo de trabalho tabular para TabNet
Pipeline do TabNet.
Saiba como criar modelos de classificação em dados tabulares usando dois dos fluxos de trabalho tabulares da TabNet da Vertex AI. Saiba mais sobre o Fluxo de trabalho tabular para o TabNet.

Etapas do tutorial

  • Crie um Custom Job TabNet. Essa é a melhor opção se você souber quais hiperparâmetros usar no treinamento.
  • Crie um HyperparameterTuningJob do TabNet. Isso permite que você tenha o melhor conjunto de hiperparâmetros para seu conjunto de dados.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Fluxo de trabalho tabular para amplo e profundo
Pipeline amplo e profundo.
Saiba como criar dois modelos de classificação usando fluxos de trabalho tabulares profundos e amplos da Vertex AI. Saiba mais sobre o fluxo de trabalho tabular para largura e profundidade.

Etapas do tutorial

  • Crie um CustomJob profundo e amplo. Essa é a melhor opção se você souber quais hiperparâmetros usar no treinamento.
  • Crie um HyperparameterTuningJob amplo e profundo. Isso permite que você tenha o melhor conjunto de hiperparâmetros para seu conjunto de dados.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
Treinamento personalizado
Treinamento personalizado do Vertex AI TensorBoard com contêineres personalizados
Saiba como criar um job de treinamento personalizado usando contêineres personalizados e como monitorar o processo de treinamento no Vertex AI TensorBoard quase em tempo real. Saiba mais sobre o Vertex AI TensorBoard. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Criar repositório e configuração do docker.
  • Crie uma imagem de contêiner personalizada com seu código de treinamento personalizado.
  • Configurar a conta de serviço e os buckets do Google Cloud Storage.
  • Crie e inicie o job de treinamento personalizado com o contêiner personalizado.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
Treinamento personalizado
Treinamento personalizado do Vertex AI TensorBoard com contêineres pré-criados
Saiba como criar um job de treinamento personalizado usando contêineres pré-criados e como monitorar o processo de treinamento no Vertex AI TensorBoard quase em tempo real. Saiba mais sobre o Vertex AI TensorBoard. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Configure a conta de serviço e os buckets do Cloud Storage.
  • Escreva seu código de treinamento personalizado.
  • Empacotar e fazer upload do código de treinamento para o Cloud Storage
  • Crie e inicie seu job de treinamento personalizado com o Vertex AI TensorBoard ativado para monitoramento quase em tempo real.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
Ajuste de hiperparâmetros do Vertex AI TensorBoard com o painel do HParams
Neste bloco, você treinará um modelo e realizará o ajuste de hiperparâmetros usando o TensorFlow.

Etapas do tutorial

  • O TensorFlow é executado para registrar hiperparâmetros e métricas.
  • Inicie as execuções e registre todas elas em um diretório pai.
  • Visualize os resultados no painel HParams da Vertex AI TensorBoard.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Profiler
Vertex AI TensorBoard
Gere um perfil de desempenho do treinamento de modelo usando o Cloud Profiler.
Saiba como ativar o Criador de perfil para jobs de treinamento personalizados. Saiba mais sobre o Profiler. Saiba mais sobre o Vertex AI TensorBoard.

Etapas do tutorial

  • Criar uma conta de serviço e um bucket do Cloud Storage
  • Criar uma instância do TensorBoard da Vertex AI
  • Criar e executar um job de treinamento personalizado que ative o Profiler
  • Acessar o painel do Profiler para depurar o desempenho do treinamento de modelo.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Profiler
Vertex AI TensorBoard
Gere um perfil de desempenho de treinamento de modelo usando o Cloud Profiler no treinamento personalizado com contêiner pré-criado.
Saiba como ativar o Profiler na Vertex AI para jobs de treinamento personalizados com um contêiner pré-criado. Saiba mais sobre o Profiler. Saiba mais sobre o Vertex AI TensorBoard.

Etapas do tutorial

  • Preparar seu código de treinamento personalizado e carregar o código de treinamento como um pacote Python em um contêiner pré-criado
  • Criar e executar um job de treinamento personalizado que ative o Profiler
  • Acessar o painel do Profiler para depurar o desempenho do treinamento de modelo.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
Vertex AI Pipelines
Integração do TensorBoard da Vertex AI com pipelines da Vertex AI
Saiba como criar um pipeline de treinamento usando o SDK do KFP, executar o pipeline no Vertex AI Pipelines e como monitorar o processo de treinamento no Vertex AI TensorBoard quase em tempo real. Saiba mais sobre o Vertex AI TensorBoard. Saiba mais sobre Vertex AI Pipelines.

Etapas do tutorial

  • Configurar uma conta de serviço e buckets do Google Cloud Storage.
  • Criar um pipeline KFP com o código de treinamento personalizado
  • Compilar e executar o pipeline KFP no Vertex AI Pipelines com o TensorBoard da Vertex AI ativado para monitoramento quase em tempo real.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI: ajuste de hiperparâmetros
Ajuste de hiperparâmetros do Vertex AI distribuído.
Neste bloco, você criará um modelo treinado personalizado com um script Python em um contêiner do Docker. Saiba mais sobre o Ajuste de hiperparâmetros da Vertex AI.

Etapas do tutorial

  • Treinamento usando um pacote Python.
  • Gerar relatórios de precisão ao ajustar hiperparâmetros.
  • Salve os artefatos do modelo no Cloud Storage usando o Cloud StorageFuse.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Training
Comece a usar o Vertex AI Training para LightGBM.
Saiba como treinar um modelo personalizado do LightGBM usando o método de contêiner personalizado para o Vertex AI Training.

Etapas do tutorial

  • Treinamento usando um pacote Python.
  • Salve os artefatos do modelo no Cloud Storage usando o Cloud StorageFuse.
  • Criar um servidor de previsão FastAPI.
  • Criar uma imagem de implantação do Dockerfile para o servidor.
  • Testar a imagem de implantação localmente (opcional e não para usuários do Colab).
  • Criar um recurso Modelo da Vertex AI.
  • Executar um job de predição em lote.
  • Implantar o modelo em um endpoint e enviar solicitações de previsão on-line.
  • Limpar os recursos criados
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Treinamento distribuído da Vertex AI
Primeiros passos com o treinamento distribuído da Vertex AI
Saiba como usar o treinamento distribuído da Vertex AI ao treinar com Vertex AI. Saiba mais sobre o treinamento distribuído da Vertex AI.

Etapas do tutorial

Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI: ajuste de hiperparâmetros
Executar o ajuste de hiperparâmetros para um modelo do TensorFlow
Saiba como executar um job de ajuste de hiperparâmetros da Vertex AI para um modelo do TensorFlow. Saiba mais sobre o Ajuste de hiperparâmetros da Vertex AI.

Etapas do tutorial

  • Modificar o código do aplicativo de treinamento para ajuste do hiperparâmetro.
  • Faça a conteinerização do código do aplicativo de treinamento
  • Configurar e iniciar um job de ajuste de hiperparâmetros com o SDK da Vertex AI para Python
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Ajuste de hiperparâmetros da Vertex AI
Ajuste de hiperparâmetros do Vertex AI para XGBoost.
Saiba como usar o serviço de ajuste de hiperparâmetros da Vertex AI para treinar um modelo do XGBoost. Saiba mais sobre o Ajuste de hiperparâmetros da Vertex AI.

Etapas do tutorial

  • Treine usando um pacote de aplicativos de treinamento em Python.
  • Informe a acurácia durante o ajuste de hiperparâmetros.
  • Salve os artefatos do modelo no Cloud Storage usando o Cloud StorageFuse.
  • Liste o melhor modelo.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Training
Treinamento paralelo de dados distribuídos em vários nós para classificação de imagens do PyTorch na CPU usando o Vertex AI Training com contêiner personalizado.
Saiba como criar um job de treinamento distribuído do PyTorch usando o SDK da Vertex AI para Python e contêineres personalizados. Saiba mais sobre o Vertex AI Training.

Etapas do tutorial

  • Como configurar seu projeto do Google Cloud
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Training
Classificação de imagens do PyTorch usando treinamento paralelo de dados distribuídos em vários nós da NCCL na CPU e na Vertex AI.
Saiba como criar um job de treinamento distribuído do PyTorch usando o SDK da Vertex AI para Python e contêineres personalizados. Saiba mais sobre o Vertex AI Training.

Etapas do tutorial

  • Como criar um contêiner personalizado usando o Artifact Registry e o Docker.
  • Como criar uma instância do Vertex AI TensorBoard para armazenar o experimento da Vertex AI.
  • Execute um job de treinamento da Vertex AI usando o SDK da Vertex AI para Python.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Treinamento personalizado
Como treinar, ajustar e implantar um modelo de classificação de sentimento de texto do PyTorch na Vertex AI.
Saiba como criar, treinar, ajustar e implantar um modelo do PyTorch na Vertex AI. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Crie um pacote de treinamento para o modelo de classificação textual.
  • Treinar o modelo com treinamento personalizado na Vertex AI.
  • Verifique os artefatos do modelo criados.
  • Criar um contêiner personalizado para previsões.
  • Implantar o modelo treinado em um endpoint da Vertex AI usando o contêiner personalizado para previsões
  • Enviar solicitações de previsão on-line para o modelo implantado e validar.
  • Limpar os recursos criados neste notebook.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Integração do PyTorch na Vertex AI
Treine o modelo PyTorch na Vertex AI com dados do Cloud Storage.
Saiba como criar um job de treinamento usando o PyTorch e um conjunto de dados armazenado no Cloud Storage. Saiba mais sobre a integração do PyTorch na Vertex AI.

Etapas do tutorial

  • Escreva um script de treinamento personalizado que cria seus conjuntos de dados de treinamento e teste e que treina o modelo.
  • Como executar um CustomTrainingJob usando o SDK da Vertex AI para Python.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Treinamento distribuído
Como usar o torchrun do PyTorch para simplificar o treinamento de vários nós com contêineres personalizados.
Saiba como treinar um modelo do Imagenet usando a Torchrun do PyTorch em vários nós. Saiba mais sobre o treinamento distribuído.

Etapas do tutorial

  • Crie um script de shell para iniciar um cluster de ETCD no nó mestre
  • Criar um script de treinamento usando o código do repositório do GitHub do PyTorch Elastic
  • Criar contêineres que fazem o download dos dados e iniciar um cluster de ETCD no host
  • Treinar o modelo usando vários nós com GPUs
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Treinamento personalizado
Treinamento distribuído do XGBoost com o Dask.
Saiba como criar um job de treinamento distribuído usando o XGBoost com o Dask. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Configure as variáveis PROJECT_ID e LOCATION para seu projeto do Google Cloud.
  • Crie um bucket do Cloud Storage para armazenar os artefatos do modelo.
  • Crie um contêiner personalizado do Docker que hospede seu código de treinamento e envie a imagem do contêiner para o Artifact Registry.
  • Executar um CustomContainerTrainingJob do SDK da Vertex AI
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
vector_search
Usar embeddings multimodais da Vertex AI e o Vector Search.
Saiba como codificar embeddings de texto personalizados, criar um índice do vizinho mais perto aproximado e consultar índices.

Etapas do tutorial

  • Converter um conjunto de dados de imagens em embeddings.
  • Criar um índice.
  • Fazer upload de embeddings no índice
  • Criar um endpoint de índice
  • Implantar o índice no endpoint do índice
  • Realizar uma consulta on-line.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench

Pesquisa de vetor da Vertex AI
Como usar a pesquisa de vetor da Vertex AI em perguntas do StackOverflow.
Saiba como codificar embeddings de texto personalizados, criar um índice do vizinho mais perto aproximado e consultar índices. Saiba mais sobre a pesquisa de vetor da Vertex AI.

Etapas do tutorial

  • Criar um índice ANN.
  • Criar um endpoint de índice com rede VPC.
  • Implantar um índice ANN.
  • Executar uma consulta on-line.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Pesquisa de vetor da Vertex AI
Embeddings da Vertex AI para texto
Como usar a pesquisa de vetor da Vertex AI e os embeddings da Vertex AI para texto em perguntas do StackOverflow.
Saiba como codificar embeddings de texto, criar um índice do vizinho mais perto aproximado e consultar índices. Saiba mais sobre a pesquisa de vetor da Vertex AI. Saiba mais sobre embeddings da Vertex AI para texto.

Etapas do tutorial

  • Converter um conjunto de dados do BigQuery em embeddings
  • Criar um índice.
  • Fazer upload de embeddings no índice
  • Criar um endpoint de índice
  • Implantar o índice no endpoint do índice
  • Realizar uma consulta on-line.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench

Pesquisa de vetor da Vertex AI
Crie um índice de pesquisa de vetor da Vertex AI.
Saiba como criar o índice do vizinho mais perto aproximado, consultar índices e validar o desempenho do índice. Saiba mais sobre a pesquisa de vetor da Vertex AI.

Etapas do tutorial

  • Criar um índice ANN e um índice de força bruta.
  • Criar um IndexEndpoint com rede VPC
  • Implantar um índice de ANN e um índice de força bruta.
  • Executar uma consulta on-line.
  • Recall do Compute
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Vizier
Como otimizar vários objetivos com o Vertex AI Vizier
Saiba como usar o Vertex AI Vizier para otimizar um estudo com vários objetivos. Saiba mais sobre o Vertex AI Vizier.

Etapas do tutorial

Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Vizier
Primeiros passos com o Vertex AI Vizier.
Saiba como usar o Vertex AI Vizier ao treinar com a Vertex AI. Saiba mais sobre o Vertex AI Vizier.

Etapas do tutorial

  • Ajuste de hiperparâmetros com algoritmo aleatório.
  • Ajuste de hiperparâmetros com o algoritmo Vertex AI Vizier (bayesiano).
  • Como sugerir testes e atualizar resultados no estudo do Vertex AI Vizier
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex AI Training
Treinar um modelo de classificação multiclasse para segmentação de anúncios
Saiba como coletar dados do BigQuery, fazer o pré-processamento deles e treinar um modelo de classificação multiclasse em um conjunto de dados de e-commerce. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o Vertex AI Training.

Etapas do tutorial

  • Buscar os dados necessários do BigQuery
  • Pré-processar os dados
  • Treinar um modelo de classificação do TensorFlow (>=2,4)
  • Avaliar a perda do modelo treinado
  • Automatizar a execução do notebook usando o recurso de execução
  • Salvar o modelo em um caminho do Cloud Storage
  • Limpar os recursos criados
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex Explainable AI
Previsão de tarifa de táxi usando o conjunto de dados de corridas de táxi de Chicago.
O objetivo deste notebook é dar uma visão geral dos recursos da Vertex AI, como a Vertex Explainable AI e o BigQuery em Notebooks, ao tentar resolver um problema de previsão de tarifas de táxi. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre a Vertex Explainable AI.

Etapas do tutorial

  • Carregar o conjunto de dados usando o BigQuery no Notebooks.
  • Fazer análises de dados exploratórias no conjunto de dados
  • Seleção de atributos e pré-processamento.
  • Criar um modelo de regressão linear usando o scikitlearn
  • Como configurar o modelo da Vertex Explainable AI.
  • Implantar o modelo na Vertex AI.
  • Testar o modelo implantado.
  • Fazer a limpeza.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
Preveja a demanda de varejo com a Vertex AI e o BigQuery ML
Saiba como criar um modelo ARIMA (média móvel integrada autoregressiva) do BigQuery ML em dados de varejo Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o BigQuery ML.

Etapas do tutorial

  • Explorar dados
  • Modelo com o BigQuery e o modelo ARIMA
  • Avalie o modelo
  • Avaliar os resultados do modelo usando o BigQuery ML (em dados de treinamento)
  • Avaliar os resultados do modelo MAE, MAPE, MSE, RMSE (em dados de teste)
  • Usar o recurso de execução
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
Análise exploratória interativa dos dados do BigQuery em um notebook.
Saiba várias maneiras de explorar e receber insights dos dados do BigQuery em um ambiente de bloco do Jupyter. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o BigQuery ML.

Etapas do tutorial

  • Como usar Python e SQL para consultar dados públicos no BigQuery
  • Como analisar o conjunto de dados usando o BigQuery INFORMATION_SCHEMA
  • Criar elementos interativos para ajudar a explorar partes interessantes dos dados
  • Faça uma análise exploratória de séries temporais e correlação.
  • Como criar saídas estáticas e interativas (tabelas de dados e gráficos) no notebook
  • Salvar algumas saídas no Cloud Storage
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Workbench
Treinamento personalizado
Crie um modelo de detecção de fraudes na Vertex AI
Este tutorial demonstra a análise de dados e a criação de modelos usando um conjunto de dados financeiros sintéticos. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o treinamento personalizado.

Etapas do tutorial

  • Instalação das bibliotecas necessárias
  • Como ler o conjunto de dados de um bucket do Cloud Storage
  • Como fazer análises exploratórias no conjunto de dados
  • Pré-processamento do conjunto de dados
  • Como treinar um modelo aleatório de floresta usando o scikitlearn
  • Salvar o modelo em um bucket do Cloud Storage
  • Como criar um recurso de modelo da Vertex AI e implantar em um endpoint
  • Como executar a Ferramenta WhatIf nos dados de teste
  • Como remover a implantação do modelo e limpar os recursos dele
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML.
Saiba como treinar e avaliar um modelo de propensão no BigQuery ML. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o BigQuery ML.

Etapas do tutorial

  • Analise os dados exportados do Google Analytics 4 no BigQuery.
  • Preparar os dados de treinamento usando informações demográficas, dados comportamentais e rótulos (desligamento de usuários/não desligamento de usuários).
  • Treinar um modelo XGBoost usando o BigQuery ML
  • Avalie o modelo usando o BigQuery ML.
  • Use o BigQuery ML para prever quais usuários têm probabilidade de desistência.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex AI training
Manutenção preditiva usando a Vertex AI.
Saiba como usar o recurso executor do Vertex AI Workbench para automatizar um fluxo de trabalho para treinar e implantar um modelo. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o Vertex AI Training.

Etapas do tutorial

  • Carregar o conjunto de dados necessário de um bucket do Cloud Storage.
  • Analisar os campos presentes no conjunto de dados.
  • Seleção dos dados necessários para o modelo de manutenção preditiva.
  • Como treinar um modelo de regressão XGBoost para prever a vida útil restante.
  • Avaliar o modelo
  • Executar o notebook como um job de treinamento usando o Executor.
  • Implantar o modelo na Vertex AI.
  • Fazer a limpeza.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
Análise de otimização de preços nos dados de preços de CDM.
O objetivo deste bloco é criar um modelo de otimização de preços usando o BigQuery ML. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o BigQuery ML.

Etapas do tutorial

  • Carregar o conjunto de dados obrigatório de um bucket do Cloud Storage
  • Analise os campos presentes no conjunto de dados.
  • Processe os dados para criar um modelo.
  • Criar um modelo de previsão do BigQuery ML com base nos dados processados.
  • Receber valores previstos do modelo de ML do BigQuery.
  • Interpretar as previsões para identificar os melhores preços
  • Fazer a limpeza.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Workbench
Análise de sentimento para dados de texto
Análise de sentimento usando o AutoML Natural Language e a Vertex AI.
Saiba como treinar e implantar um modelo de análise de sentimento do AutoML e fazer previsões. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre a análise de sentimento para dados de texto.

Etapas do tutorial

  • Carregar os dados necessários
  • Como fazer o pré-processamento dos dados
  • Seleção dos dados necessários para o modelo.
  • Carregar o conjunto de dados nos conjuntos de dados gerenciados da Vertex AI;
  • Como treinar um modelo de sentimento usando o treinamento do AutoML Text.
  • Avaliar o modelo
  • Implantar o modelo na Vertex AI.
  • Como receber predições
  • Fazer a limpeza.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Workbench
Dataproc sem servidor para o Spark
Resumir e analisar dados do BigQuery com o Dataproc
Este tutorial do bloco executa um job do Apache Spark que busca dados no conjunto de dados "BigQuery Activity Data", consulta os dados e grava os resultados no BigQuery. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o Dataproc Serverless para Spark.

Etapas do tutorial

  • Configurar um projeto do Google Cloud e um cluster do Dataproc.
  • Como configurar o conector sparkbigqueryconnector.
  • Ingestão de dados do BigQuery em um DataFrame do Spark.
  • Pré-processamento de dados ingeridos.
  • Consulte a linguagem de programação mais usada em repositórios monoglot.
  • Consulte o tamanho médio (MB) de código em cada linguagem armazenada em repositórios monoglot.
  • Consulte os arquivos de idioma mais frequentemente encontrados em repositórios poliglotas.
  • Gravar os resultados da consulta de volta no BigQuery
  • Como excluir os recursos criados para este tutorial do notebook.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench
Vertex AI Workbench
Dataproc
SparkML com Dataproc e BigQuery
Este tutorial executa um job do Apache SparkML que busca dados no conjunto de dados do BigQuery, realiza análise de dados detalhada, limpa os dados, executa a engenharia de atributos, treina o modelo, avalia o modelo, gera resultados e salva o modelo em um bucket do Cloud Storage. Saiba mais sobre o Vertex AI Workbench. Saiba mais sobre o Dataproc.

Etapas do tutorial

  • Configura um projeto do Google Cloud e um cluster do Dataproc.
  • Cria um bucket do Cloud Storage e um conjunto de dados do BigQuery.
  • Configura o conector sparkbigqueryconnector.
  • Ingestão de dados do BigQuery em um DataFrame do Spark.
  • Fazer uma análise exploratória de dados (EDA, na sigla em inglês).
  • Visualize os dados com amostras.
  • Limpa os dados.
  • Seleciona os recursos.
  • Treina o modelo.
  • Saída de resultados.
  • Salva o modelo em um bucket do Cloud Storage.
  • Exclui os recursos criados para o tutorial.
Colab
Colab Enterprise
GitHub
Vertex AI Workbench