Esse documento contém uma lista de tutoriais de notebook para IA generativa na Vertex AI. São tutoriais completos que mostram como usar alguns dos LLMs do GenAI.
Tutoriais em destaque
Lista de tutoriais
| Gemini multimodal |
Introdução ao Gemini 1.5 Pro (pré-lançamento) Use o Gemini 1.5 Pro (pré-lançamento) para analisar arquivos de áudio, entender vídeos, extrair informações de um PDF e processar vários tipos de mídia simultaneamente. |
|
| Gemini multimodal |
Começar a usar o Gemini (cUrl) Use a API Gemini, que dá acesso aos modelos de linguagem grandes mais recentes do Google, com REST/curl. |
|
| Gemini multimodal |
Começar a usar o Gemini (SDK do Python) Use a API Gemini, que dá acesso aos modelos de linguagem grandes mais recentes do Google, com o SDK da Vertex AI para Python. |
|
| Gemini multimodal |
Casos de uso multimodais com o Gemini O modelo Gemini é um modelo de linguagem multimodal inovador desenvolvido pela IA do Google, capaz de extrair insights significativos de uma matriz diversificada de formatos de dados, incluindo imagens e vídeos. Este notebook explora vários casos de uso com prompts multimodais. |
|
| Avaliação do Gemini |
Primeiros passos com avaliação rápida no SDK da Vertex AI para Python Use a avaliação rápida para avaliar o modelo do Gemini em uma tarefa de avaliação, com o SDK da Vertex AI para Python. |
|
| Avaliação do Gemini |
Engenharia de comando, avaliação e modelos de comandos com o Gemini Use a avaliação rápida para engenharia e avaliação de comando com o modelo do Gemini e use o modelo de comando para o design de comandos com o SDK da Vertex AI para Python. |
|
| Avaliação do Gemini |
Pontuar e selecionar os modelos generativos Use a avaliação rápida para pontuar e avaliar diferentes modelos generativos em uma tarefa de avaliação específica. Depois, confira e compare os resultados da tarefa com o SDK da Vertex AI para Python. |
|
| Avaliação do Gemini |
Avaliar e selecionar as configurações de geração do modelo do Gemini Use a avaliação rápida para avaliar e selecionar a temperatura e outras configurações de geração de modelos do Gemini e comparar os resultados de métricas de diferentes configurações de geração em qualidade, fluência, segurança e verbosidade, com o SDK da Vertex AI para Python. |
|
| Avaliação do Gemini |
Defina as métricas de avaliação com o Gemini Use a avaliação rápida para avaliar com métricas de avaliação definidas de forma personalizada, com o SDK da Vertex AI para Python. |
|
| Avaliação do Gemini |
Avaliar a qualidade da chamada de função de modelo Gemini 1.0 Pro Gere chamadas de função com o modelo Gemini 1.0 Pro e use a avaliação rápida para avaliar a qualidade da chamada de função de modelo do Gemini 1.0 Pro com o SDK da Vertex AI para Python. |
|
| Streamlit multimodal do Gemini |
Implantar um app Streamlit no Cloud Run com o Gemini Pro Aplicativo de exemplo para implantar um aplicativo de bot de bate-papo simples usando o Streamlit no Cloud Run com o Gemini Pro. |
|
| Geração aumentada de recuperação multimodal do Gemini |
A partir do RAG, que é tradicionalmente realizado em dados de texto, este notebook mostra como é possível executar RAG em dados multimodais para fazer perguntas e respostas em um artigo científico que contém texto e imagens. |
|
| Gemini multimodal |
Como usar o Gemini no Education Uso do modelo Gemini na educação, com vários exemplos de comandos e em todas as modalidades, incluindo imagens e vídeo. |
|
| Gemini multimodal |
Como usar o Gemini para recomendações de varejo multimodais No mundo do varejo, as recomendações desempenham um papel fundamental em influenciar as decisões do cliente e aumentar as vendas. Neste notebook, você aprenderá como aproveitar o poder da multimodalidade para realizar recomendações de varejo e ajudar um cliente a escolher a melhor cadeira entre quatro imagens de cadeiras com base em uma imagem da sala de estar. |
|
| Chamada de função multimodal do Gemini |
Introdução às chamadas de função com o Gemini Use o modelo Gemini Pro para:
|
|
| Ajuste |
Ajustar modelos básicos com a Vertex AI Acompanhe todo o processo de configuração e integração. Da configuração do ambiente à seleção básica do modelo e, em seguida, ao ajuste com a Vertex AI. |
|
| Avaliação |
Serviços de avaliação de LLMs da Vertex AI Usar os serviços de avaliação de LLM da Vertex AI com outros serviços da Vertex AI. |
|
| LangChain |
Executar uma cadeia de linguagem Execute uma cadeia do LangChain e mostre detalhes do que está acontecendo em cada etapa da cadeia, com pontos de interrupção de depuração opcionais. |
|
| Texto |
Treinamento avançado em engenharia de comando Use a Cadeia de Pensamento e Reagir (raciocínio + ação) para criar comandos e reduzir alucinações. |
|
| Embeddings |
Usar embeddings da Vertex AI para pesquisa multimodal e de vetores Criar embeddings de texto para imagem usando o conjunto de dados DiffusionDB e o modelo de embeddings da Vertex AI para multimodal. Os embeddings são enviados para o serviço de Pesquisa de vetor, que é uma solução de alta escala e baixa latência para encontrar vetores semelhantes para um grande corpus. |
|
| Embeddings |
Pesquisa semântica usando embeddings. Crie um embedding gerado com base no texto e faça uma pesquisa semântica. Os embeddings são gerados usando o Google ScaNN: pesquisa eficiente por similaridade vetorial. |
|
| Avaliação |
AutoSxS: avaliar um LLM no Vertex AI Model Registry em relação a um modelo de terceiros Use a avaliação lado-a-lado automática (AutoSxS) da Vertex AI para avaliar o desempenho entre um modelo de IA generativa no registro de modelos da Vertex AI e um modelo de linguagem de terceiros. |
|
| Avaliação |
Use a avaliação lado-a-lado automática (AutoSxS) da Vertex AI para determinar o alinhamento do avaliador automático com os avaliadores humanos. |
|
| Ajuste |
Aprendizado por reforço do LLM da Vertex AI com feedback humano. Usar o RLHF da Vertex AI para ajustar um modelo de linguagem grande (LLM). Esse fluxo de trabalho melhora a acurácia de um modelo ajustando um modelo base com um conjunto de dados de treinamento. |
|
| Ajuste |
Inferência em lote da Vertex AI com modelos ajustados por RLHF Neste tutorial, demonstramos como realizar inferências em modelos de linguagem grande (LLMs, na sigla em inglês) OSS ajustados por RLHF com a Vertex AI. |
|
| Embeddings |
Teste os novos modelos de embedding de texto. |
|
| Ajuste |
Como ajustar um modelo PEFT com a Vertex AI. Ajuste um modelo de linguagem grande (LLM) PEFT e faça uma previsão. Esse fluxo de trabalho melhora a acurácia de um modelo ajustando um modelo base com um conjunto de dados de treinamento. |
|
| Texto |
Como usar o SDK da Vertex AI com modelos de linguagem grandes. Use o SDK da Vertex AI para executar modelos de linguagem grandes na Vertex AI. Teste, ajuste e implante modelos de linguagem de IA generativa. Comece explorando exemplos de resumo de conteúdo, análise de sentimento, chat, incorporação de texto e ajuste de comandos. |
|
Conversa de pesquisa da indexação do repositório de dados |
Verificador de status da Vertex AI para Pesquisa e Conversação O verificador de status da Vertex AI para Pesquisa e o Conversation Data Store é um notebook que usa a API Cloud Discovery Engine para buscar documentos indexados em um repositório de dados. Ele permite que o usuário execute as seguintes tarefas:
|
|
Chirp de reconhecimento de fala |
Comece a usar o Chirp no Google Cloud Este notebook é uma introdução ao Chirp, um serviço de conversão de voz em texto que usa a tecnologia de ponta do Google para reconhecimento de fala. Ele fornece uma interface simples e fácil de usar para que os desenvolvedores criem aplicativos habilitados para fala. |
|
Filtrar pesquisa de metadados |
Vertex AI para Pesquisa com filtros e metadados Vertex AI para Pesquisa é um serviço totalmente gerenciado que permite criar e implantar aplicativos de pesquisa no Google Cloud. Este notebook mostra como usar filtros e metadados em solicitações de pesquisa para a Vertex AI para Pesquisa. |
|
Geração de recuperação aumentada do documento com respostas a perguntas |
Documente perguntas e respostas com a geração de recuperação aumentada Este notebook demonstra como usar a Geração aumentada de recuperação (RAG, na sigla em inglês) para criar um sistema de respostas a perguntas para a documentação do Google. Ele mostra como usar o RAG para gerar um texto que responda a uma determinada pergunta e como usá-lo para melhorar o desempenho de um sistema de respostas a perguntas. |
|
Pesquisa de recuperação de geração de contratos |
Este notebook demonstra como usar a geração aumentada de recuperação para gerar textos de contrato. Ele usa os modelos Palm2 e LangChain, que são pré-treinados em grandes corpora de textos jurídicos e financeiros. |
|
Respostas a perguntas LangChain de pesquisa de geração aumentada para recuperação |
Responder a perguntas sobre documentos Este notebook mostra como fazer e responder perguntas sobre seus dados combinando um mecanismo de pesquisa da Vertex AI com LLMs. Especificamente, nos concentramos na consulta de dados "não estruturados", como PDFs e arquivos HTML. Para executar este notebook, é necessário ter criado um mecanismo de pesquisa não estruturado e processado documentos PDF ou HTML nele. |
|
Como responder a perguntas em massa na Vertex AI para Pesquisa |
Como responder a perguntas em massa com a Vertex AI para Pesquisa Este notebook mostra como responder a perguntas de um CSV usando um repositório de dados da Vertex AI para Pesquisa. Ele pode ser executado no Colab ou no Vertex AI Workbench. |
|
PaLM do LangChain de orquestração de linguagem |
Introdução ao LangChain 🦜️🔗 + API PaLM Este notebook fornece uma introdução ao LangChain, um framework de orquestração de modelos de linguagem. Ele mostra como usar o LangChain com a API PaLM para criar e implantar um modelo de geração de texto para texto. |
|
LangChain do carregador de dados do BigQuery |
Como usar o carregador de dados do BigQuery do LangChain 🦜️🔗 Este notebook demonstra como usar o carregador de dados do BigQuery do LangChain para carregar dados do BigQuery em um modelo do LangChain. O notebook fornece instruções detalhadas sobre como configurar o carregador de dados, carregar dados no modelo e treiná-lo. |
|
Geração de código, recuperação e aumento do código Codey |
Use a recuperação aumentada (RAG, na sigla em inglês) com APIs do Codey Este notebook demonstra como usar a Geração aumentada de recuperação (RAG) com as APIs do Codey. O RAG é uma técnica que combina a recuperação com a geração de código para produzir sugestões de preenchimento de código mais precisas e informativas. |
|
Linguagem de geração de código Codey |
Introdução às APIs Vertex AI Codey: geração de código Este notebook apresenta uma introdução às APIs Vertex AI Codey para geração de código. Ele aborda os conceitos básicos de como usar as APIs, incluindo como criar e implantar modelos de geração de código e como usá-los para gerar código. |
|
Geração de código de preenchimento de código do Codey |
Introdução às APIs Vertex AI Codey: preenchimento de código Este notebook demonstra como usar as APIs Vertex AI Codey para receber sugestões de preenchimento de código para seu código Python. Ele também mostra como usar as APIs para gerar snippets de código e executar esses snippets em um ambiente remoto. |
|
Geração de texto de geração de texto de bate-papo por código do Codey |
Introdução às APIs Vertex AI Codey: chat de código Este notebook é uma introdução às APIs Vertex AI Codey. Ele aborda os conceitos básicos de como usar as APIs, incluindo como criar e implantar modelos e como interagir com eles usando a CLI do Codey. |
|
SDK do Python para PaLM da linguagem |
Introdução à API PaLM e ao SDK do Python Este notebook apresenta uma introdução à API PaLM e ao SDK do Python. Ele aborda os princípios básicos de como usar a API, incluindo como criar e implantar modelos e como usar a API para gerar texto, traduzir idiomas e escrever diferentes tipos de conteúdo criativo. |
|
Solicitações de idioma |
Práticas recomendadas para o design de comandos Este notebook apresenta uma introdução ao design de comandos para modelos de linguagem baseados em texto. Ele aborda os conceitos básicos dos comandos, incluindo como funcionam e como escrevê-los. O notebook também dá dicas sobre como aprimorar os comandos e evitar armadilhas comuns. |
|
Text-extraction |
Resumo de texto com modelos generativos na Vertex AI Este notebook demonstra como usar modelos generativos para extrair texto de imagens. Ele usa o modelo de texto para imagem da biblioteca generative-ai da Vertex AI e o modelo de extração de texto da biblioteca de extração de texto da Vertex AI. |
|
Text-classification |
Resumo de texto com modelos generativos na Vertex AI Este notebook demonstra como usar modelos generativos para realizar classificação de texto na Vertex AI. Ele abrange os seguintes tópicos: * Como preparar os dados; * Como treinar um modelo; * Como implantar um modelo; * Como usar um modelo para classificar texto. |
|
Cadeia de pensamento React |
Este notebook apresenta a Chain of Thought and ReAct, duas ferramentas que podem ser usadas para melhorar o desempenho dos algoritmos de aprendizado por reforço. Cadeia de pensamento é uma técnica que pode ser usada para melhorar a eficiência da iteração de valor, enquanto ReAct é uma técnica que pode ser usada para melhorar a estabilidade de algoritmos de crítica. |
|
Ideação dos comandos de idioma |
Ideação com modelos generativos na Vertex AI Este notebook demonstra como usar modelos generativos para gerar texto, imagens e código. Ele também mostra como usar a Vertex AI para implantar e gerenciar modelos generativos. |
|
Resumo |
Resumo de texto com modelos generativos na Vertex AI Este notebook demonstra como usar a Vertex AI para treinar e implantar um modelo de resumo de texto. Ela usa o modelo BART, que é um modelo de linguagem grande pré-treinado em um grande conjunto de dados de texto. Em seguida, o modelo é ajustado em um conjunto de dados de resumos de texto e pode ser usado para gerar resumos de texto novo. |
|
Question-answering |
Como responder a perguntas com modelos generativos na Vertex AI Este notebook demonstra como usar modelos generativos para responder a perguntas de domínio aberto. Ele usa o modelo transformador da Vertex AI para gerar texto com base em uma determinada pergunta. |
|
Ajuste de implantação do modelo de base para geração de texto |
Como ajustar e implantar um modelo de base Neste notebook, mostramos como ajustar um modelo de fundação usando a Vertex AI. Ele também mostra como implantar o modelo ajustado em um endpoint da Vertex AI. |
|
Resumo de documentos |
Este notebook demonstra como usar o modelo t5 grande para resumir documentos grandes. O modelo é treinado com um enorme conjunto de dados de texto e código, podendo gerar resumos precisos e concisos. |
|
Resumo de documentos LangChain |
Resumo de texto de documentos grandes usando o LangChain Este notebook demonstra como usar o modelo LangChain para resumir documentos grandes. O LangChain é um modelo de linguagem grande que pode gerar texto, traduzir idiomas, escrever diferentes tipos de conteúdo criativo e responder a perguntas de maneira informativa. |
|
Resumo de documentos: resumo de texto de modelo de linguagem da Document AI |
Resumo com documentos grandes usando a Document AI e as APIs PaLM Este notebook demonstra como usar a Document AI e as APIs PaLM para resumir documentos grandes. Ele também mostra como usar a API Document AI para extrair entidades e frases-chave de um documento. |
|
Geração de texto do bot de chat |
GroceryBot, um assistente de receitas e mercearia de exemplo: RAG + ReAct Este notebook é sobre um assistente de receitas e mercearia que usa RAG e ReAct. Ele pode ajudar você a encontrar receitas, criar listas de compras e responder a perguntas sobre alimentos. |
|
Como responder a perguntas - LangChain de documento de controle de qualidade |
Pergunta ao responder com documentos grandes usando o LangChain 🦜🔗 Este notebook demonstra como usar o modelo LangChain para criar um sistema de respostas a perguntas sobre documentos longos. O modelo é treinado com um grande corpus de texto e pode ser usado para responder a perguntas sobre qualquer tópico. |
|
Respostas a perguntas Pesquisa de vetor do LangChain de documento-controle de qualidade |
Como responder a perguntas com documentos usando o LangChain 🦜️🔗 e a Vertex AI Vector Search Este notebook demonstra como usar o LangChain e a Vertex AI Vector Search (anteriormente Matching Engine) para criar um sistema de resposta a perguntas para documentos. O sistema pode responder a perguntas sobre entidades, datas e números em documentos. |
|
PaLM para respostas a perguntas da Document AI |
Respostas a perguntas usando documentos usando a Document AI, Pandas e PaLM Este notebook demonstra como usar a Document AI, o Pandas e o PaLM para criar um sistema de respostas a perguntas. Primeiro, ele usa a Document AI para extrair dados estruturados de um documento, depois usa o Pandas para criar um DataFrame com os dados extraídos e, por fim, usa o PaLM para gerar respostas para perguntas sobre os dados. |
|
Documento para responder perguntas - Controle de qualidade |
Como responder a perguntas com documentos grandes Este notebook demonstra como usar o serviço de respostas a perguntas da Vertex AI para criar um modelo de respostas a perguntas de documentos grandes. O modelo é treinado com um conjunto de dados de artigos da Wikipédia e pode responder a perguntas sobre diversos temas. |
|
Geração de imagens |
Gerador de descrição do produto com base em imagem Este notebook demonstra como gerar descrições de produtos a partir de imagens usando um modelo de texto para imagem. O modelo é treinado com um conjunto de dados de imagens de produtos e as descrições correspondentes. |
|
Generation Retail LangChain |
Este notebook demonstra como usar o modelo LangChain para gerar descrições de produtos otimizadas para SEO para o varejo. O modelo recebe como entrada uma lista de atributos do produto e gera uma breve descrição que destaca os principais recursos do produto. |
|
Geração de texto para DataFrames do BigQuery |
DataFrames do BigQuery ML: geração de nomes de medicamentos Este notebook demonstra como usar o DataFrames ML do BigQuery para gerar nomes de medicamentos. Ele usa um modelo de linguagem pré-treinado para gerar texto e, em seguida, filtra os resultados para remover nomes de medicamentos que já estão em uso. |
|
Geração de código para DataFrames do BigQuery |
Use BigQuery DataFrames com IA generativa para gerar códigos Este notebook demonstra como usar DataFrames do BigQuery com IA generativa para gerar código. Ele mostra como usar um modelo de linguagem pré-treinado para gerar um código que transforma uma tabela do BigQuery em um DataFrame do Pandas. |
|
Modelo de linguagem do BigQuery |
Como usar LLMs da Vertex AI com dados no BigQuery Este notebook demonstra como usar LLMs da Vertex AI com dados no BigQuery. Ele mostra como carregar dados do BigQuery, criar um modelo LLM e usá-lo para gerar texto com base nos dados. |
|
Visualização de similaridade de embeddings |
Como visualizar a semelhança de embedding de documentos de texto usando gráficos t-SNE Este notebook demonstra como visualizar a similaridade de embedding de documentos de texto usando gráficos t-SNE. Ele usa um conjunto de dados de avaliações de filmes do [conjunto de dados do IMDB](https://datasets.imdbws.com/). |
|
Pesquisa de vetores de embeddings de texto |
Introdução aos embeddings de texto + Vertex AI para Pesquisa de Vetores Este notebook apresenta uma introdução aos embeddings de texto e como usá-los com a Vertex AI Vector Search. Ele aborda os conceitos básicos de embeddings de texto, como treiná-los e como usá-los para realizar pesquisas de vetor. |
|
Pesquisa de vetor de embeddings |
Guia de início rápido do Vertex AI Vector Search Este notebook é um guia de início rápido para usar o Vector Search da Vertex AI. Ele abrange os conceitos básicos da pesquisa de vetor, incluindo como criar um índice de vetor, como fazer upload de dados para o índice e como realizar consultas de pesquisa de vetor. |
|
Geração de imagens doa Imagen 2 |
Geração de imagens com o Imagen na Vertex AI Neste bloco, você conhecerá os recursos de geração de imagens do Imagen que usam o SDK da Vertex AI para Python. Saiba mais sobre o recurso de geração de imagens do Imagen. |
|
Geração de imagem do Imagen 2 |
Criar recursos visuais de alta qualidade com o Imagen e o Gemini 1.0 Pro Neste bloco, você criará recursos visuais de alta qualidade para o cardápio de um restaurante usando o Imagen e o Gemini 1.0 Pro. Saiba mais sobre geração de imagens e modelos multimodais. |
|
Edição de imagens do Imagen 2 |
Neste bloco, você conhecerá os recursos de edição de imagens do Imagen que usam o SDK da Vertex AI para Python. |
|
Resposta visual a perguntas (VQA) de imagens do Imagen |
Respostas visuais a perguntas (VQA) com o Imagen na Vertex AI Este notebook demonstra como usar o Imagen para gerar imagens que respondem a determinadas perguntas. Ele também mostra como implantar um modelo na Vertex AI e usá-lo para gerar imagens em resposta a perguntas fornecidas pelo usuário. |
|
Legendas de imagens do Imagen |
Legendas visuais com o Imagen na Vertex AI Este notebook demonstra como usar o Imagen, um modelo de linguagem grande para geração de imagens, para gerar legendas para imagens. Ele também mostra como implantar o modelo na Vertex AI. |
A seguir
- Saiba mais sobre modelos de LLMs, Vertex AI e PaLM com tutoriais de notebooks.
- Confira mais recursos no repositório do GitHub da AI Generativa
- Veja outros tutoriais do notebook da Vertex AI na visão geral dos tutoriais.