本文档包含一系列针对 Vertex AI 上的生成式 AI 的笔记本教程。这些端到端的教程展示如何使用部分 GenAI LLM。
精选教程
-
-
使用 Vertex AI Gemini API 和 Python SDK 进行函数调用
将 Vertex AI Gemini API 与 Vertex AI SDK for Python 搭配使用,通过 Gemini 1.0 Pro (
gemini-1.0-pro
) 模型进行函数调用。 -
教程列表
Gemini 多模态 |
使用 Gemini 1.5 Pro 可以分析音频文件、理解视频、从 PDF 中提取信息,以及同时处理多种类型的媒体。 |
|
Gemini 多模态 |
使用此笔记本可了解如何使用 Gemini 1.5 Pro 生成代码、汇总代码库、调试、改进代码以及评估代码。 |
|
Gemini 多模态 |
将可让您访问 Google 的最新大语言模型的 Gemini API 与 REST/curl 搭配使用。 |
|
Gemini 多模态 |
将可让您访问 Google 的最新大语言模型的 Gemini API 与 Python 版 Vertex AI SDK 搭配使用。 |
|
Gemini 多模态 |
Gemini 模型是由 Google AI 开发的开创性多模态语言模型,能够从各种数据格式(包括图片和视频)中提取有意义的数据洞见。此笔记本探索使用多模态提示的各种应用场景。 |
|
Gemini 评估 |
在 Vertex AI SDK for Python 中开始使用 Gen AI 评估服务 使用 Gen AI Evaluation Service SDK 通过 Python 版 Vertex AI SDK 在评估任务中评估 Gemini 模型。 |
|
Gemini 评估 |
使用 Gen AI Evaluation Service SDK 搭配 Python 版 Vertex AI SDK,通过 Gemini 模型实现提示工程和评估。 |
|
Gemini 评估 |
使用 Gen AI Evaluation Service SDK 比较和评估特定评估任务的不同生成式模型,然后使用 Vertex AI SDK for Python 直观呈现和比较该任务的评估结果。 |
|
Gemini 评估 |
借助 Python 版 Vertex AI SDK,使用 Gen AI Evaluation Service SDK 评估和选择 Gemini 的温度和其他模型生成配置,并比较不同生成设置的指标结果。 |
|
Gemini 评估 |
比较 PaLM 和 Gemini 模型并从 PaLM 迁移到 Gemini 模型 此笔记本将引导您使用 Gen AI Evaluation Service SDK 评估 PaLM 和 Gemini 基础模型,并使用多个评估指标,以便为从一个模型迁移到另一个模型的有关决策提供支持。这些指标以直观的形式呈现,可帮助您深入了解每个模型的优势和劣势,最终帮助您做出明智的决策,确定哪种模型最符合您的应用场景的特定要求。 |
|
Gemini 评估 |
Gen AI Evaluation Service SDK 预览版到正式版迁移指南 在本教程中,您将获得有关如何从预览版迁移到适用于 Gen AI Evaluation Service 的最新 Vertex AI Python SDK 正式版的详细指南,以评估检索增强生成 (RAG) 并并排比较两个模型 (SxS)。 |
|
Gemini 评估 |
借助 Python 版 Vertex AI SDK,使用 Gen AI Evaluation Service SDK 评估和选择 Gemini 的温度和其他模型生成配置,并比较不同生成设置的指标结果。 |
|
Gemini 评估 |
使用 Gen AI Evaluation Service SDK 自定义基于模型的指标,并借助 Vertex AI SDK for Python 基于您的条件评估生成式 AI 模型。 |
|
Gemini 评估 |
使用 Gen AI Evaluation Service SDK 通过本地定义的自定义指标评估生成式 AI 模型,并使用自己的自动评分模型通过 Vertex AI SDK for Python 执行基于模型的指标评估。 |
|
Gemini 评估 |
借助 Vertex AI SDK for Python,使用 Gen AI Evaluation Service SDK 通过本地定义的基于计算的自定义指标评估生成式 AI 模型。 |
|
Gemini 评估 |
使用 Gemini 1.0 Pro 模型生成函数调用,并借助 Vertex AI SDK for Python 使用 Gen AI Evaluation Service SDK 来评估 Gemini 1.0 Pro 模型函数调用质量。 |
|
Gemini 评估 |
使用 Gen AI Evaluation Service SDK 评估检索增强生成 (RAG) 所生成的回答以用于问答 使用 Gen AI Evaluation Service SDK 结合 Vertex AI SDK for Python 评估检索增强生成 (RAG) 所生成的回答以用于问答 (QA) 任务。 |
|
Gemini 多模态 Streamlit |
使用 Gemini Pro 将 Streamlit 应用部署到 Cloud Run 使用 Gemini Pro 将简单的 Streamlit 示例聊天机器人应用部署到 Cloud Run。 |
|
Gemini 多模态检索增强生成 |
此笔记本扩展了传统上对文本数据执行的 RAG,展示了如何对多模态数据执行 RAG,以根据包含文本和图片的科研论文进行问答。 |
|
Gemini 多模态 |
在教育领域使用 Gemini 模型,提供各种提示示例,并支持包括图片和视频在内的多种模态。 |
|
Gemini 多模态 |
在零售行业,推荐对于影响客户决策和促进销售具有重要作用。在此笔记本中,您将学习如何利用多模态的强大功能执行零售推荐,以根据客户的客厅图片,在四张椅子图片中帮助客户选择最适合的椅子。 |
|
Gemini 多模态函数调用 |
使用 Dialogflow Pro 模型执行以下任务:
|
|
调优 |
完成整个设置和集成过程。从环境设置到基础模型选择,再到使用 Vertex AI 进行调整。 |
|
评估 |
将 Vertex AI LLM 评估服务与其他 Vertex AI 服务结合使用。 |
|
LangChain |
运行 Langchain 链并输出链中每个步骤发生的详细情况,并可设置可选的调试断点。 |
|
文本 |
使用思维链和 ReAct(推理 + 动作)来设计提示并减少幻觉。 |
|
Embeddings |
使用 Vertex AI Embeddings for Multimodal 和 Vector Search 使用 DiffusionDB 数据集和 Vertex AI Embeddings for Multimodal 模型来创建文本转图片嵌入。嵌入会上传到 Vector Search 服务,这是一项大规模、低延迟的解决方案,可用于针对大型语料库查找类似向量。 |
|
Embeddings |
创建根据文本生成的嵌入并执行语义搜索。嵌入使用“Google ScaNN:高效的向量相似度搜索”生成。 |
|
评估 |
AutoSxS:针对第三方模型评估 Vertex AI Model Registry 中的 LLM 使用 Vertex AI 自动并排评估 (AutoSxS) 来评估 Vertex AI Model Registry 中的生成式 AI 模型与第三方语言模型之间的性能。 |
|
评估 |
使用 Vertex AI 自动并排评估 (AutoSxS) 来确定自动评估器与人工标注者的相符程度。 |
|
调优 |
使用 Vertex AI RLHF 调整大语言模型 (LLM)。此工作流使用训练数据集微调基本模型,从而提高模型的准确率。 |
|
调优 |
使用 RLHF 调优的模型进行 Vertex AI 批量推理 本教程演示了如何使用 Vertex AI 对经过 RLHF 调优的 OSS 大语言模型 (LLM) 进行端到端推理。 |
|
Embeddings |
试用新的文本嵌入模型。 |
|
调优 |
调整 PEFT 大语言模型 (LLM) 并进行预测。此工作流使用训练数据集微调基本模型,从而提高模型的准确率。 |
|
文本 |
使用 Vertex AI SDK 在 Vertex AI 上运行大语言模型。测试、调整和部署生成式 AI 语言模型。通过探索内容摘要、情感分析、聊天、文本嵌入和提示调优的示例来入门。 |
|
数据存储区索引搜索对话 |
Vertex AI Search and Conversation 数据存储区状态检查器 Vertex AI Search and Conversation 数据存储区状态检查器是一个笔记本,它使用 Cloud Discovery Engine API 检查数据存储区中是否有已编入索引的文档。它可让用户执行以下任务:
|
|
语音识别 Chirp |
此笔记本是 Chirp 的简介,Chirp 是一种使用 Google 最先进的语音识别技术的语音转文字服务。它为开发者提供了简单易用的界面来构建支持语音的应用。 |
|
过滤元数据搜索 |
Vertex AI Search 是一项全托管式服务,可让您在 Google Cloud 上构建和部署搜索应用。此笔记本展示了如何在对 Vertex AI Search 的搜索请求中使用过滤条件和元数据。 |
|
文档问答检索增强生成 |
此笔记本演示了如何使用检索增强生成 (RAG) 为 Google 文档构建问答系统。它展示了如何使用 RAG 生成用于回答给定问题的文本,以及如何使用 RAG 来改善问答系统的性能。 |
|
合同生成检索搜索 |
检索增强生成(使用开源向量存储区)- 采购合同分析师 - Palm2 和 LangChain 此笔记本演示了如何使用检索增强生成生成合同文本。它使用 Palm2 和 LangChain 模型,这些模型根据大量法律和金融文本进行了预训练。 |
|
问答检索增强生成搜索 LangChain |
此笔记本展示了如何通过将 Vertex AI Search 引擎与 LLM 结合来针对数据进行问答。具体而言,我们主要查询 PDF 和 HTML 文件等“非结构化”数据。为了运行此笔记本,您必须创建一个非结构化的搜索引擎,并向其注入 PDF 或 HTML 文档。 |
|
批量问答 Vertex AI Search 问答搜索 |
此笔记本显示如何使用 Vertex AI Search 数据存储区回答 CSV 中的问题。它可以在 Colab 或 Vertex AI Workbench 中运行。 |
|
语言编排 LangChain PaLM |
此笔记本简要介绍了语言模型编排框架 LangChain。它展示了如何使用 LangChain 和 PaLM API 来创建和部署文本到文本生成模型。 |
|
BigQuery 数据加载器 LangChain |
如何使用 LangChain 🦜️🔗 BigQuery 数据加载器 此笔记本演示了如何使用 LangChain BigQuery 数据加载器将数据从 BigQuery 加载到 LangChain 模型中。笔记本提供了关于设置数据加载器、将数据加载到模型中以及训练模型的分步说明。 |
|
代码代码生成检索增强生成 Codey |
将检索增强生成 (RAG) 与 Codey API 搭配使用 此笔记本演示了如何将检索增强生成 (RAG) 与 Codey API 搭配使用。RAG 是一种将代码检索与代码生成相结合的技术,可以生成更准确的且信息丰富的代码补全建议。 |
|
Codey 代码生成语言 |
Vertex AI Codey API 使用入门 - 代码生成 此笔记本简要介绍了用于生成代码的 Vertex AI Codey API。其中介绍了关于如何使用 API 的基础知识,包括如何创建和部署代码生成模型以及如何使用模型生成代码。 |
|
Codey 补全代码生成 |
Vertex AI Codey API 使用入门 - 代码补全 此笔记本演示了如何使用 Vertex AI Codey API 获取 Python 代码的代码补全建议。此外,还展示了如何使用 API 生成代码段并在远程环境中运行代码段。 |
|
Codey 代码聊天聊天代码生成文本生成 |
Vertex AI Codey API 使用入门 - 代码聊天 此笔记本是 Vertex AI Codey API 的简介。其中介绍了有关如何使用 API 的基础知识,包括如何创建和部署模型,以及如何使用 Codey CLI 与模型进行交互。 |
|
语言 PaLM Python SDK |
此笔记本介绍了 PaLM API 和 Python SDK。其中介绍了关于如何使用 API 的基础知识,包括如何创建和部署模型,以及如何使用 API 生成文本、翻译语言和编写不同类型的创意内容。 |
|
语言提示 |
此笔记本介绍了基于文本的语言模型的提示设计。其中介绍了提示的基础知识,包括提示的工作原理和编写方式。笔记本还提供了有关改进提示和避免常见错误的建议。 |
|
文本提取 |
此笔记本演示了如何使用生成模型从图片中提取文本。它使用 Vertex AI 生成式 AI 库中的文本转图片模型以及 Vertex AI 文本提取库中的文本提取模型。 |
|
文本分类 |
此笔记本演示了如何使用生成模型在 Vertex AI 上执行文本分类。其中包括以下主题: * 准备数据 * 训练模型 * 部署模型 * 使用模型对文本进行分类 |
|
思维链 ReAct |
此笔记本介绍了思维链和 ReAct,这两种工具可用于提高强化学习算法的性能。思维链是一种可用于提高值迭代效率的方法,而 ReAct 可用于提高演员-评论家算法的稳定性。 |
|
语言提示构思 |
此笔记本演示了如何使用生成模型生成文本、图片和代码。还展示了如何使用 Vertex AI 部署和管理生成模型。 |
|
摘要 |
此笔记本演示了如何使用 Vertex AI 训练和部署文本摘要模型。它使用 BART 模型,这个大语言模型已使用大型文本数据集进行预训练,然后根据文本摘要数据集进行微调,可用于生成新文本的摘要。 |
|
问答 |
此笔记本演示了如何使用生成模型来回答开放领域问题。它使用 Vertex AI Transformer 模型根据给定问题生成文本。 |
|
文本生成基础模型调优部署 |
此笔记本展示了如何使用 Vertex AI 调整基础模型。还介绍了如何将调整后的模型部署到 Vertex AI 端点。 |
|
文档摘要摘要 |
此笔记本演示了如何使用 t5 大型模型来对大型文档进行摘要。该模型根据大型文本和代码数据集训练,可以生成准确而简洁的摘要。 |
|
文档摘要 LangChain 摘要 |
此笔记本演示了如何使用 LangChain 模型对大型文档进行摘要。LangChain 是一种大语言模型,可生成文本、翻译语言、撰写不同类型的创意内容,以及通过丰富的信息回答问题。 |
|
文档摘要 Document AI 语言模型摘要文本摘要 |
使用 Document AI 和 PaLM API 对大型文档进行摘要 此笔记本演示了如何使用 Document AI 和 PaLM API 对大型文档进行摘要。还介绍了如何使用 Document AI API 从文档中提取实体和关键短语。 |
|
聊天机器人文本生成 |
GroceryBot,示例购物和食谱助理 - RAG + ReAct 此笔记本是关于使用 RAG 和 ReAct 的示例购物和食谱助理。它可以帮助您寻找食谱、创建购物清单并回答有关食品的问题。 |
|
问答文档问答 LangChain |
此笔记本演示了如何使用 LangChain 模型构建一个可以回答有关长文档的问题的问答系统。该模型根据大型文本语料库训练,可用于回答有关任何主题的问题。 |
|
问答文档问答 - LangChain Vector Search |
使用 LangChain 🦜️🔗 和 Vertex AI Vector Search 根据文档进行问答 此笔记本演示了如何使用 LangChain 和 Vertex AI Vector Search(以前称为 Matching Engine)构建文档的问答系统。该系统可以回答有关文档中的实体、日期和数字的问题。 |
|
Document AI 问答 PaLM |
使用 Document AI、Pandas 和 PaLM 根据文档进行问答 此笔记本演示了如何使用 Document AI、Pandas 和 PaLM 构建问答系统。它首先使用 Document AI 从文档中提取结构化数据,然后使用 Pandas 根据提取的数据创建 DataFrame,最后使用 PaLM 生成关于数据的问题的回答。 |
|
问答文档问答 |
此笔记本演示了如何使用 Vertex AI Question Answering 服务来构建可根据大型文档回答问题的问答模型。该模型基于维基百科文章的数据集进行训练,可以回答有关各种主题的问题。 |
|
图片生成 |
此笔记本演示了如何使用文本转图片模型根据图片生成商品说明。该模型基于商品图片数据集及其相应说明进行训练。 |
|
生成零售 LangChain |
DescriptionGen:使用 LangChain 🦜🔗 为零售商生成搜索引擎优化 (SEO) 的商品说明 此笔记本演示了如何使用 LangChain 模型为零售商生成搜索引擎优化 (SEO) 的商品说明。该模型接受输入的商品属性列表,并输出一段突出产品主要功能的简短说明。 |
|
BigQuery DataFrame 文本生成 |
此笔记本演示了如何使用 BigQuery DataFrames ML 生成药品名称。它使用预训练的语言模型生成文本,然后过滤结果以移除已在使用的药品名称。 |
|
BigQuery DataFrames 代码生成 |
将 BigQuery DataFrames 与生成式 AI 搭配使用来生成代码 此笔记本演示了如何将 BigQuery DataFrames 与生成 AI 搭配使用来生成代码。它展示了如何使用预训练的语言模型生成用于将 BigQuery 表转换为 Pandas DataFrame 的代码。 |
|
BigQuery 语言模型 |
将 Vertex AI LLM 与 BigQuery 中的数据搭配使用 此笔记本演示了如何将 Vertex AI LLM 与 BigQuery 中的数据搭配使用。它展示了如何从 BigQuery 加载数据、创建 LLM 模型,然后使用该模型根据数据生成文本。 |
|
嵌入相似度可视化 |
此笔记本演示了如何使用 t-SNE 图表直观呈现文本文档的嵌入相似度。它使用 [IMDB 数据集](https://datasets.imdbws.com/) 中的电影评论。 |
|
文本嵌入 Vector Search |
文本嵌入 + Vertex AI Vector Search 使用入门 此笔记本简要介绍了文本嵌入,以及如何将其与 Vertex AI Vector Search 搭配使用。其中介绍了文本嵌入的基础知识、如何训练文本嵌入以及如何使用它们执行向量搜索。 |
|
嵌入 Vector Search |
此笔记本是使用 Vertex AI Vector Search 的快速入门。其中介绍了向量搜索的基础知识,包括如何创建向量索引、如何将数据上传到索引,以及如何执行向量搜索查询。 |
|
Imagen 3 图片生成 |
在此笔记本中,您将使用 Vertex AI SDK for Python 以及 Imagen 3 标准和低延迟模型来探索 Imagen 的图片生成功能。详细了解 Imagen 的图片生成功能。 |
|
Imagen 2 图片生成 |
在此笔记本中,您将使用 Vertex AI SDK for Python 探索 Imagen 的图片生成功能。详细了解 Imagen 的图片生成功能。 |
|
Imagen 3 图片生成 |
使用 Imagen 3 和 Gemini 1.5 Pro 创建高画质视觉素材资源 在此笔记本中,您将使用 Imagen 3 和 Gemini 1.5 Pro 为餐厅菜单创建高画质视觉素材资源。详细了解图片生成和多模态模型。 |
|
Imagen 2 图片修改 |
使用自动生成的蒙版区域通过 Imagen 2 编辑创建高画质视觉素材资源 在此笔记本中,您将使用 Vertex AI SDK for Python 探索 Imagen 的图片修改功能。 |
|
Imagen 图片 Visual Question Answering (VQA) |
使用 Imagen on Vertex AI 进行视觉问答 (VQA) 此笔记本演示了如何使用 Imagen 生成能够回答给定问题的图片。它还展示了如何将模型部署到 Vertex AI 并使用模型生成图片来回答用户提供的问题。 |
|
Imagen 图片标注 |
此笔记本演示了如何使用 Imagen(用于生成图片的大语言模型)为图片生成标注。还展示了如何在 Vertex AI 上部署模型。 |
后续步骤
- 通过笔记本教程了解 LLM、Vertex AI 和 PaLM 模型。
- 探索生成式 AI GitHub 制品库中的更多资源。
- 在教程概览中查看其他 Vertex AI 笔记本教程。