了解 LLM、Gemini 模型和 Vertex AI

大语言模型 (LLM) 是使用大量文本数据训练的深度学习模型。LLM 可以翻译语言、总结文本、识别图片中的对象和文本，还可以对搜索引擎和推荐系统进行补充。

Google 提供了专为多模态应用场景设计的 Gemini 系列生成式 AI 模型；能够处理来自多种模态（包括图片、视频和文本）的信息。

如需查看更多学习资源，请浏览生成式 AI GitHub 代码库。Google 数据科学家、开发者和开发技术推广工程师负责管理这些内容。

开始使用

以下是一些笔记本、教程和其他示例，可帮助您入门。Vertex AI 提供使用 Vertex AI SDK for Python 的 Google Cloud 控制台教程和 Jupyter 笔记本教程。您可以在 Colab 中打开笔记本教程，或将笔记本下载到您的首选环境。

开始使用 Gemini

Gemini 模型是由 Google AI 开发的开创性多模态语言模型，能够从各种数据格式（包括图片和视频）中提取有意义的数据洞见。此笔记本探索使用多模态提示的各种应用场景。 Jupyter 笔记本：您可以将此教程作为 Jupyter 笔记本运行。 在 Colab 中运行 | 在 GitHub 上查看

Vertex AI Vertex AI Studio 使用入门

通过 Google Cloud 控制台使用 Vertex AI Studio，而无需使用 API 或 Python 版 Vertex AI SDK。 在 GitHub 上查看

提示设计的最佳实践

了解如何设计提示以提高模型回答的质量。本教程介绍了提示工程的基础知识，包括一些最佳做法。 Jupyter 笔记本：您可以将此教程作为 Jupyter 笔记本运行。 在 Colab 中运行 | 在 GitHub 上查看

LangChain 🦜️🔗

LangChain 是一个用于开发由 LLM 提供支持的应用（例如 Gemini 模型）的框架。使用 LangChain 可以将外部数据（例如文件、其他应用和 API 数据）引入您的 LLM。

如需详细了解 LangChain 及其如何与 Vertex AI 搭配使用，请参阅官方 LangChain 和 Vertex AI 文档。

使用 Gemini、Vector Search 和 LangChain 的多模态检索增强生成 (RAG)

检索增强生成 (RAG) 已成为使 LLM 能够访问外部数据的流行范式，同时也作为一种依据建立机制以减少幻觉。 了解如何执行多模态 RAG，您将基于包含文本和图片的财务文档进行问答活动。 Jupyter 笔记本：您可以将此教程作为 Jupyter 笔记本运行。 在 Colab 中运行 | 在 GitHub 上查看

使用 LangChain 🦜?️🔗? 和 BigQuery Vector Search 增强问答生成

了解如何实现一个问答系统 (QA) 系统，通过使用文档等外部数据源增强 LLM 的知识，来改善 LLM 的回答。此示例使用 Vertex AI Gemini 1.0 Pro for Text、Embeddings for Text API、BigQuery Vector Search 和 LangChain Jupyter 笔记本：您可以将此教程作为 Jupyter 笔记本运行。 在 Colab 中运行 | 在 GitHub 上查看

后续步骤

• 探索生成式 AI GitHub 制品库中的更多资源。
• 在教程概览中查看其他 Vertex AI 笔记本教程。