了解 LLM、Gemini 模型和 Vertex AI

大语言模型 (LLM) 是使用大量文本数据训练的深度学习模型。LLM 可以翻译语言、总结文本、识别图片中的对象和文本,还可以对搜索引擎和推荐系统进行补充。

Google 提供了专为多模态应用场景设计的 Gemini 系列生成式 AI 模型;能够处理来自多种模态(包括图片、视频和文本)的信息。

如需查看更多学习资源,请浏览生成式 AI GitHub 代码库。Google 数据科学家、开发者和开发技术推广工程师负责管理这些内容。

开始使用

以下是一些笔记本、教程和其他示例,可帮助您入门。Vertex AI 提供使用 Vertex AI SDK for Python 的 Google Cloud 控制台教程和 Jupyter 笔记本教程。您可以在 Colab 中打开笔记本教程,或将笔记本下载到您的首选环境。

开始使用 Gemini

开始使用 Gemini

Gemini 模型是由 Google AI 开发的开创性多模态语言模型,能够从各种数据格式(包括图片和视频)中提取有意义的数据洞见。此笔记本探索使用多模态提示的各种应用场景。

Jupyter 笔记本:您可以将此教程作为 Jupyter 笔记本运行。
在 Colab 中运行 | 在 GitHub 上查看

Vertex AI Vertex AI Studio 使用入门

GenAI Studio 徽标

通过 Google Cloud 控制台使用 Vertex AI Studio,而无需使用 API 或 Python 版 Vertex AI SDK。

在 GitHub 上查看

提示设计的最佳实践

Model Garden 徽标

了解如何设计提示以提高模型回答的质量。本教程介绍了提示工程的基础知识,包括一些最佳做法。

Jupyter 笔记本:您可以将此教程作为 Jupyter 笔记本运行。
在 Colab 中运行 | 在 GitHub 上查看

LangChain 🦜️🔗

LangChain 是一个用于开发由 LLM 提供支持的应用(例如 Gemini 模型)的框架。使用 LangChain 可以将外部数据(例如文件、其他应用和 API 数据)引入您的 LLM。

如需详细了解 LangChain 及其如何与 Vertex AI 搭配使用,请参阅官方 LangChain 和 Vertex AI 文档

使用 Gemini、Vector Search 和 LangChain 的多模态检索增强生成 (RAG)

使用 Gemini、Vector Search 和 LangChain 的多模态检索增强生成 (RAG)

检索增强生成 (RAG) 已成为使 LLM 能够访问外部数据的流行范式,同时也作为一种依据建立机制以减少幻觉。

了解如何执行多模态 RAG,您将基于包含文本和图片的财务文档进行问答活动。

Jupyter 笔记本:您可以将此教程作为 Jupyter 笔记本运行。
在 Colab 中运行 | 在 GitHub 上查看

使用 LangChain 🦜?️🔗? 和 BigQuery Vector Search 增强问答生成

使用 LangChain 🦜?️🔗? 和 BigQuery Vector Search 增强问答生成

了解如何实现一个问答系统 (QA) 系统,通过使用文档等外部数据源增强 LLM 的知识,来改善 LLM 的回答。此示例使用 Vertex AI Gemini 1.0 Pro for Text、Embeddings for Text API、BigQuery Vector Search 和 LangChain

Jupyter 笔记本:您可以将此教程作为 Jupyter 笔记本运行。
在 Colab 中运行 | 在 GitHub 上查看

后续步骤