生成模型

本页面列出了 Gemini 模型、自行部署的模型以及在 Vertex AI 上具有支持 RAG 的受管 API 的模型。

Gemini 模型

下表列出了支持 Vertex AI RAG Engine 的 Gemini 模型及其版本：

型号 版本
Gemini 2.0 Flash gemini-2.0-flash-001
Gemini 2.0 Flash-Lite gemini-2.0-flash-lite
Gemini 2.0 Pro (Experimental) gemini-2.0-pro-exp-02-05
Gemini 1.5 Flash gemini-1.5-flash-002
gemini-1.5-flash-001
Gemini 1.5 Pro gemini-1.5-pro-002
gemini-1.5-pro-001
Gemini 1.0 Pro gemini-1.0-pro-001
gemini-1.0-pro-002
Gemini 1.0 Pro Vision gemini-1.0-pro-vision-001
Gemini gemini-experimental

自行部署的模型

Vertex AI RAG Engine 支持 Model Garden 中的所有模型。

将 Vertex AI RAG Engine 与您自行部署的开放模型端点搭配使用。

替换代码示例中使用的变量：

  • PROJECT_ID：您的项目 ID。
  • LOCATION：处理请求的区域。

  • ENDPOINT_ID：您的端点 ID。

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Vertex AI 上具有托管 API 的模型

在 Vertex AI 上具有支持 Vertex AI RAG Engine 的托管 API 的模型包括：

以下代码示例演示了如何使用 Gemini GenerateContent API 创建生成式模型实例。模型 ID /publisher/meta/models/llama-3.1-405B-instruct-maas 位于模型卡片中。

替换代码示例中使用的变量：

  • PROJECT_ID：您的项目 ID。
  • LOCATION：处理请求的区域。

  • RAG_RETRIEVAL_TOOL：您的 RAG 检索工具。

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

以下代码示例演示了如何使用与 OpenAI 兼容的 ChatCompletions API 生成模型回答。

替换代码示例中使用的变量：

  • PROJECT_ID：您的项目 ID。
  • LOCATION：处理请求的区域。
  • MODEL_ID：用于内容生成的 LLM 模型。例如 meta/llama-3.1-405b-instruct-maas。
  • INPUT_PROMPT：发送到 LLM 用于生成内容的文本。使用与 Vertex AI Search 中文档相关的问题。
  • RAG_CORPUS_ID：RAG 语料库资源的 ID。
  • ROLE：您的角色。
  • USER：您的用户名。

  • CONTENT：您的内容。

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

后续步骤