Vertex AI RAG 引擎支援的模型

本頁面列出支援 Vertex AI RAG 引擎的 Gemini 模型、自行部署的模型，以及 Vertex AI 中具有受管理 API 的模型。

Gemini 模型

下表列出支援 Vertex AI RAG 引擎的 Gemini 模型和版本：

如果 Gemini 模型使用 Vertex AI RAG 引擎，則不支援微調 Gemini 模型。

自行部署的模型

Vertex AI RAG 引擎支援 Model Garden 中的所有模型。

搭配自行部署的開放原始碼模型端點使用 Vertex AI RAG 引擎。

取代程式碼範例中使用的變數：

  • PROJECT_ID：您的專案 ID。
  • LOCATION：處理要求的區域。

  • ENDPOINT_ID：端點 ID。

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Vertex AI 上的受管理 API 模型

Vertex AI 上的受管理 API 模型支援 Vertex AI RAG 引擎，包括：

以下程式碼範例示範如何使用 Gemini GenerateContent API 建立生成模型執行個體。模型 ID /publisher/meta/models/llama-3.1-405B-instruct-maas 位於模型資訊卡中。

取代程式碼範例中使用的變數：

  • PROJECT_ID：您的專案 ID。
  • LOCATION：處理要求的區域。

  • RAG_RETRIEVAL_TOOL：您的 RAG 檢索工具。

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

以下程式碼範例示範如何使用與 OpenAI 相容的 ChatCompletions API 生成模型回應。

取代程式碼範例中使用的變數：

  • PROJECT_ID：您的專案 ID。
  • LOCATION：處理要求的區域。
  • MODEL_ID：用於生成內容的大型語言模型。例如：meta/llama-3.1-405b-instruct-maas。
  • INPUT_PROMPT：傳送至大型語言模型以生成內容的文字。使用與 Vertex AI Search 文件相關的提示。
  • RAG_CORPUS_ID：RAG 語料庫資源的 ID。
  • ROLE：您的角色。
  • USER：您的使用者名稱。

  • CONTENT：您的內容。

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

後續步驟