Vertex AI RAG Engine でサポートされているモデル

このページでは、Vertex AI RAG Engine をサポートする Gemini モデル、セルフデプロイ モデル、Vertex AI のマネージド API を使用するモデルについて説明します。

Gemini モデル

次の表に、Vertex AI RAG Engine をサポートする Gemini モデルとそれらのバージョンを示します。

Gemini モデルで Vertex AI RAG Engine を使用する場合、ファインチューニングされた Gemini モデルはサポートされていません。

セルフデプロイ モデル

Vertex AI RAG Engine は、Model Garden のすべてのモデルをサポートしています。

セルフデプロイしたオープンモデル エンドポイントで Vertex AI RAG Engine を使用します。

コードサンプルで使用されている変数を置き換えます。

  • PROJECT_ID: 実際のプロジェクト ID。
  • LOCATION: リクエストを処理するリージョン。

  • ENDPOINT_ID: エンドポイント ID。

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Vertex AI のマネージド API を使用するモデル

Vertex AI RAG Engine をサポートする Vertex AI のマネージド API を使用するモデルには、次のようなものがあります。

次のコードサンプルは、Gemini GenerateContent API を使用して生成モデル インスタンスを作成する方法を示しています。モデル ID /publisher/meta/models/llama-3.1-405B-instruct-maas は、モデルカードにあります。

コードサンプルで使用されている変数を置き換えます。

  • PROJECT_ID: 実際のプロジェクト ID。
  • LOCATION: リクエストを処理するリージョン。

  • RAG_RETRIEVAL_TOOL: RAG 取得ツール。

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

次のコードサンプルは、OpenAI 互換の ChatCompletions API を使用してモデル レスポンスを生成する方法を示しています。

コードサンプルで使用されている変数を置き換えます。

  • PROJECT_ID: 実際のプロジェクト ID。
  • LOCATION: リクエストを処理するリージョン。
  • MODEL_ID: コンテンツ生成用の LLM モデル。例: meta/llama-3.1-405b-instruct-maas。
  • INPUT_PROMPT: コンテンツ生成のために LLM に送信されるテキスト。Vertex AI Search のドキュメントに関連するプロンプトを使用します。
  • RAG_CORPUS_ID: RAG コーパス リソースの ID。
  • ROLE: ロール。
  • USER: ユーザー名。

  • CONTENT: コンテンツ。

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

次のステップ