Vertex AI RAG Engine 지원 모델

이 페이지에는 Vertex AI RAG Engine을 지원하는 Vertex AI의 Gemini 모델, 자체 배포 모델, 관리 API가 있는 모델이 나열되어 있습니다.

Gemini 모델

다음 표에는 Vertex AI RAG 엔진을 지원하는 Gemini 모델과 해당 버전이 나와 있습니다.

Gemini 모델이 Vertex AI RAG Engine을 사용하는 경우 미세 조정된 Gemini 모델은 지원되지 않습니다.

자체 배포 모델

Vertex AI RAG Engine은 Model Garden의 모든 모델을 지원합니다.

자체 배포된 개방형 모델 엔드포인트와 함께 Vertex AI RAG Engine을 사용합니다.

코드 샘플에 사용된 변수를 바꿉니다.

  • PROJECT_ID: 프로젝트 ID.
  • LOCATION: 요청을 처리할 리전.

  • ENDPOINT_ID: 엔드포인트 ID입니다.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Vertex AI의 관리형 API가 있는 모델

Vertex AI에서 관리형 API를 사용하고 Vertex AI RAG Engine을 지원하는 모델은 다음과 같습니다.

다음 코드 샘플은 Gemini GenerateContent API를 사용하여 생성형 모델 인스턴스를 만드는 방법을 보여줍니다. 모델 ID(/publisher/meta/models/llama-3.1-405B-instruct-maas)는 모델 카드에서 확인할 수 있습니다.

코드 샘플에 사용된 변수를 바꿉니다.

  • PROJECT_ID: 프로젝트 ID.
  • LOCATION: 요청을 처리할 리전.

  • RAG_RETRIEVAL_TOOL: RAG 검색 도구입니다.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

다음 코드 샘플에서는 OpenAI 호환 ChatCompletions API를 사용하여 모델 응답을 생성하는 방법을 보여줍니다.

코드 샘플에 사용된 변수를 바꿉니다.

  • PROJECT_ID: 프로젝트 ID.
  • LOCATION: 요청을 처리할 리전.
  • MODEL_ID: 콘텐츠 생성을 위한 LLM 모델. 예를 들면 meta/llama-3.1-405b-instruct-maas입니다.
  • INPUT_PROMPT: 콘텐츠 생성을 위해 LLM에 전송된 텍스트입니다. Vertex AI Search의 문서와 관련된 프롬프트를 사용합니다.
  • RAG_CORPUS_ID: RAG 쿠퍼스 리소스의 ID.
  • ROLE: 역할
  • USER: 사용자 이름.

  • CONTENT: 콘텐츠

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

다음 단계