Modèles compatibles avec le moteur RAG Vertex AI

Cette page liste les modèles Gemini, les modèles auto-déployés et les modèles avec API gérées sur Vertex AI qui sont compatibles avec le moteur RAG Vertex AI.

Modèles Gemini

Le tableau suivant répertorie les modèles Gemini et leurs versions compatibles avec le moteur RAG de Vertex AI :

Les modèles Gemini affinés ne sont pas compatibles lorsque les modèles Gemini utilisent le moteur RAG Vertex AI.

Modèles déployés automatiquement

Le moteur RAG Vertex AI est compatible avec tous les modèles de Model Garden.

Utilisez le moteur RAG Vertex AI avec vos points de terminaison de modèles ouverts auto-déployés.

Remplacez les variables utilisées dans l'exemple de code :

  • PROJECT_ID : ID de votre projet.
  • LOCATION : région dans laquelle traiter votre demande.

  • ENDPOINT_ID : ID de votre point de terminaison.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Modèles avec API gérées sur Vertex AI

Les modèles avec API gérées sur Vertex AI compatibles avec le moteur RAG de Vertex AI incluent les suivants :

L'exemple de code suivant montre comment utiliser l'API Gemini GenerateContent pour créer une instance de modèle génératif. L'ID du modèle, /publisher/meta/models/llama-3.1-405B-instruct-maas, se trouve dans la fiche du modèle.

Remplacez les variables utilisées dans l'exemple de code :

  • PROJECT_ID : ID de votre projet.
  • LOCATION : région dans laquelle traiter votre demande.

  • RAG_RETRIEVAL_TOOL : votre outil de récupération RAG.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

L'exemple de code suivant montre comment utiliser l'API ChatCompletions compatible avec OpenAI pour générer une réponse de modèle.

Remplacez les variables utilisées dans l'exemple de code :

  • PROJECT_ID : ID de votre projet.
  • LOCATION : région dans laquelle traiter votre demande.
  • MODEL_ID : LLM pour la génération de contenu. Exemple : meta/llama-3.1-405b-instruct-maas.
  • INPUT_PROMPT : texte envoyé au LLM pour la génération de contenu. Utilisez une requête adaptée aux documents dans Vertex AI Search.
  • RAG_CORPUS_ID : ID de la ressource du corpus RAG.
  • ROLE : votre rôle.
  • USER : votre nom d'utilisateur.

  • CONTENT : votre contenu.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

Étapes suivantes