Model generatif

Halaman ini mencantumkan model Gemini, model yang di-deploy sendiri, dan model dengan API terkelola di Vertex AI yang mendukung RAG.

Model Gemini

Tabel berikut mencantumkan model Gemini dan versinya yang mendukung Vertex AI RAG Engine:

Model Versi
Gemini 1.5 Flash gemini-1.5-flash-002
gemini-1.5-flash-001
Gemini 1.5 Pro gemini-1.5-pro-002
gemini-1.5-pro-001
Gemini 1.0 Pro gemini-1.0-pro-001
gemini-1.0-pro-002
Gemini 1.0 Pro Vision gemini-1.0-pro-vision-001
Gemini gemini-experimental

Model yang di-deploy sendiri

Vertex AI RAG Engine mendukung semua model di Model Garden.

Gunakan Vertex AI RAG Engine dengan endpoint model terbuka yang Anda deploy sendiri.

Ganti variabel yang digunakan dalam contoh kode:

  • PROJECT_ID: Project ID Anda.
  • LOCATION: Region untuk memproses permintaan Anda.

  • ENDPOINT_ID: ID endpoint Anda.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Model dengan API terkelola di Vertex AI

Model dengan API terkelola di Vertex AI yang mendukung Vertex AI RAG Engine mencakup hal berikut:

Contoh kode berikut menunjukkan cara menggunakan Gemini GenerateContent API untuk membuat instance model generatif. ID model, /publisher/meta/models/llama-3.1-405B-instruct-maas, ditemukan di kartu model.

Ganti variabel yang digunakan dalam contoh kode:

  • PROJECT_ID: Project ID Anda.
  • LOCATION: Region untuk memproses permintaan Anda.

  • RAG_RETRIEVAL_TOOL: Alat pengambilan RAG Anda.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

Contoh kode berikut menunjukkan cara menggunakan ChatCompletions API yang kompatibel dengan OpenAI untuk menghasilkan respons model.

Ganti variabel yang digunakan dalam contoh kode:

  • PROJECT_ID: Project ID Anda.
  • LOCATION: Region untuk memproses permintaan Anda.
  • MODEL_ID: Model LLM untuk pembuatan konten. Contohnya, meta/llama-3.1-405b-instruct-maas.
  • INPUT_PROMPT: Teks yang dikirim ke LLM untuk pembuatan konten. Gunakan perintah yang relevan dengan dokumen di Vertex AI Search.
  • RAG_CORPUS_ID: ID resource korpus RAG.
  • ROLE: Peran Anda.
  • USER: Nama pengguna Anda.

  • CONTENT: Konten Anda.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

Langkah selanjutnya