Memahami data Anda

Halaman ini menjelaskan cara mendasarkan respons menggunakan data dari Vertex AI Search (Pratinjau).

Menempatkan Gemini ke data Anda

Jika Anda ingin melakukan retrieval-augmented generation (RAG), hubungkan model Anda ke data situs atau kumpulan dokumen Anda, lalu gunakan Pemrosesan dengan Vertex AI Search.

Perujukan ke data Anda mendukung maksimal 10 sumber data Vertex AI Search dan dapat digabungkan dengan Perujukan dengan Google Penelusuran.

Model yang didukung

Bagian ini mencantumkan model yang mendukung grounding dengan data Anda. Untuk mengeksplorasi cara setiap model menghasilkan respons yang beralasan, ikuti petunjuk berikut:

  1. Coba model yang tercantum dalam tabel ini di konsol Google Cloud.

  2. Klik tombol Grounding ke posisi aktif.

  3. Klik Sesuaikan dan panel Sesuaikan Grounding akan ditampilkan.

  4. Pilih Vertex AI Search.

  5. Di bagian Grounding with Vertex AI Search, masukkan jalur datastore Vertex AI. Jika Anda tidak memiliki penyimpanan data Vertex AI, buat penyimpanan data. Untuk informasi selengkapnya, lihat Membuat penyimpanan data.

  6. Klik Simpan.

Model Deskripsi Mencoba model
Gemini 1.5 Pro
 Hanya input teks Coba model Gemini 1.5 Pro
Gemini 1.5 Flash
 Hanya input teks Coba model Gemini 1.5 Flash
Gemini 1.0 Pro
 Hanya input teks Coba model Gemini 1.0 Pro
Gemini 2.0 Flash
 Teks, kode, gambar, audio, video, video dengan audio, PDF Coba model Gemini 2.0 Flash

Prasyarat

Sebelum Anda dapat mendasarkan output model ke data, lakukan hal berikut:

  1. Aktifkan Vertex AI Agent Builder dan aktifkan API.
  2. Buat sumber data dan aplikasi Builder Agen Vertex AI.

Lihat Pengantar Vertex AI Search untuk mengetahui informasi selengkapnya.

Mengaktifkan Vertex AI Agent Builder

  1. Di konsol Google Cloud, buka halaman Agent Builder.

    Agent Builder

  2. Baca dan setujui persyaratan layanan, lalu klik Lanjutkan dan aktifkan API.

Vertex AI Agent Builder tersedia di lokasi global, atau multi-region eu dan us. Untuk mempelajari lebih lanjut, lihat Lokasi Vertex AI Agent Builder

Membuat penyimpanan data di Vertex AI Agent Builder

Untuk membuat penyimpanan data di Vertex AI Agent Builder, Anda dapat memilih untuk didasarkan pada data atau dokumen situs.

Situs

  1. Buka halaman Create Data Store dari Konsol Google Cloud.

  2. Di kotak Konten Situs, klik Pilih.
    Panel Tentukan situs untuk penyimpanan data Anda akan ditampilkan.

  3. Jika Pengindeksan situs lanjutan tidak dicentang, centang kotak Pengindeksan situs lanjutan untuk mengaktifkannya.
    Panel Konfigurasi penyimpanan data akan ditampilkan.

  4. Di bagian Tentukan pola URL yang akan diindeks, lakukan tindakan berikut:

    • Tambahkan URL untuk Situs yang akan disertakan.
    • Opsional: Tambahkan URL untuk Situs yang akan dikecualikan.

  5. Klik Lanjutkan.

  6. Di panel Configure your data store,

    1. Pilih nilai dari daftar Lokasi penyimpanan data Anda.
    2. Masukkan nama di kolom Nama penyimpanan data Anda. ID akan dibuat. Gunakan ID ini saat Anda membuat respons yang berdasar dengan penyimpanan data Anda. Untuk informasi selengkapnya, lihat Membuat respons yang beralasan dengan penyimpanan data Anda.
    3. Klik Buat.

Dokumen

  1. Buka halaman Create Data Store dari Konsol Google Cloud.

  2. Di kotak Cloud Storage, klik Select.
    Panel Import data from Cloud Storage akan ditampilkan.

  3. Di bagian Dokumen tidak terstruktur (PDF, HTML, TXT, dan lainnya), pilih Dokumen tidak terstruktur (PDF, HTML, TXT, dan lainnya).

  4. Pilih opsi Frekuensi sinkronisasi.

  5. Pilih opsi Pilih folder atau file yang ingin Anda impor, lalu masukkan jalur di kolom.

  6. Klik Lanjutkan.
    Panel Konfigurasikan penyimpanan data Anda akan ditampilkan.

  7. Di panel Configure your data store,

    1. Pilih nilai dari daftar Lokasi penyimpanan data Anda.
    2. Masukkan nama di kolom Nama penyimpanan data Anda. ID akan dibuat.
    3. Untuk memilih opsi penguraian dan pengelompokan untuk dokumen Anda, luaskan bagian Document Processing Options. Untuk informasi selengkapnya tentang parser yang berbeda, lihat Mengurai dokumen.
    4. Klik Buat.

  8. Klik Buat.

Membuat respons yang berdasar dengan penyimpanan data Anda

Gunakan petunjuk berikut untuk melandasi model dengan data Anda. Maksimum 10 penyimpanan data didukung.

Jika Anda tidak mengetahui ID penyimpanan data, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Vertex AI Agent Builder dan di menu navigasi, klik Data stores.

    Buka halaman Repositori data

  2. Klik nama penyimpanan data Anda.

  3. Di halaman Data untuk penyimpanan data Anda, dapatkan ID penyimpanan data.

Konsol

Untuk mem-ground output model ke Vertex AI Agent Builder menggunakan Vertex AI Studio di Konsol Google Cloud, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Vertex AI Studio, lalu klik tab Freeform.

    Buka Vertex AI Studio

  2. Di panel samping, klik tombol Ground model responses untuk mengaktifkan pentanahan.
  3. Klik Customize.
    1. Tetapkan Vertex AI Search sebagai sumber Anda.
    2. Dengan menggunakan format jalur ini, ganti Project ID penyimpanan data dan ID penyimpanan data:

      projects/project_id/locations/global/collections/default_collection/dataStores/data_store_id.

  4. Masukkan perintah Anda di kotak teks, lalu klik Kirim.

Respons perintah Anda didasarkan pada Vertex AI Agent Builder.

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Python Vertex AI.

Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

import vertexai

from vertexai.preview.generative_models import (
    GenerationConfig,
    GenerativeModel,
    Tool,
    grounding,
)

# TODO(developer): Update and un-comment below lines
# PROJECT_ID = "your-project-id"
# data_store_id = "your-data-store-id"

vertexai.init(project=PROJECT_ID, location="us-central1")

model = GenerativeModel("gemini-1.5-flash-001")

tool = Tool.from_retrieval(
    grounding.Retrieval(
        grounding.VertexAISearch(
            datastore=data_store_id,
            project=PROJECT_ID,
            location="global",
        )
    )
)

prompt = "How do I make an appointment to renew my driver's license?"
response = model.generate_content(
    prompt,
    tools=[tool],
    generation_config=GenerationConfig(
        temperature=0.0,
    ),
)

print(response.text)

REST

Untuk menguji prompt teks menggunakan Vertex AI API, kirim permintaan POST ke endpoint model penayang.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION: Region untuk memproses permintaan.
  • PROJECT_ID: Project ID Anda.
  • MODEL_ID: ID model model multimodal.
  • TEXT: Petunjuk teks yang akan disertakan dalam perintah.

Metode HTTP dan URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent

Meminta isi JSON: 

{
  "contents": [{
    "role": "user",
    "parts": [{
      "text": "TEXT"
    }]
  }],
  "tools": [{
    "retrieval": {
      "vertexAiSearch": {
        "datastore": projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID
      }
    }
  }],
  "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID"
}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

Anda akan melihat respons JSON seperti berikut:

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "text": "You can make an appointment on the website https://dmv.gov/"
          }
        ]
      },
      "finishReason": "STOP",
      "safetyRatings": [
        "..."
      ],
      "groundingMetadata": {
        "retrievalQueries": [
          "How to make appointment to renew driving license?"
        ],
        "groundingChunks": [
          {
            "retrievedContext": {
              "uri": "https://vertexaisearch.cloud.google.com/grounding-api-redirect/AXiHM.....QTN92V5ePQ==",
              "title": "dmv"
            }
          }
        ],
        "groundingSupport": [
          {
            "segment": {
              "startIndex": 25,
              "endIndex": 147
            },
            "segment_text": "ipsum lorem ...",
            "supportChunkIndices": [1, 2],
            "confidenceScore": [0.9541752, 0.97726375]
          },
          {
            "segment": {
              "startIndex": 294,
              "endIndex": 439
            },
            "segment_text": "ipsum lorem ...",
            "supportChunkIndices": [1],
            "confidenceScore": [0.9541752, 0.9325467]
          }
        ]
      }
    }
  ],
  "usageMetadata": {
    "..."
  }
}

Memahami respons Anda

Jika perintah model Anda berhasil dihubungkan ke penyimpanan data Vertex AI Search menggunakan Vertex AI Studio atau API, respons model akan menyertakan metadata dengan kutipan dan link sumber. Jika relevansi sumber rendah atau informasi tidak lengkap terjadi dalam respons model, maka metadata mungkin tidak diberikan, dan respons perintah tidak akan didasarkan.

Langkah berikutnya