Untuk membuat penyimpanan data dan menyerap data untuk penelusuran, buka bagian untuk sumber yang akan Anda gunakan:
- Membuat data store menggunakan konten situs
- Mengimpor dari BigQuery
- Mengimpor dari Cloud Storage
- Sinkronkan dari Google Drive
- Mengimpor dari Cloud SQL
- Mengimpor dari Spanner (Pratinjau publik)
- Mengimpor dari Firestore
- Mengimpor dari Bigtable (Pratinjau Publik)
- Impor dari AlloyDB untuk PostgreSQL (Pratinjau Publik)
- Mengupload data JSON terstruktur dengan API
- Membuat penyimpanan data menggunakan Terraform
Untuk menyinkronkan data dari sumber data pihak ketiga, lihat Menghubungkan sumber data pihak ketiga.
Batasan
Jika memiliki kebijakan organisasi CMEK, Anda harus membuat penyimpanan data baru menggunakan API, bukan konsol Google Cloud. Pembuatan penyimpanan data baru menggunakan Konsol Google Cloud akan gagal jika Anda mengaktifkan kebijakan organisasi CMEK. Untuk mengetahui informasi selengkapnya tentang dukungan CMEK untuk Vertex AI Search, lihat Kunci enkripsi yang dikelola pelanggan.
Membuat penyimpanan data menggunakan konten situs
Gunakan prosedur berikut untuk membuat penyimpanan data dan mengindeks situs.
Untuk menggunakan penyimpanan data situs setelah membuatnya, Anda harus melampirkan penyimpanan data tersebut ke aplikasi yang mengaktifkan fitur Enterprise. Anda dapat mengaktifkan Edisi Perusahaan untuk aplikasi saat Anda membuatnya. Hal ini akan menimbulkan biaya tambahan. Lihat Buat aplikasi penelusuran dan Tentang fitur lanjutan.
Konsol
Untuk menggunakan konsol Google Cloud guna membuat penyimpanan data dan mengindeks situs, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Agent Builder.
Di menu navigasi, klik Penyimpanan Data.
Klik Buat penyimpanan data.
Di halaman Sumber, pilih Konten Situs.
Pilih apakah akan mengaktifkan Pengindeksan situs web lanjutan untuk penyimpanan data ini. Opsi ini tidak dapat diaktifkan atau dinonaktifkan nanti.
Pengindeksan situs lanjutan menyediakan fitur tambahan seperti ringkasan penelusuran, penelusuran dengan tindak lanjut, dan jawaban ekstraktif. Pengindeksan situs lanjutan akan dikenai biaya tambahan, dan mengharuskan Anda memverifikasi kepemilikan domain untuk situs apa pun yang Anda indeks. Untuk mengetahui informasi selengkapnya, lihat Pengindeksan situs lanjutan dan Harga.
Di kolom Situs yang akan disertakan, masukkan pola URL yang cocok dengan situs web yang ingin Anda sertakan dalam penyimpanan data Anda. Sertakan satu URL pola per baris, tanpa pemisah koma. Sebagai contoh,
www.example.com/docs/*
Opsional: Di kolom Situs yang akan dikecualikan, masukkan pola URL yang ingin Anda ingin dikecualikan dari penyimpanan data Anda.
Untuk melihat jumlah pola URL yang dapat disertakan atau dikecualikan, lihat Data situs.
Klik Lanjutkan.
Pilih lokasi untuk penyimpanan data Anda. Pengindeksan situs lanjutan harus diaktifkan untuk memilih lokasi.
Masukkan nama untuk penyimpanan data Anda.
Klik Create. Vertex AI Search menyediakan penyimpanan data menampilkan penyimpanan data Anda di halaman Penyimpanan Data.
Untuk melihat informasi tentang penyimpanan data, klik nama penyimpanan data Anda di kolom Nama. Halaman penyimpanan data Anda akan muncul.
- Jika Anda mengaktifkan Pengindeksan situs lanjutan, peringatan akan muncul yang meminta Anda memverifikasi domain di penyimpanan data.
- Jika Anda mengalami kekurangan kuota (jumlah laman di situs web yang yang Anda tentukan melebihi "Jumlah dokumen per project" kuota untuk project Anda), peringatan tambahan muncul dan meminta Anda untuk mengupgrade kuota.
Guna memverifikasi domain untuk pola URL di penyimpanan data Anda, ikuti petunjuk di halaman Verifikasi domain situs.
Untuk mengupgrade kuota, ikuti langkah-langkah berikut:
- Klik Upgrade kuota. Halaman IAM and Admin dari Konsol Google Cloud akan muncul.
- Ikuti petunjuk di Meminta batas kuota yang lebih tinggi dalam dokumentasi Google Cloud. Tujuan kuota yang ditingkatkan adalah Jumlah dokumen di Discovery Engine API tambahan.
- Setelah mengirimkan permintaan untuk batas kuota yang lebih tinggi, kembali ke halaman Agent Builder, lalu klik Data Stores di menu navigasi.
- Klik nama penyimpanan data Anda di kolom Nama. Kolom Status menunjukkan bahwa pengindeksan sedang berlangsung untuk situs yang telah melampaui kuota. Saat kolom Status untuk URL menampilkan Diindeks, fitur pengindeksan situs lanjutan akan tersedia untuk pola URL atau URL tersebut.
Untuk mengetahui informasi selengkapnya, lihat Kuota untuk halaman web pengindeksan di bagian "Kuota dan batas" kami.
Python
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Python Vertex AI Agent Builder.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor situs
Langkah berikutnya
Untuk melampirkan penyimpanan data situs ke aplikasi, buat aplikasi dengan fitur Enterprise yang diaktifkan dan pilih penyimpanan data Anda dengan mengikuti langkah-langkah di Membuat aplikasi penelusuran.
Untuk melihat pratinjau tampilan hasil penelusuran setelah aplikasi dan datastore disetel, lihat Mendapatkan hasil penelusuran.
Impor dari BigQuery
Anda dapat membuat penyimpanan data dari tabel BigQuery dengan dua cara:
Penyerapan satu kali: Anda mengimpor data dari tabel BigQuery ke penyimpanan data. Data di penyimpanan data tidak akan berubah kecuali jika Anda secara manual memuat ulang data.
Penyerapan berkala: Anda mengimpor data dari satu atau beberapa BigQuery tabel, dan menetapkan frekuensi sinkronisasi yang menentukan seberapa sering data telah diperbarui dengan data terbaru dari BigQuery {i>dataset<i} aslinya.
Tabel berikut membandingkan dua cara untuk mengimpor BigQuery ke dalam penyimpanan data Vertex AI Search.
Penyerapan satu kali | Penyerapan berkala |
---|---|
Tersedia secara umum (GA). | Pratinjau publik. |
Data harus diperbarui secara manual. | Data diperbarui secara otomatis setiap 1, 3, atau 5 hari. Data tidak boleh di-refresh secara manual. |
Vertex AI Search membuat satu penyimpanan data dari satu penyimpanan tabel di BigQuery. | Vertex AI Search membuat konektor data untuk set data BigQuery dan penyimpanan data (disebut penyimpanan data entity) untuk setiap tabel yang ditentukan. Untuk setiap data konektor, tabel tersebut harus memiliki jenis data yang sama (misalnya, terstruktur) dan berada di set data BigQuery yang sama. |
Data dari beberapa tabel dapat digabungkan dalam satu penyimpanan data dengan terlebih dahulu menyerap data dari satu tabel, lalu data lainnya dari sumber lain atau tabel BigQuery. | Karena impor data manual tidak didukung, data dalam penyimpanan data entity hanya dapat bersumber dari satu tabel BigQuery. |
Kontrol akses sumber data didukung. | Kontrol akses sumber data tidak didukung. Data yang diimpor dapat berisi kontrol akses, tetapi kontrol ini tidak akan dipatuhi. |
Anda dapat membuat penyimpanan data menggunakan Konsol Google Cloud atau API. | Anda harus menggunakan konsol untuk membuat konektor data dan entitasnya penyimpanan data. |
Sesuai dengan CMEK. | Tidak mematuhi CMEK. |
Mengimpor sekali dari BigQuery
Untuk menyerap data dari tabel BigQuery, gunakan langkah-langkah berikut untuk membuat penyimpanan data dan menyerap data menggunakan konsol Google Cloud atau API.
Sebelum mengimpor data, tinjau artikel Menyiapkan data untuk penyerapan.
Konsol
Untuk menggunakan konsol Google Cloud guna menyerap data dari BigQuery, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Agent Builder.
Buka halaman Penyimpanan Data.
Klik New data store.
Di halaman Source, pilih BigQuery.
Pilih jenis data yang Anda impor.
Klik Satu kali.
Di kolom BigQuery path, klik Browse, pilih tabel yang telah siap untuk penyerapan, lalu klik Pilih. Atau, masukkan lokasi tabel langsung di jalur BigQuery kolom tersebut.
Klik Lanjutkan.
Jika Anda melakukan impor satu kali data terstruktur:
Petakan kolom ke properti utama.
Jika ada kolom penting yang tidak ada dalam skema, gunakan Tambahkan kolom baru untuk menambahkannya.
Untuk informasi selengkapnya, lihat Tentang deteksi dan pengeditan otomatis.
Klik Lanjutkan.
Pilih region untuk penyimpanan data Anda.
Masukkan nama untuk penyimpanan data Anda.
Klik Create.
Untuk memeriksa status penyerapan, buka halaman Penyimpanan Data dan klik nama penyimpanan data untuk melihat detailnya di halaman Data. Saat kolom status pada tab Aktivitas berubah dari Dalam proses ke Impor selesai, penyerapan selesai.
Tergantung pada ukuran data Anda, penyerapan dapat memerlukan beberapa menit hingga beberapa jam.
REST
Untuk menggunakan command line guna membuat penyimpanan data dan mengimpor data dari BigQuery, ikuti langkah-langkah berikut.
Membuat penyimpanan data.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"] }'
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.DATA_STORE_ID
: ID penyimpanan data Vertex AI Search yang ingin Anda buat. ID ini hanya boleh berisi huruf kecil huruf, angka, garis bawah, dan tanda hubung.DATA_STORE_DISPLAY_NAME
: nama tampilan penyimpanan data Vertex AI Search yang ingin Anda buat.
Opsional: Jika Anda mengupload data tidak terstruktur dan ingin mengonfigurasi penguraian dokumen atau mengaktifkan pengelompokan dokumen untuk RAG, tentukan objek
documentProcessingConfig
dan sertakan dalam permintaan pembuatan penyimpanan data Anda. Sebaiknya konfigurasikan parser OCR untuk PDF jika Anda menyerap PDF yang dipindai. Untuk mengetahui cara mengonfigurasi opsi penguraian atau pengelompokan, lihat Mengurai dan mengelompokkan dokumen.Mengimpor data dari BigQuery.
Jika Anda menentukan skema, pastikan data sesuai dengan skema tersebut.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "bigquerySource": { "projectId": "PROJECT_ID", "datasetId":"DATASET_ID", "tableId": "TABLE_ID", "dataSchema": "DATA_SCHEMA", "aclEnabled": "BOOLEAN" }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", "errorConfig": { "gcsPrefix": "ERROR_DIRECTORY" } }'
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.DATA_STORE_ID
: ID penyimpanan data Vertex AI Search.DATASET_ID
: ID set data BigQuery.TABLE_ID
: ID tabel BigQuery.- Jika tabel BigQuery
tidak dalam
PROJECT_ID, Anda harus memberikan akun layanan
service-<project number>@gcp-sa-discoveryengine.iam.gserviceaccount.com
"BigQuery Data Viewer" izin untuk BigQuery. Misalnya, jika Anda mengimpor tabel BigQuery dari project sumber "123" dapat project tujuan "456", beriservice-456@gcp-sa-discoveryengine.iam.gserviceaccount.com
izin akses untuk tabel BigQuery di bawah proyek "123".
- Jika tabel BigQuery
tidak dalam
PROJECT_ID, Anda harus memberikan akun layanan
DATA_SCHEMA
: Opsional. Nilainya adalahdocument
dancustom
. Defaultnya adalahdocument
.document
: tabel BigQuery yang Anda gunakan harus sesuai dengan skema BigQuery default yang disediakan di Menyiapkan data untuk ditransfer. Anda dapat menentukan sendiri ID setiap dokumen, sambil membungkus semua data dalam string jsonData.custom
: Semua tabel BigQuery skema akan diterima, dan Vertex AI Search akan otomatis menghasilkan ID untuk setiap dokumen yang diimpor.
ERROR_DIRECTORY
: Opsional. Direktori Cloud Storage informasi error tentang impor—misalnya,gs://<your-gcs-bucket>/directory/import_errors
. Google merekomendasikan membiarkan kolom ini kosong agar Vertex AI Search membuat direktori sementara secara otomatis.RECONCILIATION_MODE
: Opsional. Nilainya adalahFULL
danINCREMENTAL
. Default-nya adalahINCREMENTAL
. MenentukanINCREMENTAL
akan menyebabkan pembaruan data inkremental dari BigQuery ke penyimpanan data Anda. Ini melakukan operasi pembaruan dan penyisipan, yang menambahkan dokumen dan mengganti dokumen yang ada dengan dokumen yang diperbarui dengan ID yang sama. MenentukanFULL
akan menyebabkan rebase penuh dokumen di penyimpanan data Anda. Dengan kata lain, baru dan diperbarui dokumen ditambahkan ke penyimpanan data Anda, dan dokumen yang di BigQuery dihapus dari penyimpanan data Anda. Tujuan ModeFULL
berguna jika Anda ingin menghapus dokumen secara otomatis yang tidak lagi Anda perlukan.AUTO_GENERATE_IDS
: Opsional. Menentukan apakah akan membuat ID dokumen secara otomatis. Jika ditetapkan ketrue
, ID dokumen akan dibuat berdasarkan hash payload. Perhatikan bahwa ID dokumen yang dihasilkan mungkin tidak tetap konsisten di beberapa impor. Jika Anda membuat ID secara otomatis dalam beberapa impor, Google sangat merekomendasikan setelanreconciliationMode
keFULL
untuk mempertahankan ID dokumen yang konsisten.Tentukan
autoGenerateIds
hanya jikabigquerySource.dataSchema
ditetapkan kecustom
. Jika tidak, errorINVALID_ARGUMENT
adalah dikembalikan. Jika tidak menentukanautoGenerateIds
atau menetapkannya kefalse
, Anda harus menentukanidField
. Jika tidak, dokumen akan gagal diimpor.ID_FIELD
: Opsional. Menentukan kolom mana yang merupakan ID dokumen. Untuk file sumber BigQuery,idField
menunjukkan nama kolom dalam tabel BigQuery yang berisi ID dokumen.Tentukan
idField
hanya jika: (1)bigquerySource.dataSchema
ditetapkan kecustom
, dan (2)auto_generate_ids
disetel kefalse
atau belum ditetapkan. Jika tidak, errorINVALID_ARGUMENT
akan ditampilkan.Nilai nama kolom BigQuery harus jenis string, harus terdiri dari 1 hingga 63 karakter, dan harus sesuai ke RFC-1034. Jika tidak, dokumen tidak akan berhasil diimpor.
C#
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API C# Vertex AI Agent Builder.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Go
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Go Vertex AI Agent Builder.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Java
Untuk informasi selengkapnya, lihat Vertex AI Agent Builder Java API dokumentasi referensi.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Node.js
Untuk informasi selengkapnya, lihat Vertex AI Agent Builder Node.js API dokumentasi referensi.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Python
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Python Vertex AI Agent Builder.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Ruby
Untuk informasi selengkapnya, lihat Vertex AI Agent Builder Ruby API dokumentasi referensi.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Menghubungkan ke BigQuery dengan sinkronisasi berkala
Sebelum mengimpor data, tinjau artikel Menyiapkan data untuk penyerapan.
Prosedur berikut menjelaskan cara membuat konektor data yang mengaitkan set data BigQuery dengan data Vertex AI Search dan cara menentukan tabel pada {i>dataset<i} untuk setiap penyimpanan data yang Anda inginkan buat. Penyimpanan data yang merupakan turunan dari konektor data disebut entity penyimpanan data.
Data dari set data disinkronkan secara berkala ke penyimpanan data entity. Anda dapat menentukan sinkronisasi setiap hari, setiap tiga hari, atau setiap lima hari.
Konsol
Untuk menggunakan Konsol Google Cloud guna membuat konektor yang menyinkronkan data secara berkala dari set data BigQuery ke Vertex AI Search, ikuti langkah-langkah langkah:
Di konsol Google Cloud, buka halaman Agent Builder.
Di menu navigasi, klik Penyimpanan Data.
Klik Buat penyimpanan data.
Di halaman Source, pilih BigQuery.
Pilih jenis data yang akan diimpor.
Klik Periodik.
Pilih Frekuensi sinkronisasi, seberapa sering Anda ingin konektor Vertex AI Search disinkronkan dengan set data BigQuery. Anda dapat mengubah frekuensinya nanti.
Di kolom BigQuery dataset path, klik Browse, pilih set data yang berisi tabel yang telah Anda persiapkan untuk penyerapan. Atau, masukkan lokasi tabel secara langsung di kolom BigQuery path. Format jalur adalah
projectname.datasetname
.Di kolom Tabel yang akan disinkronkan, klik Jelajahi, lalu pilih tabel yang berisi data yang Anda inginkan untuk penyimpanan data Anda.
Jika ada tabel tambahan dalam set data yang ingin Anda gunakan untuk penyimpanan data, klik Tambahkan tabel dan tentukan tabel tersebut juga.
Klik Lanjutkan.
Pilih region untuk penyimpanan data Anda, masukkan nama untuk konektor data Anda, lalu klik Create.
Sekarang Anda telah membuat konektor data, yang akan menyinkronkan data secara berkala dengan set data BigQuery. Selain itu, Anda telah membuat satu atau beberapa penyimpanan data entity. Penyimpanan data memiliki nama yang sama dengan BigQuery tabel sementara.
Untuk memeriksa status penyerapan Anda, buka halaman Penyimpanan Data lalu klik nama konektor data Anda untuk melihat detailnya di Data-nya halaman > Tab Aktivitas penyerapan data. Saat kolom status di Tab Aktivitas berubah dari Dalam proses menjadi berhasil, yang pertama penyerapan selesai.
Bergantung pada ukuran data Anda, proses transfer dapat memerlukan waktu beberapa menit hingga beberapa jam.
Setelah Anda menyiapkan sumber data dan mengimpor data untuk pertama kalinya, penyimpanan data menyinkronkan data dari sumber tersebut dengan frekuensi yang Anda pilih selama penyiapan. Sekitar satu jam setelah konektor data dibuat, sinkronisasi pertama akan terjadi. Sinkronisasi berikutnya kemudian terjadi sekitar 24 jam, 72 jam, atau 120 jam kemudian.
Langkah berikutnya
Untuk melampirkan penyimpanan data ke aplikasi, buat aplikasi dan pilih penyimpanan data Anda dengan mengikuti langkah-langkah di Membuat aplikasi penelusuran.
Untuk melihat pratinjau tampilan hasil penelusuran Anda setelah aplikasi dan data store Anda menyiapkan, melihat Mendapatkan hasil penelusuran.
Impor dari Cloud Storage
Anda dapat membuat penyimpanan data dari tabel Cloud Storage dengan dua cara:
Penyerapan satu kali: Anda mengimpor data dari folder atau file Cloud Storage ke penyimpanan data. Data di penyimpanan data tidak akan berubah kecuali jika Anda memuat ulang data secara manual.
Penyerapan berkala: Anda mengimpor data dari folder atau file Cloud Storage, dan menetapkan frekuensi sinkronisasi yang menentukan seberapa sering penyimpanan data diperbarui dengan data terbaru dari lokasi Cloud Storage tersebut.
Tabel berikut membandingkan dua cara yang dapat Anda gunakan untuk mengimpor data Cloud Storage ke penyimpanan data Vertex AI Search.
Penyerapan satu kali | Penyerapan berkala |
---|---|
Tersedia secara umum (GA). | Pratinjau publik. |
Data harus diperbarui secara manual. | Data diperbarui secara otomatis setiap satu, tiga, atau lima hari. Data tidak boleh di-refresh secara manual. |
Vertex AI Search membuat satu penyimpanan data dari satu folder atau file di Cloud Storage. | Vertex AI Search membuat konektor data, dan menghubungkan penyimpanan data (disebut penyimpanan data entity) dengannya untuk file atau folder yang ditentukan. Setiap konektor data Cloud Storage dapat memiliki satu penyimpanan data entitas. |
Data dari beberapa file, folder, dan bucket dapat digabungkan dalam satu penyimpanan data dengan terlebih dahulu menyerap data dari satu lokasi Cloud Storage, lalu data lainnya dari lokasi lain. | Karena impor data manual tidak didukung, data dalam entity penyimpanan data hanya dapat bersumber dari satu file atau folder Cloud Storage. |
Kontrol akses sumber data didukung. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses sumber data. | Kontrol akses sumber data tidak didukung. Data yang diimpor dapat berisi kontrol akses, tetapi kontrol ini tidak akan dipatuhi. |
Anda dapat membuat penyimpanan data menggunakan Konsol Google Cloud atau API. | Anda harus menggunakan konsol untuk membuat konektor data dan entitasnya penyimpanan data. |
Mematuhi kebijakan CMEK. | Tidak mematuhi CMEK. |
Mengimpor sekali dari Cloud Storage
Untuk menyerap data dari Cloud Storage, gunakan langkah-langkah berikut untuk membuat penyimpanan dan penyerapan data menggunakan Konsol Google Cloud atau API.
Sebelum mengimpor data, tinjau artikel Menyiapkan data untuk penyerapan.
Konsol
Agar dapat menggunakan konsol untuk menyerap data dari bucket Cloud Storage, ikuti langkah-langkah berikut langkah:
Di konsol Google Cloud, buka halaman Agent Builder.
Buka halaman Penyimpanan Data.
Klik New data store.
Di halaman Source, pilih Cloud Storage.
Di bagian Pilih folder atau file yang ingin Anda impor, pilih Folder atau File.
Klik Browse dan pilih data yang telah Anda siapkan untuk ditransfer, lalu klik Select. Atau, masukkan lokasi langsung di kolom
gs://
.Pilih jenis data yang Anda impor.
Klik Lanjutkan.
Jika Anda melakukan impor satu kali data terstruktur:
Petakan kolom ke properti utama.
Jika ada kolom penting yang tidak ada dalam skema, gunakan Tambahkan kolom baru untuk menambahkannya.
Untuk informasi selengkapnya, lihat Tentang deteksi otomatis dan edit.
Klik Lanjutkan.
Pilih region untuk penyimpanan data Anda.
Masukkan nama untuk penyimpanan data Anda.
Opsional: Jika memilih dokumen tidak terstruktur, Anda dapat memilih opsi penguraian dan pembagian untuk dokumen Anda. Untuk membandingkan parser, lihat Mengurai dokumen. Untuk informasi tentang pengelompokan, lihat Membuat dokumen bagian untuk RAG.
Parser OCR dan parser tata letak dapat menimbulkan biaya tambahan. Lihat Harga fitur Dokumentasi AI.
Untuk memilih parser, luaskan Document processing options dan tentukan opsi parser yang ingin Anda gunakan.
Klik Create.
Untuk memeriksa status penyerapan, buka halaman Penyimpanan Data dan klik nama penyimpanan data untuk melihat detailnya di halaman Data. Saat kolom status pada tab Aktivitas berubah dari Dalam proses ke Impor selesai, penyerapan selesai.
Bergantung pada ukuran data Anda, proses transfer dapat memerlukan waktu beberapa menit atau beberapa jam.
REST
Untuk menggunakan command line guna membuat penyimpanan data dan menyerap data dari Cloud Storage, ikuti langkah-langkah berikut.
Membuat penyimpanan data.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"], "contentConfig": "CONTENT_REQUIRED", }'
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.DATA_STORE_ID
: ID penyimpanan data Vertex AI Search yang ingin Anda buat. ID ini hanya boleh berisi huruf kecil huruf, angka, garis bawah, dan tanda hubung.DATA_STORE_DISPLAY_NAME
: nama tampilan penyimpanan data Vertex AI Search yang ingin Anda buat.
Opsional: Untuk mengonfigurasi penguraian dokumen atau mengaktifkan pengelompokan dokumen untuk RAG, tentukan objek
documentProcessingConfig
dan sertakan dalam permintaan pembuatan penyimpanan data Anda. Mengonfigurasi Parser OCR untuk PDF direkomendasikan jika Anda menyerap PDF hasil pemindaian. Untuk mengetahui cara mengonfigurasi opsi penguraian atau pengelompokan, lihat Mengurai dan mengelompokkan dokumen.Mengimpor data dari Cloud Storage.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "gcsSource": { "inputUris": ["INPUT_FILE_PATTERN_1", "INPUT_FILE_PATTERN_2"], "dataSchema": "DATA_SCHEMA", }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", "errorConfig": { "gcsPrefix": "ERROR_DIRECTORY" } }'
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.DATA_STORE_ID
: ID penyimpanan data Vertex AI Search.INPUT_FILE_PATTERN
: Pola file di Cloud Storage yang berisi dokumen Anda.Untuk data terstruktur atau untuk data tidak terstruktur dengan metadata, contoh pola file input adalah
gs://<your-gcs-bucket>/directory/object.json
dan contoh pola yang cocok dengan satu atau lebih file adalahgs://<your-gcs-bucket>/directory/*.json
.Untuk dokumen tidak terstruktur, contohnya adalah
gs://<your-gcs-bucket>/directory/*.pdf
. Setiap file yang cocok dengan pola menjadi dokumen.Jika
<your-gcs-bucket>
tidak berada di bawah PROJECT_ID, Anda harus memberi akun layananservice-<project number>@gcp-sa-discoveryengine.iam.gserviceaccount.com
"Storage Penampil Objek" izin untuk bucket Cloud Storage. Misalnya, jika Anda mengimpor bucket Cloud Storage dari project sumber "123" ke project tujuan "456", berikan izinservice-456@gcp-sa-discoveryengine.iam.gserviceaccount.com
pada bucket Cloud Storage di project "123".DATA_SCHEMA
: Opsional. Nilainya adalahdocument
,custom
,csv
, dancontent
. Defaultnya adalahdocument
.document
: Mengupload data tidak terstruktur dengan metadata untuk dokumen tidak terstruktur. Setiap baris file harus mengikuti salah satu format berikut. Anda dapat menentukan ID setiap dokumen:{ "id": "<your-id>", "jsonData": "<JSON string>", "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }
{ "id": "<your-id>", "structData": <JSON object>, "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }
custom
: Mengupload JSON untuk dokumen terstruktur. Datanya diatur berdasarkan skema. Anda dapat menentukan skema; jika tidak, maka akan terdeteksi secara otomatis. Anda dapat menempatkan string JSON dari dokumen dalam format yang konsisten langsung di setiap baris, dan Vertex AI Search otomatis menghasilkan ID untuk setiap dokumen yang diimpor.content
: Upload dokumen tidak terstruktur (PDF, HTML, DOC, TXT, PPTX). ID setiap dokumen dibuat secara otomatis sebagai 128 bit pertama SHA256(GCS_URI) yang dienkode sebagai string hex. Anda dapat menentukan beberapa pola file input asalkan file yang cocok tidak melebihi batas 100 ribu file.csv
: Sertakan baris header dalam file CSV Anda, di mana setiap {i>header <i}di petakan ke sebuah {i>field<i} dokumen. Tentukan jalur ke file CSV menggunakan kolominputUris
.
ERROR_DIRECTORY
: Opsional. Direktori Cloud Storage informasi error tentang impor—misalnya,gs://<your-gcs-bucket>/directory/import_errors
. Google merekomendasikan untuk mengosongkan kolom ini agar Vertex AI Search membuat direktori sementara secara otomatis.RECONCILIATION_MODE
: Opsional. Nilainya adalahFULL
danINCREMENTAL
. Default-nya adalahINCREMENTAL
. MenentukanINCREMENTAL
akan menyebabkan pembaruan data inkremental dari Cloud Storage ke penyimpanan data Anda. Tindakan ini akan melakukan operasi upsert, yang menambahkan dokumen baru dan mengganti dokumen yang ada dengan dokumen yang diperbarui dengan ID yang sama. MenentukanFULL
akan menyebabkan rebase penuh dokumen di penyimpanan data Anda. Dengan kata lain, dokumen baru dan yang diperbarui akan ditambahkan ke penyimpanan data Anda, dan dokumen yang tidak ada di Cloud Storage akan dihapus dari penyimpanan data Anda. ModeFULL
berguna jika Anda ingin menghapus dokumen yang tidak lagi diperlukan secara otomatis.AUTO_GENERATE_IDS
: Opsional. Menentukan apakah akan membuat ID dokumen secara otomatis. Jika ditetapkan ketrue
, ID dokumen akan dibuat berdasarkan hash payload. Perhatikan bahwa menghasilkan ID dokumen mungkin tidak tetap konsisten pada beberapa impor. Jika Anda membuat ID secara otomatis dalam beberapa impor, Google sangat merekomendasikan setelanreconciliationMode
keFULL
untuk mempertahankan ID dokumen yang konsisten.Tentukan
autoGenerateIds
hanya jikagcsSource.dataSchema
ditetapkan kecustom
ataucsv
. Jika tidak, errorINVALID_ARGUMENT
adalah dikembalikan. Jika tidak menentukanautoGenerateIds
atau menetapkannya kefalse
, Anda harus menentukanidField
. Jika tidak, dokumen akan gagal impor.ID_FIELD
: Opsional. Menentukan {i>field<i} mana yang ID dokumen. Untuk dokumen sumber Cloud Storage,idField
menentukan nama di kolom JSON yang merupakan ID dokumen. Misalnya, jika{"my_id":"some_uuid"}
adalah kolom ID dokumen di salah satu dokumen Anda, tentukan"idField":"my_id"
. Hal ini mengidentifikasi semua kolom JSON dengan nama"my_id"
sebagai ID dokumen.Tentukan kolom ini hanya jika: (1)
gcsSource.dataSchema
ditetapkan kecustom
ataucsv
, dan (2)auto_generate_ids
disetel kefalse
atau tidak ditentukan. Jika tidak, errorINVALID_ARGUMENT
akan ditampilkan.Perhatikan bahwa nilai kolom JSON Cloud Storage harus berjenis string, harus antara 1-63 karakter, dan harus sesuai dengan RFC-1034. Jika tidak, dokumen gagal diimpor.
Perhatikan bahwa nama kolom JSON yang ditentukan oleh
id_field
harus berupa jenis string, harus terdiri dari 1 hingga 63 karakter, dan harus sesuai ke RFC-1034. Jika tidak, dokumen gagal diimpor.
C#
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API C# Vertex AI Agent Builder.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Go
Untuk informasi selengkapnya, lihat Vertex AI Agent Builder Go API dokumentasi referensi.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Java
Untuk informasi selengkapnya, lihat Vertex AI Agent Builder Java API dokumentasi referensi.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Node.js
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Node.js Vertex AI Agent Builder.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Python
Untuk informasi selengkapnya, lihat Vertex AI Agent Builder Python API dokumentasi referensi.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Ruby
Untuk informasi selengkapnya, lihat Vertex AI Agent Builder Ruby API dokumentasi referensi.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Menghubungkan ke Cloud Storage dengan sinkronisasi berkala
Sebelum mengimpor data, tinjau artikel Menyiapkan data untuk penyerapan.
Prosedur berikut menjelaskan cara membuat konektor data yang mengaitkan lokasi Cloud Storage dengan konektor data Vertex AI Search dan cara menentukan folder atau file di lokasi tersebut untuk penyimpanan data yang ingin Anda buat. Penyimpanan data yang merupakan turunan dari konektor data disebut penyimpanan data entitas.
Data disinkronkan secara berkala ke penyimpanan data entity. Anda dapat menentukan sinkronisasi setiap hari, setiap tiga hari, atau setiap lima hari.
Konsol
Di konsol Google Cloud, buka halaman Agent Builder.
Buka halaman Penyimpanan Data.
Klik Create data store.
Di halaman Source, pilih Cloud Storage.
Pilih jenis data yang akan diimpor.
Klik Periodik.
Pilih Frekuensi sinkronisasi, seberapa sering Anda ingin Konektor Vertex AI Search untuk disinkronkan dengan Cloud Storage lokasi HTTP/HTTPS. Anda dapat mengubah frekuensinya nanti.
Di bagian Pilih folder atau file yang ingin Anda impor, pilih Folder atau File.
Klik Browse dan pilih data yang telah Anda siapkan untuk ditransfer, lalu klik Select. Atau, masukkan lokasi secara langsung di kolom
gs://
.Klik Lanjutkan.
Pilih region untuk konektor data Anda.
Masukkan nama untuk konektor data Anda.
Opsional: Jika Anda memilih dokumen tidak terstruktur, Anda dapat memilih penguraian dan berbagai opsi pemotongan untuk dokumen Anda. Untuk membandingkan parser, lihat Menguraikan dokumen. Untuk informasi tentang pemotongan, lihat dokumen Memotong untuk RAG.
Parser OCR dan parser tata letak dapat dikenai biaya tambahan. Lihat Dokumen Harga fitur AI.
Untuk memilih parser, luaskan Document processing options dan tentukan opsi parser yang ingin Anda gunakan.
Klik Create.
Anda kini telah membuat konektor data, yang akan menyinkronkan data secara berkala dengan lokasi Cloud Storage. Anda juga telah membuat penyimpanan data entity, yang bernama
gcs_store
.Untuk memeriksa status penyerapan, buka halaman Penyimpanan Data, lalu klik nama konektor data untuk melihat detailnya di halaman Data
Tab Aktivitas penyerapan data. Ketika kolom status di Data tab aktivitas penyerapan berubah dari Dalam proses menjadi berhasil, penyerapan pertama selesai.
Bergantung pada ukuran data Anda, proses transfer dapat memerlukan waktu beberapa menit hingga beberapa jam.
Setelah Anda menyiapkan sumber data dan mengimpor data untuk pertama kalinya, data akan disinkronkan dari sumber tersebut dengan frekuensi yang Anda pilih selama penyiapan. Sekitar satu jam setelah konektor data dibuat, sinkronisasi pertama akan terjadi. Sinkronisasi berikutnya kemudian terjadi sekitar 24 jam, 72 jam, atau 120 jam kemudian.
Langkah berikutnya
Untuk melampirkan penyimpanan data Anda ke aplikasi, buat aplikasi dan pilih penyimpanan data Anda mengikuti langkah-langkah dalam Buat aplikasi penelusuran.
Untuk melihat pratinjau tampilan hasil penelusuran setelah aplikasi dan datastore disetel, lihat Mendapatkan hasil penelusuran.
Sinkronkan dari Google Drive
Untuk menyinkronkan data dari Google Drive, gunakan langkah-langkah berikut untuk membuat penyimpanan data dan menyerap data menggunakan konsol Google Cloud.
Data dari Google Drive terus disinkronkan ke Vertex AI Search setelah Anda membuat penyimpanan data.
Sebelum memulai:
Anda harus login ke Konsol Google Cloud dengan akun yang sama dengan yang digunakan untuk instance Google Drive yang ingin dihubungkan. Vertex AI Search menggunakan ID pelanggan Google Workspace Anda untuk terhubung ke Google Drive.
Menyiapkan kontrol akses untuk Google Drive. Untuk mengetahui informasi tentang cara menyiapkan kontrol akses, lihat Menggunakan kontrol akses sumber data.
Konsol
Untuk menggunakan konsol agar data Google Drive dapat ditelusuri, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Agent Builder.
Buka halaman Penyimpanan Data.
Klik Penyimpanan data baru.
Di halaman Source, pilih Google Drive.
Pilih region untuk penyimpanan data Anda.
Masukkan nama untuk penyimpanan data Anda.
Klik Create. Tergantung pada ukuran data Anda, penyerapan dapat mengambil beberapa menit hingga beberapa jam. Tunggu setidaknya satu jam sebelum menggunakan penyimpanan data untuk pencarian.
Langkah berikutnya
Untuk melampirkan penyimpanan data Anda ke aplikasi, buat aplikasi dan pilih penyimpanan data Anda mengikuti langkah-langkah dalam Buat aplikasi penelusuran.
Untuk melihat pratinjau tampilan hasil penelusuran setelah aplikasi dan datastore disetel, lihat Mendapatkan hasil penelusuran.
Mengimpor dari Cloud SQL
Untuk menyerap data dari Cloud SQL, gunakan langkah-langkah berikut untuk menyiapkan Mengakses Cloud SQL, membuat penyimpanan data, dan menyerap data.
Menyiapkan akses bucket staging untuk instance Cloud SQL
Saat menyerap data dari Cloud SQL, data akan diproses terlebih dahulu ke bucket Cloud Storage. Ikuti langkah-langkah berikut untuk memberikan Cloud SQL akses instance ke bucket Cloud Storage.
Di konsol Google Cloud, buka halaman SQL.
Klik instance Cloud SQL yang ingin Anda impor.
Salin ID untuk akun layanan instance, yang terlihat seperti alamat email Anda—misalnya,
p9876-abcd33f@gcp-sa-cloud-sql.iam.gserviceaccount.com
.Buka halaman IAM & Admin.
Klik Grant access.
Untuk New principals, masukkan ID akun layanan instance dan pilih peran Cloud Storage > Storage Admin.
Klik Simpan.
Berikutnya:
Jika data Cloud SQL Anda berada dalam project yang sama dengan Vertex AI Search: Buka Mengimpor data dari Cloud SQL.
Jika data Cloud SQL Anda berada di project yang berbeda dengan Project Vertex AI Search: Buka Menyiapkan Cloud SQL akses dari project yang berbeda.
Menyiapkan akses Cloud SQL dari project lain
Untuk memberi Vertex AI Search akses ke data Cloud SQL yang ada di project lain, ikuti langkah-langkah berikut:
Ganti variabel
PROJECT_NUMBER
berikut dengan Anda nomor project Vertex AI Search, lalu salin konten dari blok kode program. Ini adalah akun layanan Vertex AI Search Anda ID:service-PROJECT_NUMBER@gcp-sa-discoveryengine.iam.gserviceaccount.com`
Buka halaman IAM & Admin.
Beralih ke project Cloud SQL Anda di IAM & Admin lalu klik Grant Access.
Untuk New principals, masukkan ID untuk akun layanan dan pilih tombol Cloud SQL > Peran Cloud SQL Viewer.
Klik Simpan.
Selanjutnya, buka Mengimpor data dari Cloud SQL.
Mengimpor data dari Cloud SQL
Konsol
Untuk menggunakan konsol guna menyerap data dari Cloud SQL, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Agent Builder.
Buka halaman Penyimpanan Data.
Klik Penyimpanan data baru.
Di halaman Source, pilih Cloud SQL.
Tentukan project ID, ID instance, ID database, dan ID tabel data yang akan Anda impor.
Klik Browse, lalu pilih lokasi Cloud Storage perantara untuk untuk mengekspor data, lalu klik Pilih. Atau, masukkan lokasi secara langsung di kolom
gs://
.Pilih apakah akan mengaktifkan ekspor serverless. Ekspor serverless menimbulkan biaya tambahan. Untuk mengetahui informasi tentang ekspor serverless, lihat Meminimalkan dampak performa ekspor dalam dokumentasi Cloud SQL.
Klik Lanjutkan.
Pilih region untuk penyimpanan data Anda.
Masukkan nama untuk penyimpanan data Anda.
Klik Create.
Untuk memeriksa status penyerapan, buka halaman Penyimpanan Data dan klik nama penyimpanan data untuk melihat detailnya di halaman Data. Saat kolom status pada tab Aktivitas berubah dari Dalam proses ke Impor selesai, penyerapan selesai.
Bergantung pada ukuran data Anda, proses transfer dapat memerlukan waktu beberapa menit atau beberapa jam.
REST
Untuk menggunakan command line guna membuat penyimpanan data dan menyerap data dari Cloud SQL, ikuti langkah-langkah berikut:
Buat penyimpanan data.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"], }'
Ganti kode berikut:
PROJECT_ID
: ID project Anda.DATA_STORE_ID
: ID penyimpanan data. ID hanya dapat berisi huruf kecil, angka, garis bawah, dan tanda hubung.DISPLAY_NAME
: Nama tampilan penyimpanan data. Hal ini mungkin ditampilkan di konsol Google Cloud.
Mengimpor data dari Cloud SQL.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "cloudSqlSource": { "projectId": "SQL_PROJECT_ID", "instanceId": "INSTANCE_ID", "databaseId": "DATABASE_ID", "tableId": "TABLE_ID", "gcsStagingDir": "STAGING_DIRECTORY" }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", }'
Ganti kode berikut:
PROJECT_ID
: ID project Vertex AI Search Anda.DATA_STORE_ID
: ID penyimpanan data. ID hanya boleh berisi huruf kecil, angka, garis bawah, dan tanda hubung.SQL_PROJECT_ID
: ID Cloud SQL Anda proyek.INSTANCE_ID
: ID instance Cloud SQL Anda.DATABASE_ID
: ID database Cloud SQL Anda.TABLE_ID
: ID tabel Cloud SQL Anda.STAGING_DIRECTORY
: Opsional. {i>Cloud Storage<i} direktori—misalnya,gs://<your-gcs-bucket>/directory/import_errors
.RECONCILIATION_MODE
: Opsional. Nilainya adalahFULL
danINCREMENTAL
. Default-nya adalahINCREMENTAL
. MenentukanINCREMENTAL
menyebabkan pembaruan data inkremental dari Cloud SQL ke penyimpanan data. Tindakan ini akan melakukan operasi upsert, yang menambahkan dokumen baru dan mengganti dokumen yang ada dengan dokumen yang diperbarui dengan ID yang sama. MenentukanFULL
akan menyebabkan rebase penuh pada dokumen dalam data Anda Anda. Dengan kata lain, dokumen baru dan yang diperbarui akan ditambahkan ke data Anda disimpan, dan dokumen yang tidak ada di Cloud SQL akan dihapus dari penyimpanan data Anda. ModeFULL
berguna jika Anda ingin menghapus dokumen yang tidak lagi diperlukan secara otomatis.
Python
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Python Vertex AI Agent Builder.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Langkah berikutnya
Untuk melampirkan penyimpanan data Anda ke aplikasi, buat aplikasi dan pilih penyimpanan data Anda mengikuti langkah-langkah dalam Buat aplikasi penelusuran.
Untuk melihat pratinjau tampilan hasil penelusuran setelah aplikasi dan datastore disetel, lihat Mendapatkan hasil penelusuran.
Mengimpor dari Spanner
Untuk menyerap data dari Spanner, gunakan langkah-langkah berikut untuk membuat penyimpanan data dan menyerap data menggunakan konsol Google Cloud atau API.
Menyiapkan akses Spanner dari project lain
Jika data Spanner Anda berada dalam project yang sama dengan Vertex AI Search, langsung ke Mengimpor data dari Spanner.
Untuk memberi Vertex AI Search akses ke data Spanner yang di project yang berbeda, ikuti langkah-langkah berikut:
Ganti variabel
PROJECT_NUMBER
berikut dengan nomor project Vertex AI Search Anda, lalu salin konten blok kode ini. Ini adalah ID akun layanan Vertex AI Search Anda:service-PROJECT_NUMBER@gcp-sa-discoveryengine.iam.gserviceaccount.com
Buka halaman IAM & Admin.
Beralihlah ke project Spanner Anda di halaman IAM & Admin, lalu klik Grant Access.
Untuk New principals, masukkan ID untuk akun layanan dan pilih salah satu opsi berikut:
- Jika Anda tidak akan menggunakan peningkatan data selama impor, pilih Cloud Spanner > Peran Cloud Spanner Database Reader.
- Jika Anda berencana menggunakan peningkatan data selama impor, pilih Cloud Spanner > peran Cloud Spanner Database Admin, atau peran khusus dengan izin Pembaca Database Cloud Spanner dan spanner.databases.useDataBoost. Untuk informasi tentang Data Boost, lihat Ringkasan Data Boost di dokumentasi Spanner.
Klik Simpan.
Selanjutnya, buka Mengimpor data dari Spanner.
Mengimpor data dari Spanner
Konsol
Untuk menggunakan konsol guna menyerap data dari Spanner, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Agent Builder.
Buka halaman Penyimpanan Data.
Klik Penyimpanan data baru.
Di halaman Source, pilih Cloud Spanner.
Tentukan project ID, ID instance, ID database, dan ID tabel data yang akan Anda impor.
Pilih apakah akan mengaktifkan Peningkatan Data. Untuk informasi tentang Peningkatan Data, lihat Ringkasan Peningkatan Data di dokumentasi Spanner.
Klik Lanjutkan.
Pilih region untuk penyimpanan data Anda.
Masukkan nama untuk penyimpanan data Anda.
Klik Create.
Untuk memeriksa status penyerapan, buka halaman Penyimpanan Data dan klik nama penyimpanan data untuk melihat detailnya di halaman Data. Saat kolom status pada tab Aktivitas berubah dari Dalam proses ke Impor selesai, penyerapan selesai.
Bergantung pada ukuran data Anda, proses transfer dapat memerlukan waktu beberapa menit atau beberapa jam.
REST
Untuk menggunakan command line guna membuat penyimpanan data dan menyerap data dari Spanner, ikuti langkah-langkah berikut:
Membuat penyimpanan data.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"], "contentConfig": "CONTENT_REQUIRED", }'
Ganti kode berikut:
PROJECT_ID
: ID project Vertex AI Search Anda.DATA_STORE_ID
: ID penyimpanan data. ID dapat hanya berisi huruf kecil, angka, garis bawah, dan tanda hubung.DISPLAY_NAME
: Nama tampilan penyimpanan data. Hal ini mungkin ditampilkan di konsol Google Cloud.
Mengimpor data dari Spanner.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "cloudSpannerSource": { "projectId": "SPANNER_PROJECT_ID", "instanceId": "INSTANCE_ID", "databaseId": "DATABASE_ID", "tableId": "TABLE_ID", "enableDataBoost": "DATA_BOOST_BOOLEAN" }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", }'
Ganti kode berikut:
PROJECT_ID
: ID project Vertex AI Search Anda.DATA_STORE_ID
: ID penyimpanan data.SPANNER_PROJECT_ID
: ID Spanner proyek.INSTANCE_ID
: ID instance Spanner Anda.DATABASE_ID
: ID database Spanner Anda.TABLE_ID
: ID tabel Spanner Anda.DATA_BOOST_BOOLEAN
: Opsional. Apakah akan mengaktifkan Peningkatan Data. Untuk informasi tentang Data Boost, lihat Ringkasan Data Boost dalam dokumentasi Spanner.RECONCILIATION_MODE
: Opsional. Nilainya adalahFULL
danINCREMENTAL
. Default-nya adalahINCREMENTAL
. MenentukanINCREMENTAL
akan menyebabkan pembaruan data inkremental dari Spanner ke penyimpanan data Anda. Ini melakukan pembaruan dan penyisipan operasi yang menambahkan dokumen baru dan mengganti dokumen yang ada dengan dokumen yang diperbarui dengan ID yang sama. MenentukanFULL
akan menyebabkan rebase penuh atas dokumen di penyimpanan data Anda. Dengan kata lain, {i>new<i} dan dokumen yang diperbarui ditambahkan ke penyimpanan data Anda, dan dokumen yang tidak ada di Spanner akan dihapus dari data store Anda. Tujuan ModeFULL
berguna jika Anda ingin menghapus dokumen secara otomatis yang tidak lagi Anda perlukan.AUTO_GENERATE_IDS
: Opsional. Menentukan apakah akan otomatis membuat ID dokumen. Jika ditetapkan ketrue
, ID dokumen dibuat berdasarkan {i> hash <i}dari payload. Perhatikan bahwa ID dokumen yang dihasilkan mungkin tidak tetap konsisten di beberapa impor. Jika Anda membuat ID secara otomatis melalui beberapa impor, Google sangat merekomendasikan untuk menetapkanreconciliationMode
keFULL
guna mempertahankan ID dokumen yang konsisten.ID_FIELD
: Opsional. Menentukan {i>field<i} mana yang ID dokumen.
Python
Untuk informasi selengkapnya, lihat Vertex AI Agent Builder Python API dokumentasi referensi.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Langkah berikutnya
Untuk melampirkan penyimpanan data Anda ke aplikasi, buat aplikasi dan pilih penyimpanan data Anda mengikuti langkah-langkah dalam Buat aplikasi penelusuran.
Untuk melihat pratinjau tampilan hasil penelusuran setelah aplikasi dan datastore disetel, lihat Mendapatkan hasil penelusuran.
Mengimpor dari Firestore
Untuk menyerap data dari Firestore, gunakan langkah-langkah berikut untuk membuat penyimpanan dan penyerapan data menggunakan Konsol Google Cloud atau API.
Jika data Firestore Anda berada dalam project yang sama dengan Vertex AI Search, buka Import data from Firestore.
Jika data Firestore Anda berada di project yang berbeda dengan project Vertex AI Search, buka Menyiapkan akses Firestore.
Menyiapkan akses Firestore dari project lain
Untuk memberi Vertex AI Search akses ke data Firestore yang berada di project lain, ikuti langkah-langkah berikut:
Ganti variabel
PROJECT_NUMBER
berikut dengan nomor project Vertex AI Search Anda, lalu salin konten blok kode ini. Ini adalah akun layanan Vertex AI Search Anda ID:service-PROJECT_NUMBER@gcp-sa-discoveryengine.iam.gserviceaccount.com
Buka halaman IAM & Admin.
Beralih ke project Firestore Anda di IAM & Admin lalu klik Grant Access.
Untuk New principals, masukkan ID akun layanan instance, lalu pilih menu Datastore > Peran Cloud Datastore Import Export Admin.
Klik Simpan.
Beralih kembali ke project Vertex AI Search Anda.
Selanjutnya, buka Impor data dari Firestore.
Mengimpor data dari Firestore
Konsol
Untuk menggunakan konsol guna menyerap data dari Firestore, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Agent Builder.
Buka halaman Penyimpanan Data.
Klik Penyimpanan data baru.
Di halaman Source, pilih Firestore.
Tentukan project ID, database ID, dan collection ID data yang ingin Anda impor.
Klik Lanjutkan.
Pilih region untuk penyimpanan data Anda.
Masukkan nama untuk penyimpanan data Anda.
Klik Create.
Untuk memeriksa status penyerapan, buka halaman Penyimpanan Data dan klik nama penyimpanan data untuk melihat detailnya di halaman Data. Saat kolom status pada tab Aktivitas berubah dari Dalam proses ke Impor selesai, penyerapan selesai.
Bergantung pada ukuran data Anda, proses transfer dapat memerlukan waktu beberapa menit atau beberapa jam.
REST
Untuk menggunakan command line guna membuat penyimpanan data dan menyerap data dari Firestore, ikuti langkah-langkah berikut:
Buat penyimpanan data.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"], }'
Ganti kode berikut:
PROJECT_ID
: ID project Anda.DATA_STORE_ID
: ID penyimpanan data. ID hanya dapat berisi huruf kecil, angka, garis bawah, dan tanda hubung.DISPLAY_NAME
: Nama tampilan penyimpanan data. Hal ini mungkin ditampilkan di konsol Google Cloud.
Mengimpor data dari Firestore.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "firestoreSource": { "projectId": "FIRESTORE_PROJECT_ID", "databaseId": "DATABASE_ID", "collectionId": "COLLECTION_ID", }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", }'
Ganti kode berikut:
PROJECT_ID
: ID project Vertex AI Search Anda.DATA_STORE_ID
: ID penyimpanan data. ID dapat hanya berisi huruf kecil, angka, garis bawah, dan tanda hubung.FIRESTORE_PROJECT_ID
: ID project Firestore Anda.DATABASE_ID
: ID Firestore Anda di skrip untuk menyiapkan database.COLLECTION_ID
: ID koleksi Firestore Anda.RECONCILIATION_MODE
: Opsional. Nilainya adalahFULL
danINCREMENTAL
. Default-nya adalahINCREMENTAL
. MenentukanINCREMENTAL
menyebabkan pembaruan data inkremental dari Firestore ke penyimpanan data Anda. Ini melakukan operasi pembaruan dan penyisipan, yang menambahkan dokumen baru dan mengganti dokumen yang ada dengan dokumen yang telah diperbarui dengan ID yang sama. MenentukanFULL
akan menyebabkan rebase penuh pada dokumen dalam data Anda Anda. Dengan kata lain, dokumen baru dan yang diperbarui ditambahkan ke penyimpanan data Anda, dan dokumen yang tidak ada di Firestore akan dihapus dari penyimpanan data Anda. ModeFULL
berguna jika Anda ingin secara otomatis menghapus dokumen yang tidak lagi Anda butuhkan.AUTO_GENERATE_IDS
: Opsional. Menentukan apakah akan otomatis membuat ID dokumen. Jika ditetapkan ketrue
, ID dokumen dibuat berdasarkan {i> hash <i}dari payload. Perhatikan bahwa ID dokumen yang dihasilkan mungkin tidak tetap konsisten di beberapa impor. Jika Anda membuat ID secara otomatis melalui beberapa impor, Google sangat merekomendasikan untuk menetapkanreconciliationMode
keFULL
guna mempertahankan ID dokumen yang konsisten.ID_FIELD
: Opsional. Menentukan {i>field<i} mana yang ID dokumen.
Python
Untuk informasi selengkapnya, lihat Vertex AI Agent Builder Python API dokumentasi referensi.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Langkah berikutnya
Untuk melampirkan penyimpanan data Anda ke aplikasi, buat aplikasi dan pilih penyimpanan data Anda mengikuti langkah-langkah dalam Buat aplikasi penelusuran.
Untuk melihat pratinjau tampilan hasil penelusuran Anda setelah aplikasi dan data store Anda menyiapkan, melihat Mendapatkan hasil penelusuran.
Mengimpor dari Bigtable
Untuk menyerap data dari Bigtable, gunakan langkah-langkah berikut untuk membuat penyimpanan data dan menyerap data menggunakan API.
Menyiapkan akses Bigtable
Untuk memberi Vertex AI Search akses ke data Bigtable yang berada di project lain, ikuti langkah-langkah berikut:
Ganti variabel
PROJECT_NUMBER
berikut dengan nomor project Vertex AI Search Anda, lalu salin konten blok kode ini. Ini adalah ID akun layanan Vertex AI Search Anda:service-PROJECT_NUMBER@gcp-sa-discoveryengine.iam.gserviceaccount.com`
Buka halaman IAM & Admin.
Beralihlah ke project Bigtable Anda di halaman IAM & Admin, lalu klik Grant Access.
Untuk New principals, masukkan ID akun layanan instance dan pilih peran Bigtable > Bigtable Reader.
Klik Simpan.
Beralih kembali ke project Vertex AI Search Anda.
Selanjutnya, buka Impor data dari Bigtable.
Mengimpor data dari Bigtable
REST
Untuk menggunakan command line guna membuat penyimpanan data dan menyerap data dari Bigtable, ikuti langkah-langkah berikut:
Membuat penyimpanan data.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"], }'
Ganti kode berikut:
PROJECT_ID
: ID project Anda.DATA_STORE_ID
: ID penyimpanan data. ID hanya dapat berisi huruf kecil, angka, garis bawah, dan tanda hubung.DISPLAY_NAME
: Nama tampilan penyimpanan data. Hal ini mungkin ditampilkan di konsol Google Cloud.
Mengimpor data dari Bigtable.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "bigtableSource ": { "projectId": "BIGTABLE_PROJECT_ID", "instanceId": "INSTANCE_ID", "tableId": "TABLE_ID", "bigtableOptions": { "keyFieldName": "KEY_FIELD_NAME", "families": { "key": "KEY", "value": { "fieldName": "FIELD_NAME", "encoding": "ENCODING", "type": "TYPE", "columns": [ { "qualifier": "QUALIFIER", "fieldName": "FIELD_NAME", "encoding": "COLUMN_ENCODING", "type": "COLUMN_VALUES_TYPE" } ] } } ... } }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", }'
Ganti kode berikut:
PROJECT_ID
: ID project Vertex AI Search Anda.DATA_STORE_ID
: ID penyimpanan data. ID dapat hanya berisi huruf kecil, angka, garis bawah, dan tanda hubung.BIGTABLE_PROJECT_ID
: ID project Bigtable.INSTANCE_ID
: ID Bigtable Anda di instance Compute Engine.TABLE_ID
: ID tabel Bigtable Anda.KEY_FIELD_NAME
: Opsional, tetapi direkomendasikan. Nama kolom untuk digunakan untuk nilai kunci baris setelah menyerap ke Vertex AI Search.KEY
: Wajib diisi. Nilai string untuk kunci grup kolom.ENCODING
: Opsional. Mode encoding nilai saat jenisnya bukan STRING. Ini dapat diganti untuk kolom tertentu dengan mencantumkan kolom tersebut dicolumns
dan menentukan encoding untuknya.COLUMN_TYPE
: Opsional. Jenis nilai dalam kolom ini keluarga.QUALIFIER
: Wajib diisi. Penentu kolom.FIELD_NAME
: Opsional, tetapi direkomendasikan. Nama kolom yang akan digunakan untuk kolom ini setelah ditransfer ke Vertex AI Search.COLUMN_ENCODING
: Opsional. Mode encoding nilai untuk kolom tertentu jika jenisnya bukan STRING.RECONCILIATION_MODE
: Opsional. Nilainya adalahFULL
danINCREMENTAL
. Default-nya adalahINCREMENTAL
. MenentukanINCREMENTAL
menyebabkan pembaruan data inkremental dari Bigtable ke penyimpanan data Anda. Tindakan ini akan melakukan operasi upsert, yang menambahkan dokumen baru dan mengganti dokumen yang ada dengan dokumen yang diperbarui dengan ID yang sama. MenentukanFULL
akan menyebabkan rebase penuh pada dokumen di penyimpanan data Anda. Dengan kata lain, dokumen baru dan yang diperbarui ditambahkan ke penyimpanan data Anda, dan dokumen yang tidak ada di Bigtable akan dihapus dari penyimpanan data Anda. ModeFULL
berguna jika Anda ingin menghapus dokumen yang tidak lagi diperlukan secara otomatis.AUTO_GENERATE_IDS
: Opsional. Menentukan apakah akan otomatis membuat ID dokumen. Jika ditetapkan ketrue
, ID dokumen akan dibuat berdasarkan hash payload. Perhatikan bahwa ID dokumen yang dihasilkan mungkin tidak tetap konsisten di beberapa impor. Jika Anda membuat ID secara otomatis dalam beberapa impor, Google sangat merekomendasikan setelanreconciliationMode
keFULL
untuk mempertahankan ID dokumen yang konsisten.Tentukan
autoGenerateIds
hanya jikabigquerySource.dataSchema
ditetapkan kecustom
. Jika tidak, errorINVALID_ARGUMENT
akan ditampilkan. Jika Anda tidak menentukanautoGenerateIds
atau menyetelnya kefalse
, Anda harus menentukanidField
. Jika tidak, dokumen akan gagal impor.ID_FIELD
: Opsional. Menentukan kolom mana yang merupakan ID dokumen.
Python
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Python Vertex AI Agent Builder.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Langkah berikutnya
Untuk melampirkan penyimpanan data ke aplikasi, buat aplikasi dan pilih penyimpanan data Anda dengan mengikuti langkah-langkah di Membuat aplikasi penelusuran.
Untuk melihat pratinjau tampilan hasil penelusuran setelah aplikasi dan datastore disetel, lihat Mendapatkan hasil penelusuran.
Mengimpor dari AlloyDB untuk PostgreSQL
Untuk menyerap data dari AlloyDB untuk PostgreSQL, gunakan langkah-langkah berikut untuk membuat penyimpanan data dan menyerap data menggunakan konsol Google Cloud atau API.
Jika data AlloyDB untuk PostgreSQL Anda berada dalam project yang sama dengan project Vertex AI Search, buka Mengimpor data dari AlloyDB untuk PostgreSQL.
Jika data AlloyDB untuk PostgreSQL Anda berada dalam project yang berbeda dengan project Vertex AI Search, buka Menyiapkan akses AlloyDB untuk PostgreSQL.
Menyiapkan akses AlloyDB untuk PostgreSQL dari project lain
Untuk memberi Vertex AI Search akses ke data AlloyDB untuk PostgreSQL yang berada di project lain, ikuti langkah-langkah berikut:
Ganti variabel
PROJECT_NUMBER
berikut dengan nomor project Vertex AI Search Anda, lalu salin konten blok kode ini. Ini adalah ID akun layanan Vertex AI Search Anda:service-PROJECT_NUMBER@gcp-sa-discoveryengine.iam.gserviceaccount.com
Beralihlah ke project Google Cloud tempat data AlloyDB untuk PostgreSQL Anda berada.
Buka halaman IAM.
Klik Grant Access.
Untuk New principals, masukkan akun layanan Vertex AI Search dan pilih Cloud AlloyDB > Peran Admin Cloud AlloyDB.
Klik Simpan.
Beralih kembali ke project Vertex AI Search Anda.
Selanjutnya, buka Impor data dari AlloyDB untuk PostgreSQL.
Mengimpor data dari AlloyDB untuk PostgreSQL
Konsol
Agar dapat menggunakan konsol untuk menyerap data dari AlloyDB untuk PostgreSQL, ikuti langkah-langkah berikut langkah:
Di konsol Google Cloud, buka halaman Agent Builder.
Di menu navigasi, klik Penyimpanan Data.
Klik Buat penyimpanan data.
Di halaman Sumber, pilih AlloyDB.
Menentukan project ID, ID lokasi, ID cluster, ID database, dan ID tabel data yang akan Anda impor.
Klik Lanjutkan.
Pilih region untuk penyimpanan data Anda.
Masukkan nama untuk penyimpanan data Anda.
Klik Create.
Untuk memeriksa status penyerapan, buka halaman Penyimpanan Data dan klik nama penyimpanan data untuk melihat detailnya di halaman Data. Saat kolom status pada tab Aktivitas berubah dari Dalam proses ke Impor selesai, penyerapan selesai.
Bergantung pada ukuran data Anda, proses transfer dapat memerlukan waktu beberapa menit atau beberapa jam.
REST
Untuk menggunakan command line guna membuat penyimpanan data dan menyerap data dari AlloyDB untuk PostgreSQL, ikuti langkah-langkah berikut:
Membuat penyimpanan data.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"], }'
Ganti kode berikut:
PROJECT_ID
: ID project Anda.DATA_STORE_ID
: ID penyimpanan data. ID hanya dapat berisi huruf kecil, angka, garis bawah, dan tanda hubung.DISPLAY_NAME
: Nama tampilan penyimpanan data. Hal ini mungkin ditampilkan di konsol Google Cloud.
Impor data dari AlloyDB untuk PostgreSQL.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "alloydbSource": { "projectId": "ALLOYDB_PROJECT_ID", "locationId": "LOCATION_ID", "clusterId": "CLUSTER_ID", "databaseId": "DATABASE_ID", "tableId": "TABLE_ID", }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", }'
Ganti kode berikut:
PROJECT_ID
: ID project Vertex AI Search Anda.DATA_STORE_ID
: ID penyimpanan data. ID hanya boleh berisi huruf kecil, angka, garis bawah, dan tanda hubung.ALLOYDB_PROJECT_ID
: ID project AlloyDB untuk PostgreSQL Anda.LOCATION_ID
: ID AlloyDB untuk PostgreSQL lokasi HTTP/HTTPS.CLUSTER_ID
: ID AlloyDB untuk PostgreSQL .DATABASE_ID
: ID database AlloyDB untuk PostgreSQL Anda.TABLE_ID
: ID tabel AlloyDB untuk PostgreSQL Anda.RECONCILIATION_MODE
: Opsional. Nilainya adalahFULL
danINCREMENTAL
. Default-nya adalahINCREMENTAL
. MenentukanINCREMENTAL
menyebabkan pembaruan data inkremental dari AlloyDB untuk PostgreSQL ke penyimpanan data. Tindakan ini akan melakukan operasi upsert, yang menambahkan dokumen baru dan mengganti dokumen yang ada dengan dokumen yang diperbarui dengan ID yang sama. MenentukanFULL
akan menyebabkan rebase penuh dokumen di penyimpanan data Anda. Dengan kata lain, dokumen baru dan yang diperbarui ditambahkan ke penyimpanan data Anda, dan dokumen yang tidak ada di AlloyDB untuk PostgreSQL akan dihapus dari penyimpanan data Anda. ModeFULL
berguna jika Anda ingin menghapus dokumen yang tidak lagi diperlukan secara otomatis.AUTO_GENERATE_IDS
: Opsional. Menentukan apakah akan otomatis membuat ID dokumen. Jika ditetapkan ketrue
, ID dokumen dibuat berdasarkan {i> hash <i}dari payload. Perhatikan bahwa ID dokumen yang dihasilkan mungkin tidak tetap konsisten di beberapa impor. Jika Anda membuat ID secara otomatis melalui beberapa impor, Google sangat merekomendasikan untuk menetapkanreconciliationMode
keFULL
guna mempertahankan ID dokumen yang konsisten.ID_FIELD
: Opsional. Menentukan {i>field<i} mana yang ID dokumen.
Python
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Python Vertex AI Agent Builder.
Untuk melakukan autentikasi ke Vertex AI Agent Builder, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat penyimpanan data
Mengimpor dokumen
Langkah berikutnya
Untuk melampirkan penyimpanan data ke aplikasi, buat aplikasi dan pilih penyimpanan data Anda dengan mengikuti langkah-langkah di Membuat aplikasi penelusuran.
Untuk melihat pratinjau tampilan hasil penelusuran Anda setelah aplikasi dan data store Anda menyiapkan, melihat Mendapatkan hasil penelusuran.
Mengupload data JSON terstruktur dengan API
Untuk mengupload dokumen atau objek JSON secara langsung menggunakan API, ikuti langkah-langkah berikut.
Sebelum mengimpor data, Siapkan data untuk penyerapan.
REST
Untuk menggunakan command line guna membuat penyimpanan data dan mengimpor data JSON terstruktur, ikuti langkah-langkah berikut.
Buat penyimpanan data.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_SEARCH"] }'
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.DATA_STORE_ID
: ID penyimpanan data Vertex AI Search yang ingin Anda buat. ID ini hanya boleh berisi huruf kecil huruf, angka, garis bawah, dan tanda hubung.DATA_STORE_DISPLAY_NAME
: nama tampilan Vertex AI Telusuri penyimpanan data yang ingin Anda buat.
Mengimpor data terstruktur.
Ada beberapa pendekatan yang dapat Anda gunakan untuk mengupload data, antara lain:
Upload dokumen JSON.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents?documentId=DOCUMENT_ID" \ -d '{ "jsonData": "JSON_DOCUMENT_STRING" }'
Ganti kode berikut:
DOCUMENT_ID
: ID unik untuk dokumen. Panjang ID ini dapat mencapai 63 karakter dan hanya berisi huruf kecil huruf, angka, garis bawah, dan tanda hubung.JSON_DOCUMENT_STRING
: dokumen JSON sebagai string tunggal. Ini harus sesuai dengan skema JSON yang Anda berikan di langkah sebelumnya—misalnya:{ \"title\": \"test title\", \"categories\": [\"cat_1\", \"cat_2\"], \"uri\": \"test uri\"}
Upload objek JSON.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents?documentId=DOCUMENT_ID" \ -d '{ "structData": JSON_DOCUMENT_OBJECT }'
Ganti
JSON_DOCUMENT_OBJECT
dengan dokumen JSON sebagai objek JSON. Ini harus sesuai dengan skema JSON yang Anda berikan di langkah sebelumnya—misalnya:```json { "title": "test title", "categories": [ "cat_1", "cat_2" ], "uri": "test uri" } ```
Update dengan dokumen JSON.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID" \ -d '{ "jsonData": "JSON_DOCUMENT_STRING" }'
Memperbarui dengan objek JSON.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID" \ -d '{ "structData": JSON_DOCUMENT_OBJECT }'
Langkah berikutnya
Untuk melampirkan penyimpanan data Anda ke aplikasi, buat aplikasi dan pilih penyimpanan data Anda mengikuti langkah-langkah dalam Buat aplikasi penelusuran.
Untuk melihat pratinjau tampilan hasil penelusuran setelah aplikasi dan datastore disetel, lihat Mendapatkan hasil penelusuran.
Memecahkan masalah penyerapan data
Jika Anda mengalami masalah dengan penyerapan data, tinjau tips berikut:
Jika Anda menggunakan kunci enkripsi yang dikelola pelanggan dan impor data gagal (dengan pesan error
The caller does not have permission
), lalu pastikan peran IAM CryptoKey Encrypter/Decrypter (roles/cloudkms.cryptoKeyEncrypterDecrypter
) pada kunci telah diberikan kepada agen layanan Cloud Storage. Untuk informasi selengkapnya, lihat Sebelum memulai di "Kunci enkripsi yang dikelola pelanggan".Jika Anda menggunakan pengindeksan situs lanjutan dan Penggunaan dokumen untuk jauh lebih rendah dari yang Anda harapkan, lalu tinjau pola URL yang yang ditentukan untuk pengindeksan dan pastikan bahwa pola URL yang ditentukan mencakup halaman yang ingin Anda indeks dan memperluasnya jika diperlukan. Misalnya, jika Anda menggunakan
*.en.example.com/*
, Anda mungkin perlu menambahkan*.example.com/*
ke situs yang ingin diindeks.
Membuat penyimpanan data menggunakan Terraform
Anda dapat menggunakan Terraform untuk membuat penyimpanan data kosong. Setelah penyimpanan data kosong dibuat, Anda dapat menyerap data ke dalam penyimpanan data menggunakan Konsol Google Cloud atau perintah API.
Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.
Untuk membuat penyimpanan data kosong menggunakan Terraform, lihat
google_discovery_engine_data_store
.