Melakukan penelusuran semantik dan retrieval augmented generation
Tutorial ini memandu Anda melalui proses menyeluruh dalam membuat dan menggunakan penyematan teks, termasuk menggunakan indeks vektor untuk meningkatkan performa penelusuran.
Tutorial ini membahas tugas-tugas berikut:
- Membuat model jarak jauh BigQuery ML di atas model penyematan Vertex AI.
- Menggunakan model jarak jauh dengan fungsi
ML.GENERATE_EMBEDDING
untuk membuat penyematan dari teks dalam tabel BigQuery. - Membuat indeks vektor untuk mengindeks penyematan.
- Menggunakan
fungsi
VECTOR_SEARCH
dengan penyematan untuk menelusuri teks yang serupa. - Lakukan retrieval-augmented generation (RAG) dengan membuat teks menggunakan
fungsi
ML.GENERATE_TEXT
, dan menggunakan hasil penelusuran vektor untuk meningkatkan input perintah dan meningkatkan hasil.
Tutorial ini menggunakan tabel publik BigQuery
patents-public-data.google_patents_research.publications
.
Peran dan izin yang diperlukan
Untuk membuat koneksi, Anda memerlukan keanggotaan dalam peran Identity and Access Management (IAM) berikut:
roles/bigquery.connectionAdmin
Untuk memberikan izin ke akun layanan koneksi, Anda memerlukan izin berikut:
resourcemanager.projects.setIamPolicy
Izin IAM yang diperlukan dalam tutorial ini untuk operasi BigQuery lainnya disertakan dalam dua peran berikut:
- BigQuery Data Editor (
roles/bigquery.dataEditor
) untuk membuat model, tabel, dan indeks. - BigQuery User (
roles/bigquery.user
) untuk menjalankan tugas BigQuery.
- BigQuery Data Editor (
Biaya
Dalam dokumen ini, Anda akan menggunakan komponen Google Cloud yang dapat ditagih berikut:
- BigQuery ML: You incur costs for the data that you process in BigQuery.
- Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Untuk mengetahui informasi selengkapnya tentang harga BigQuery, lihat harga BigQuery dalam dokumentasi BigQuery.
Untuk mengetahui informasi selengkapnya tentang harga Vertex AI, lihat halaman harga Vertex AI.
Sebelum memulai
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.
Membuat set data
Buat set data BigQuery untuk menyimpan model ML Anda:
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, klik nama project Anda.
Klik
View actions > Create dataset.Di halaman Create dataset, lakukan hal berikut:
Untuk Dataset ID, masukkan
bqml_tutorial
.Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).
Set data publik disimpan di
US
multi-region. Untuk mempermudah, simpan set data Anda di lokasi yang sama.Jangan ubah setelan default yang tersisa, lalu klik Create dataset.
Membuat koneksi
Buat koneksi resource Cloud dan dapatkan akun layanan koneksi. Buat koneksi di lokasi yang sama dengan set data yang Anda buat di langkah sebelumnya.
Pilih salah satu opsi berikut:
Konsol
Buka halaman BigQuery.
Untuk membuat koneksi, klik
Tambahkan, lalu klik Koneksi ke sumber data eksternal.Dalam daftar Connection type, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).
Di kolom Connection ID, masukkan nama untuk koneksi Anda.
Klik Create connection.
Klik Go to connection.
Di panel Connection info, salin ID akun layanan untuk digunakan di langkah berikutnya.
bq
Di lingkungan command line, buat koneksi:
bq mk --connection --location=REGION --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE CONNECTION_ID
Parameter
--project_id
akan mengganti project default.Ganti kode berikut:
REGION
: region koneksi AndaPROJECT_ID
: project ID Google Cloud AndaCONNECTION_ID
: ID untuk koneksi Anda
Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.
Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
Ambil dan salin ID akun layanan untuk digunakan di langkah berikutnya:
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
Outputnya mirip dengan hal berikut ini:
name properties 1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
Gunakan resource google_bigquery_connection
.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Contoh berikut membuat koneksi resource Cloud bernama
my_cloud_resource_connection
di region US
:
Untuk menerapkan konfigurasi Terraform di project Google Cloud, selesaikan langkah-langkah di bagian berikut.
Menyiapkan Cloud Shell
- Luncurkan Cloud Shell.
-
Tetapkan project Google Cloud default tempat Anda ingin menerapkan konfigurasi Terraform.
Anda hanya perlu menjalankan perintah ini sekali per project, dan dapat dijalankan di direktori mana pun.
export GOOGLE_CLOUD_PROJECT=PROJECT_ID
Variabel lingkungan akan diganti jika Anda menetapkan nilai eksplisit dalam file konfigurasi Terraform.
Menyiapkan direktori
Setiap file konfigurasi Terraform harus memiliki direktorinya sendiri (juga disebut modul root).
-
Di Cloud Shell, buat direktori dan file baru di dalam direktori tersebut. Nama file harus memiliki
ekstensi
.tf
—misalnyamain.tf
. Dalam tutorial ini, file ini disebut sebagaimain.tf
.mkdir DIRECTORY && cd DIRECTORY && touch main.tf
-
Jika mengikuti tutorial, Anda dapat menyalin kode contoh di setiap bagian atau langkah.
Salin kode contoh ke dalam
main.tf
yang baru dibuat.Atau, salin kode dari GitHub. Tindakan ini direkomendasikan jika cuplikan Terraform adalah bagian dari solusi menyeluruh.
- Tinjau dan ubah contoh parameter untuk diterapkan pada lingkungan Anda.
- Simpan perubahan Anda.
-
Lakukan inisialisasi Terraform. Anda hanya perlu melakukan ini sekali per direktori.
terraform init
Secara opsional, untuk menggunakan versi penyedia Google terbaru, sertakan opsi
-upgrade
:terraform init -upgrade
Menerapkan perubahan
-
Tinjau konfigurasi dan pastikan resource yang akan dibuat atau
diupdate oleh Terraform sesuai yang Anda inginkan:
terraform plan
Koreksi konfigurasi jika diperlukan.
-
Terapkan konfigurasi Terraform dengan menjalankan perintah berikut dan memasukkan
yes
pada prompt:terraform apply
Tunggu hingga Terraform menampilkan pesan "Apply complete!".
- Buka project Google Cloud Anda untuk melihat hasilnya. Di Konsol Google Cloud, buka resource Anda di UI untuk memastikan bahwa Terraform telah membuat atau mengupdatenya.
Memberikan akses akun layanan
Berikan peran Vertex AI User ke akun layanan koneksi. Anda harus memberikan peran ini di project yang sama dengan yang Anda buat atau pilih di bagian Sebelum memulai. Memberikan peran di project lain akan menyebabkan error bqcx-1234567890-xxxx@gcp-sa-bigquery-condel.iam.gserviceaccount.com does not have the permission to access resource
.
Untuk memberikan peran, ikuti langkah-langkah berikut:
Buka halaman IAM & Admin.
Klik
Berikan Akses.Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.
Di kolom Pilih peran, pilih Vertex AI, lalu pilih Peran Pengguna Vertex AI.
Klik Simpan.
Membuat model jarak jauh untuk pembuatan penyematan teks
Buat model jarak jauh yang merepresentasikan model pembuatan penyematan teks Vertex AI yang dihosting:
Di Konsol Google Cloud, buka halaman BigQuery.
Di editor kueri, jalankan pernyataan berikut:
CREATE OR REPLACE MODEL `bqml_tutorial.embedding_model` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT = 'text-embedding-004');
Ganti kode berikut:
LOCATION
: lokasi koneksiCONNECTION_ID
: ID koneksi BigQuery AndaSaat Anda melihat detail koneksi di konsol Google Cloud,
CONNECTION_ID
adalah nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi, misalnyaprojects/myproject/locations/connection_location/connections/myconnection
Kueri memerlukan waktu beberapa detik untuk diselesaikan, setelah itu model
embedding_model
akan muncul di set databqml_tutorial
di panel Explorer. Karena kueri menggunakan pernyataanCREATE MODEL
untuk membuat model, tidak akan ada hasil kueri.
Membuat embedding teks
Buat penyematan teks dari abstrak paten menggunakan fungsi ML.GENERATE_EMBEDDING
, lalu tulis ke tabel BigQuery agar dapat ditelusuri.
Di Konsol Google Cloud, buka halaman BigQuery.
Di editor kueri, jalankan pernyataan berikut:
CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, ( SELECT *, abstract AS content FROM `patents-public-data.google_patents_research.publications` WHERE LENGTH(abstract) > 0 AND LENGTH(title) > 0 AND country = 'Singapore' ) ) WHERE LENGTH(ml_generate_embedding_status) = 0;
Pembuatan penyematan menggunakan
fungsi ML.GENERATE_EMBEDDING
mungkin gagal karena kuota LLM Vertex AI
atau layanan tidak tersedia. Detail error ditampilkan di kolom ml_generate_embedding_status
. Kolom ml_generate_embedding_status
kosong
menunjukkan pembuatan penyematan yang berhasil.
Untuk metode pembuatan penyematan teks alternatif di BigQuery, lihat Tutorial menyematkan teks dengan model TensorFlow yang telah dilatih sebelumnya.
Membuat indeks vektor
Untuk membuat indeks vektor, gunakan pernyataan bahasa definisi data (DDL)
CREATE VECTOR INDEX
:
Buka halaman BigQuery.
Di editor kueri, jalankan pernyataan SQL berikut:
CREATE OR REPLACE VECTOR INDEX my_index ON `bqml_tutorial.embeddings`(ml_generate_embedding_result) OPTIONS(index_type = 'IVF', distance_type = 'COSINE', ivf_options = '{"num_lists":500}')
Memverifikasi pembuatan indeks vektor
Indeks vektor diisi secara asinkron. Anda dapat memeriksa apakah indeks sudah
siap digunakan dengan membuat kueri
tampilan INFORMATION_SCHEMA.VECTOR_INDEXES
dan memverifikasi bahwa nilai kolom coverage_percentage
lebih besar dari 0
dan nilai kolom last_refresh_time
bukan NULL
.
Buka halaman BigQuery.
Di editor kueri, jalankan pernyataan SQL berikut:
SELECT table_name, index_name, index_status, coverage_percentage, last_refresh_time, disable_reason FROM `PROJECT_ID.bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES`
Ganti
PROJECT_ID
dengan project ID Anda.
Melakukan penelusuran kemiripan teks menggunakan indeks vektor
Gunakan
fungsi VECTOR_SEARCH
untuk menelusuri 5 paten teratas yang relevan dan cocok dengan penyematan yang dihasilkan dari
kueri teks. Model yang Anda gunakan untuk membuat penyematan dalam kueri ini harus
sama dengan model yang Anda gunakan untuk membuat penyematan dalam tabel yang
dibandingkan. Jika tidak, hasil penelusuran tidak akan akurat.
Buka halaman BigQuery.
Di editor kueri, jalankan pernyataan SQL berikut:
SELECT query.query, base.publication_number, base.title, base.abstract FROM VECTOR_SEARCH( TABLE `bqml_tutorial.embeddings`, 'ml_generate_embedding_result', ( SELECT ml_generate_embedding_result, content AS query FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, (SELECT 'improving password security' AS content)) ), top_k => 5, options => '{"fraction_lists_to_search": 0.01}')
Outputnya mirip dengan hal berikut ini:
+-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+ | query | publication_number | title | abstract | +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+ | improving password security | SG-120868-A1 | Data storage device security method and a... | Methods for improving security in data stora... | | improving password security | SG-10201610585W-A | Passsword management system and process... | PASSSWORD MANAGEMENT SYSTEM AND PROCESS ... | | improving password security | SG-148888-A1 | Improved system and method for... | IMPROVED SYSTEM AND METHOD FOR RANDOM... | | improving password security | SG-194267-A1 | Method and system for protecting a password... | A system for providing security for a... | | improving password security | SG-120868-A1 | Data storage device security... | Methods for improving security in data... | +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+
Membuat model jarak jauh untuk pembuatan teks
Buat model jarak jauh yang merepresentasikan model pembuatan teks Vertex AI yang dihosting:
Di Konsol Google Cloud, buka halaman BigQuery.
Di editor kueri, jalankan pernyataan berikut:
CREATE OR REPLACE MODEL `bqml_tutorial.text_model` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT = 'gemini-1.5-flash-002');
Ganti kode berikut:
LOCATION
: lokasi koneksiCONNECTION_ID
: ID koneksi BigQuery AndaSaat Anda melihat detail koneksi di konsol Google Cloud,
CONNECTION_ID
adalah nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi, misalnyaprojects/myproject/locations/connection_location/connections/myconnection
Kueri memerlukan waktu beberapa detik untuk diselesaikan, setelah itu model
text_model
akan muncul di set databqml_tutorial
di panel Explorer. Karena kueri menggunakan pernyataanCREATE MODEL
untuk membuat model, tidak akan ada hasil kueri.
Membuat teks yang dilengkapi dengan hasil penelusuran vektor
Masukkan hasil penelusuran sebagai perintah untuk membuat teks dengan
fungsi ML.GENERATE_TEXT
Di Konsol Google Cloud, buka halaman BigQuery.
Di editor kueri, jalankan pernyataan berikut:
SELECT ml_generate_text_llm_result AS generated, prompt FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.text_model`, ( SELECT CONCAT( 'Propose some project ideas to improve user password security using the context below: ', STRING_AGG( FORMAT("patent title: %s, patent abstract: %s", base.title, base.abstract), ',\n') ) AS prompt, FROM VECTOR_SEARCH( TABLE `bqml_tutorial.embeddings`, 'ml_generate_embedding_result', ( SELECT ml_generate_embedding_result, content AS query FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, (SELECT 'improving password security' AS content) ) ), top_k => 5, options => '{"fraction_lists_to_search": 0.01}') ), STRUCT(600 AS max_output_tokens, TRUE AS flatten_json_output));
Outputnya mirip dengan hal berikut ini:
+------------------------------------------------+------------------------------------------------------------+ | generated | prompt | +------------------------------------------------+------------------------------------------------------------+ | These patents suggest several project ideas to | Propose some project ideas to improve user password | | improve user password security. Here are | security using the context below: patent title: Active | | some, categorized by the patent they build | new password entry dialog with compact visual indication | | upon: | of adherence to password policy, patent abstract: | | | An active new password entry dialog provides a compact | | **I. Projects based on "Active new password | visual indication of adherence to password policies. A | | entry dialog with compact visual indication of | visual indication of progress towards meeting all | | adherence to password policy":** | applicable password policies is included in the display | | | and updated as new password characters are being... | +------------------------------------------------+------------------------------------------------------------+
Pembersihan
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Langkah selanjutnya
- Coba tutorial Mengurai PDF dalam pipeline retrieval-augmented generation untuk mempelajari cara membuat pipeline RAG berdasarkan konten PDF yang diuraikan.