Menangani error kuota dengan memanggil ML.GENERATE_TEXT secara iteratif
Tutorial ini menunjukkan cara menggunakan prosedur tersimpan publik bqutil.procedure.bqml_generate_text
BigQuery untuk melakukan iterasi melalui panggilan ke fungsi ML.GENERATE_TEXT
.
Memanggil fungsi secara iteratif memungkinkan Anda mengatasi error yang dapat dicoba ulang yang terjadi karena melebihi kuota dan batas yang berlaku untuk fungsi tersebut.
Untuk meninjau kode sumber untuk prosedur tersimpan bqutil.procedure.bqml_generate_text
di GitHub, lihat bqml_generate_text.sqlx
.
Untuk mengetahui informasi selengkapnya tentang parameter dan penggunaan prosedur tersimpan, lihat
file README.
Tutorial ini memandu Anda melalui tugas-tugas berikut:
- Membuat
model jarak jauh melalui model
gemini-1.5-flash-002
. - Melakukan iterasi melalui panggilan ke fungsi
ML.GENERATE_TEXT
, menggunakan model jarak jauh dan tabel data publikbigquery-public-data.bbc_news.fulltext
dengan prosedur tersimpanbqutil.procedure.bqml_generate_text
.
Izin yang diperlukan
- Untuk membuat set data, Anda memerlukan izin Identity and Access Management (IAM)
bigquery.datasets.create
. Untuk membuat resource koneksi, Anda memerlukan izin IAM berikut:
bigquery.connections.create
bigquery.connections.get
Untuk memberikan izin ke akun layanan koneksi, Anda memerlukan izin berikut:
resourcemanager.projects.setIamPolicy
Untuk membuat model, Anda memerlukan izin berikut:
bigquery.jobs.create
bigquery.models.create
bigquery.models.getData
bigquery.models.updateData
bigquery.connections.delegate
Untuk menjalankan inferensi, Anda memerlukan izin berikut:
bigquery.models.getData
bigquery.jobs.create
Biaya
Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:
- BigQuery ML: You incur costs for the data that you process in BigQuery.
- Vertex AI: You incur costs for calls to the Vertex AI model.
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Untuk mengetahui informasi selengkapnya tentang harga BigQuery, lihat harga BigQuery.
Untuk mengetahui informasi selengkapnya tentang harga Vertex AI, lihat harga Vertex AI.
Sebelum memulai
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.
Membuat set data
Buat set data BigQuery untuk menyimpan model dan data sampel Anda:
Di Konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, klik nama project Anda.
Klik > Create dataset.
View actionsDi halaman Create dataset, lakukan hal berikut:
Untuk Dataset ID, masukkan
sample
.Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).
Jangan ubah setelan default yang tersisa, lalu klik Create dataset.
Membuat koneksi
Buat koneksi resource Cloud dan dapatkan ID akun layanan koneksi. Buat koneksi di lokasi yang sama dengan set data yang Anda buat pada langkah sebelumnya.
Pilih salah satu opsi berikut:
Konsol
Buka halaman BigQuery.
Untuk membuat koneksi, klik
Tambahkan, lalu klik Koneksi ke sumber data eksternal.Dalam daftar Connection type, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).
Di kolom Connection ID, masukkan nama untuk koneksi Anda.
Klik Create connection.
Klik Go to connection.
Di panel Connection info, salin ID akun layanan untuk digunakan di langkah berikutnya.
bq
Di lingkungan command line, buat koneksi:
bq mk --connection --location=REGION --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE CONNECTION_ID
Parameter
--project_id
akan mengganti project default.Ganti kode berikut:
REGION
: region koneksi AndaPROJECT_ID
: project ID Google Cloud AndaCONNECTION_ID
: ID untuk koneksi Anda
Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.
Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
Ambil dan salin ID akun layanan untuk digunakan di langkah berikutnya:
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
Outputnya mirip dengan hal berikut ini:
name properties 1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
Gunakan resource google_bigquery_connection
.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Contoh berikut membuat koneksi resource Cloud bernama
my_cloud_resource_connection
di region US
:
Untuk menerapkan konfigurasi Terraform di project Google Cloud, selesaikan langkah-langkah di bagian berikut.
Menyiapkan Cloud Shell
- Luncurkan Cloud Shell.
-
Tetapkan project Google Cloud default tempat Anda ingin menerapkan konfigurasi Terraform.
Anda hanya perlu menjalankan perintah ini sekali per project, dan dapat dijalankan di direktori mana pun.
export GOOGLE_CLOUD_PROJECT=PROJECT_ID
Variabel lingkungan akan diganti jika Anda menetapkan nilai eksplisit dalam file konfigurasi Terraform.
Menyiapkan direktori
Setiap file konfigurasi Terraform harus memiliki direktorinya sendiri (juga disebut modul root).
-
Di Cloud Shell, buat direktori dan file baru di dalam direktori tersebut. Nama file harus memiliki
ekstensi
.tf
—misalnyamain.tf
. Dalam tutorial ini, file ini disebut sebagaimain.tf
.mkdir DIRECTORY && cd DIRECTORY && touch main.tf
-
Jika mengikuti tutorial, Anda dapat menyalin kode contoh di setiap bagian atau langkah.
Salin kode contoh ke dalam
main.tf
yang baru dibuat.Atau, salin kode dari GitHub. Tindakan ini direkomendasikan jika cuplikan Terraform adalah bagian dari solusi menyeluruh.
- Tinjau dan ubah contoh parameter untuk diterapkan pada lingkungan Anda.
- Simpan perubahan Anda.
-
Lakukan inisialisasi Terraform. Anda hanya perlu melakukan ini sekali per direktori.
terraform init
Secara opsional, untuk menggunakan versi penyedia Google terbaru, sertakan opsi
-upgrade
:terraform init -upgrade
Menerapkan perubahan
-
Tinjau konfigurasi dan pastikan resource yang akan dibuat atau
diupdate oleh Terraform sesuai yang Anda inginkan:
terraform plan
Koreksi konfigurasi jika diperlukan.
-
Terapkan konfigurasi Terraform dengan menjalankan perintah berikut dan memasukkan
yes
pada prompt:terraform apply
Tunggu hingga Terraform menampilkan pesan "Apply complete!".
- Buka project Google Cloud Anda untuk melihat hasilnya. Di Konsol Google Cloud, buka resource Anda di UI untuk memastikan bahwa Terraform telah membuat atau mengupdatenya.
Memberikan izin ke akun layanan koneksi
Untuk memberikan peran yang sesuai kepada akun layanan koneksi agar dapat mengakses layanan Cloud Storage dan Vertex AI, ikuti langkah-langkah berikut:
Buka halaman IAM & Admin.
Klik
Berikan akses.Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.
Di menu Select a role, pilih Vertex AI > Vertex AI User.
Klik Simpan.
Membuat model pembuatan teks
Buat model jarak jauh yang merepresentasikan model gemini-1.5-flash-002
Vertex AI yang dihosting:
Di Konsol Google Cloud, buka halaman BigQuery.
Di editor kueri, jalankan pernyataan berikut:
CREATE OR REPLACE MODEL `sample.generate_text` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT = 'gemini-1.5-flash-002');
Ganti kode berikut:
LOCATION
: lokasi koneksi.CONNECTION_ID
: ID koneksi BigQuery Anda.Saat Anda melihat detail koneksi di konsol Google Cloud, ini adalah nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi, misalnya
projects/myproject/locations/connection_location/connections/myconnection
.
Kueri memerlukan waktu beberapa detik untuk diselesaikan, setelah itu model
generate_text
akan muncul di set datasample
di panel Explorer. Karena kueri tersebut menggunakan pernyataanCREATE MODEL
untuk membuat model, tidak akan ada hasil kueri.
Menjalankan prosedur tersimpan
Jalankan prosedur tersimpan bqutil.procedure.bqml_generate_text
,
yang melakukan iterasi melalui panggilan ke fungsi ML.GENERATE_TEXT
menggunakan model sample.generate_text
dan
tabel data publik bigquery-public-data.bbc_news.fulltext
:
Di Konsol Google Cloud, buka halaman BigQuery.
Di editor kueri, jalankan pernyataan berikut:
CALL `bqutil.procedure.bqml_generate_text`( "bigquery-public-data.bbc_news.fulltext", -- source table "PROJECT_ID.sample.news_generated_text", -- destination table "PROJECT_ID.sample.generate_text", -- model "body", -- content column ["filename"], -- key columns '{}' -- optional arguments );
Ganti
PROJECT_ID
dengan project ID project yang Anda gunakan untuk tutorial ini.Prosedur tersimpan membuat tabel
sample.news_generated_text
untuk berisi output fungsiML.GENERATE_TEXT
.Setelah kueri selesai berjalan, pastikan tidak ada baris di tabel
sample.news_generated_text
yang berisi error yang dapat dicoba ulang. Di editor kueri, jalankan pernyataan berikut:SELECT * FROM `sample.news_generated_text` WHERE ml_generate_text_status LIKE '%A retryable error occurred%';
Kueri menampilkan pesan
No data to display
.
Pembersihan
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.