Menangani error kuota dengan memanggil ML.GENERATE_TEXT secara iteratif

Tutorial ini menunjukkan cara menggunakan Skrip inferensi jarak jauh BigQuery untuk melakukan iterasi melalui panggilan ke Fungsi ML.GENERATE_TEXT. Memanggil fungsi secara berulang memungkinkan Anda mengatasi error yang dapat dicoba ulang dan terjadi karena melampaui kuota dan batas yang berlaku untuk fungsi tersebut.

Untuk informasi selengkapnya tentang skrip inferensi jarak jauh BigQuery, seperti parameter yang digunakan dan fungsi yang digunakan, lihat file readme.

Tutorial ini akan memandu Anda melakukan tugas berikut:

• Membuat model jarak jauh melalui model gemini-1.5-flash-001.
• Membuat tabel berisi data sampel berdasarkan bigquery-public-data.hacker_news.full set data publik.
• Melakukan iterasi melalui panggilan ke fungsi ML.GENERATE_TEXT, menggunakan remote model dan data sampel dengan structured_table_inference_loop_generate_text_example contoh skrip.

Izin yang diperlukan

• Untuk membuat set data, Anda memerlukan izin Identity and Access Management (IAM) bigquery.datasets.create.

• Untuk membuat resource koneksi, Anda memerlukan izin IAM berikut:

  • bigquery.connections.create
  • bigquery.connections.get

• Untuk memberikan izin ke akun layanan koneksi, Anda memerlukan izin berikut:

  • resourcemanager.projects.setIamPolicy

• Untuk membuat model, Anda memerlukan izin berikut:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.connections.delegate

• Untuk menjalankan inferensi, Anda memerlukan izin berikut:

  • bigquery.models.getData
  • bigquery.jobs.create

Biaya

Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI model.

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Untuk informasi lebih lanjut tentang harga BigQuery, lihat Harga BigQuery.

Untuk mengetahui informasi selengkapnya tentang harga Vertex AI, lihat Harga Vertex AI.

Sebelum memulai

1. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

2. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

3. Aktifkan API BigQuery, BigQuery Connection, and Vertex AI.

   Mengaktifkan API

Membuat set data

Buat set data BigQuery untuk menyimpan model dan sampel data Anda:

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka halaman BigQuery

2. Di panel Explorer, klik nama project Anda.

3. Klik Lihat tindakan > Buat set data.

4. Di halaman Create dataset, lakukan hal berikut:

   1. Untuk Dataset ID, masukkan sample.

   2. Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).

   3. Jangan ubah setelan default yang tersisa, lalu klik Create dataset.

Membuat koneksi

Buat Koneksi resource cloud dan dapatkan ID akun layanan koneksi. Buat koneksi di lokasi yang sama dengan set data yang telah Anda buat di langkah sebelumnya.

Pilih salah satu opsi berikut:

Konsol

1. Buka halaman BigQuery.

   Buka BigQuery

2. Untuk membuat koneksi, klik Tambahkan, lalu klik Koneksi ke sumber data eksternal.

3. Dalam daftar Connection type, pilih Vertex AI remote models, fungsi jarak jauh dan BigLake (Cloud Resource).

4. Di kolom Connection ID, masukkan nama untuk koneksi Anda.

5. Klik Create connection.

6. Klik Go to connection.

7. Di panel Connection info, salin ID akun layanan untuk digunakan di langkah berikutnya.

bq

1. Di lingkungan command line, buat koneksi:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID
   

   Parameter --project_id akan mengganti project default.

   Ganti kode berikut:

   • REGION: region koneksi Anda
   • PROJECT_ID: project ID Google Cloud Anda
   • CONNECTION_ID: ID untuk koneksi Anda

   Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.

   Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Ambil dan salin ID akun layanan untuk digunakan nanti langkah:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID
   

   Outputnya mirip dengan hal berikut ini:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel."}
   

Terraform

Tambahkan bagian berikut ke dalam file main.tf Anda.

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Ganti yang berikut:

• CONNECTION_ID: ID untuk koneksi Anda
• PROJECT_ID: project ID Google Cloud Anda
• REGION: region koneksi Anda

Memberikan izin ke akun layanan koneksi

Untuk memberikan peran yang sesuai kepada akun layanan koneksi untuk diakses layanan Cloud Storage dan Vertex AI, ikuti langkah-langkah berikut:

1. Buka halaman IAM & Admin.

   Buka IAM & Admin

2. Klik Berikan akses.

3. Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.

4. Di menu Pilih peran, pilih Vertex AI > Pengguna Vertex AI.

5. Klik Simpan.

Membuat model pembuatan teks

Membuat model jarak jauh yang merepresentasikan Vertex AI yang dihosting Model gemini-1.5-flash-001:

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan berikut:

   CREATE OR REPLACE MODEL `sample.generate_text`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'gemini-1.5-flash-001');
   

   Ganti kode berikut:

   • LOCATION: lokasi koneksi.
   • CONNECTION_ID: ID koneksi BigQuery.

     Saat Anda melihat detail koneksi di Konsol Google Cloud, ini adalah nilai di bagian terakhir dari ID koneksi yang sepenuhnya memenuhi syarat Misalnya ID Koneksi projects/myproject/locations/connection_location/connections/myconnection.

   Kueri memerlukan waktu beberapa detik untuk diselesaikan, setelah itu generate_text muncul dalam set data sample di panel Explorer. Karena kueri menggunakan pernyataan CREATE MODEL untuk membuat model, tidak ada kueri hasil pengujian tersebut.

Membuat contoh tabel data

Buat tabel data contoh sample.hacker:

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan berikut:

   CREATE OR REPLACE TABLE sample.hacker AS
   SELECT * FROM `bigquery-public-data.hacker_news.full`
   WHERE type = 'story'
   AND text IS NOT NULL;
   

Menjalankan contoh skrip

Jalankan skrip contoh structured_table_inference_loop_generate_text_example, yang melakukan iterasi melalui panggilan ke fungsi ML.GENERATE_TEXT menggunakan model sample.generate_text dan tabel sample.hacker:

1. Buka halaman structured_table_inference_loop_generate_text_example contoh skrip untuk melakukan iterasi melalui panggilan ke fungsi ML.GENERATE_TEXT.
2. Salin konten skrip.

3. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

4. Di editor kueri, tempel konten skrip, lalu klik Run. Skrip ini membuat tabel sample.hacker_generated_text untuk menampung output dari fungsi ML.GENERATE_TEXT.

5. Ketika kueri selesai berjalan, konfirmasikan bahwa tidak ada baris dalam tabel sample.hacker_generated_text yang berisi error yang dapat dicoba lagi. Di editor kueri, jalankan pernyataan berikut:

   SELECT *
   FROM `sample.hacker_generated_text`
   WHERE ml_generate_text_status LIKE '%A retryable error occurred%';
   

   Kueri akan menampilkan pesan No data to display.

Pembersihan

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

1. Di konsol Google Cloud, buka halaman Manage resource.

   Buka Manage resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.