Membuat dan menelusuri embedding multimodal

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Untuk memberikan masukan atau meminta dukungan terkait fitur ini, kirim email ke [e-mail].

Tutorial ini memandu Anda melalui proses end-to-end dalam membuat embedding multimodal untuk gambar dan teks, lalu melakukan penelusuran teks-ke-gambar lintas modalitas.

Tutorial ini membahas tugas-tugas berikut:

• Membuat tabel objek BigQuery atas data gambar di bucket Cloud Storage.
• Pelajari data gambar menggunakan notebook Colab Enterprise di BigQuery.
• Membuat model jarak jauh BigQuery ML yang menargetkan model dasar multimodalembedding Vertex AI.
• Menggunakan model jarak jauh dengan fungsi ML.GENERATE_EMBEDDING untuk menghasilkan embedding dari gambar dalam tabel objek.
• Perbaiki error pembuatan penyematan.
• Atau, membuat indeks vektor untuk mengindeks embedding gambar.
• Membuat embedding teks untuk string penelusuran tertentu.
• Menggunakan fungsi VECTOR_SEARCH untuk menelusuri embedding gambar yang mirip dengan penyematan teks.
• Memvisualisasikan hasil menggunakan {i>notebook<i}.

Tutorial ini menggunakan gambar seni domain publik dari The Metropolitan Museum of Art yang tersedia di bucket gcs-public-data--met Cloud Storage publik.

Izin yang diperlukan

Untuk menjalankan tutorial ini, Anda memerlukan izin Identity and Access Management (IAM) berikut:

• Untuk membuat koneksi, Anda memerlukan keanggotaan dalam peran BigQuery Connection Admin (roles/bigquery.connectionAdmin).

• Untuk memberikan izin ke akun layanan koneksi, Anda memerlukan izin resourcemanager.projects.setIamPolicy.

• Untuk membuat dan menjalankan notebook, Anda memerlukan izin IAM berikut:

  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • bigquery.config.get
  • bigquery.jobs.create
  • bigquery.readsessions.create
  • bigquery.readsessions.getData
  • bigquery.readsessions.update
  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • dataform.locations.get
  • dataform.locations.list

  • dataform.repositories.create

    Catatan: Pengguna yang memiliki izin dataform.repositories.create dapat mengeksekusi kode menggunakan akun layanan Dataform default dan semua izin yang diberikan ke akun layanan tersebut. Untuk mengetahui informasi selengkapnya, lihat Pertimbangan keamanan untuk izin Formulir data.

  • dataform.repositories.list

  • dataform.collections.create

  • dataform.collections.list

  • aiplatform.notebookRuntimeTemplates.apply

  • aiplatform.notebookRuntimeTemplates.get

  • aiplatform.notebookRuntimeTemplates.list

  • aiplatform.notebookRuntimeTemplates.getIamPolicy

  • aiplatform.notebookRuntimes.assign

  • aiplatform.notebookRuntimes.get

  • aiplatform.notebookRuntimes.list

  • aiplatform.operations.list

  Anda bisa mendapatkan izin ini dari peran IAM berikut:

  • Pengguna Sesi Baca BigQuery (roles/bigquery.readSessionUser)
  • Pengguna BigQuery Studio (roles/bigquery.studioUser)

• Izin IAM yang diperlukan dalam tutorial ini untuk operasi BigQuery yang tersisa disertakan dalam dua peran berikut:

  • Editor Data BigQuery (roles/bigquery.dataEditor) untuk membuat model, tabel, dan indeks.
  • BigQuery User (roles/bigquery.user) untuk menjalankan tugas BigQuery.

Biaya

Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:

• BigQuery ML: Anda akan dikenai biaya untuk data yang diproses di BigQuery.
• Vertex AI: Anda dikenai biaya panggilan ke layanan Vertex AI yang direpresentasikan oleh model jarak jauh.

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Untuk mengetahui informasi selengkapnya tentang harga BigQuery, lihat harga BigQuery dalam dokumentasi BigQuery.

Untuk mengetahui informasi selengkapnya tentang harga Vertex AI, lihat halaman harga Vertex AI.

Sebelum memulai

1. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

2. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

3. Aktifkan API BigQuery, BigQuery Connection, and Vertex AI.

   Mengaktifkan API

4. Aktifkan BigQuery Studio.

Membuat set data

Buat set data BigQuery untuk menyimpan model ML Anda:

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka halaman BigQuery

2. Di panel Explorer, klik nama project Anda.

3. Klik View actions > Create dataset.

   

4. Di halaman Create dataset, lakukan hal berikut:

   • Untuk Dataset ID, masukkan bqml_tutorial.

   • Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).

     Set data publik disimpan di US multi-region. Untuk mempermudah, simpan set data Anda di lokasi yang sama.

   • Jangan ubah setelan default yang tersisa, lalu klik Create dataset.

     

Membuat koneksi

Buat koneksi resource Cloud dan dapatkan ID akun layanan koneksi tersebut. Buat koneksi di lokasi yang sama dengan set data yang Anda buat di langkah sebelumnya.

Pilih salah satu opsi berikut:

Konsol

1. Buka halaman BigQuery.

   Buka BigQuery

2. Untuk membuat koneksi, klik Add, lalu klik Connections to external data sources.

3. Dalam daftar Connection type, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).

4. Di kolom Connection ID, masukkan nama untuk koneksi Anda.

5. Klik Create connection.

6. Klik Go to connection.

7. Di panel Connection info, salin ID akun layanan untuk digunakan di langkah berikutnya.

bq

1. Di lingkungan command line, buat koneksi:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID
   

   Parameter --project_id akan mengganti project default.

   Ganti kode berikut:

   • REGION: region koneksi Anda
   • PROJECT_ID: project ID Google Cloud Anda
   • CONNECTION_ID: ID untuk koneksi Anda

   Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.

   Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Ambil dan salin ID akun layanan untuk digunakan di langkah berikutnya:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID
   

   Outputnya mirip dengan hal berikut ini:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "[e-mail]"}
   

Terraform

Tambahkan bagian berikut ke dalam file main.tf Anda.

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Ganti kode berikut:

• CONNECTION_ID: ID untuk koneksi Anda
• PROJECT_ID: project ID Google Cloud Anda
• REGION: region koneksi Anda

Memberikan izin ke akun layanan koneksi

Untuk memberikan peran yang sesuai kepada akun layanan koneksi agar dapat mengakses layanan Cloud Storage dan Vertex AI, ikuti langkah-langkah berikut:

1. Buka halaman IAM & Admin.

   Buka IAM & Admin

2. Klik Berikan Akses.

3. Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.

4. Di kolom Select a role, pilih Vertex AI, lalu pilih Vertex AI User.

5. Klik Add another role.

6. Pada kolom Select a role, pilih Cloud Storage, lalu pilih Storage Object Viewer.

7. Klik Save.

Membuat tabel objek

Buat tabel objek di atas gambar art di bucket gcs-public-data--met Cloud Storage publik. Tabel objek memungkinkan analisis gambar tanpa memindahkannya dari Cloud Storage.

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut ini:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.met_images`
   WITH CONNECTION `LOCATION.CONNECTION_ID`
   OPTIONS
     ( object_metadata = 'SIMPLE',
       uris = ['gs://gcs-public-data--met/*']
     );
   

   Ganti kode berikut:

   • LOCATION: lokasi koneksi.
   • CONNECTION_ID: ID koneksi BigQuery Anda.

     Saat Anda melihat detail koneksi di Konsol Google Cloud, ini adalah nilai di bagian terakhir dari ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di Connection ID, misalnya projects/myproject/locations/connection_location/connections/myconnection.

Menjelajahi data gambar

Buat notebook Colab Enterprise di BigQuery untuk mempelajari data gambar.

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Buat notebook menggunakan editor BigQuery.

3. Hubungkan notebook ke runtime default.

4. Siapkan notebook:

   1. Tambahkan sel kode ke notebook.

   2. Salin dan tempel kode berikut ke dalam sel kode:

      #@title Set up credentials
      
      from google.colab import auth
      auth.authenticate_user()
      print('Authenticated')
      
      PROJECT_ID='PROJECT_ID'
      from google.cloud import bigquery
      client = bigquery.Client(PROJECT_ID)
      

      Ganti PROJECT_ID dengan nama project yang Anda gunakan untuk tutorial ini.

   3. Jalankan sel kode.

5. Aktifkan tampilan tabel:

   1. Tambahkan sel kode ke notebook.

   2. Salin dan tempel kode berikut ke dalam sel kode:

      #@title Enable data table display
      %load_ext google.colab.data_table
      

   3. Jalankan sel kode.

6. Buat fungsi untuk menampilkan gambar:

   1. Tambahkan sel kode ke notebook.

   2. Salin dan tempel kode berikut ke dalam sel kode:

      #@title Util function to display images
      import io
      from PIL import Image
      import matplotlib.pyplot as plt
      import tensorflow as tf
      
      def printImages(results):
       image_results_list = list(results)
       amt_of_images = len(image_results_list)
      
       fig, axes = plt.subplots(nrows=amt_of_images, ncols=2, figsize=(20, 20))
       fig.tight_layout()
       fig.subplots_adjust(hspace=0.5)
       for i in range(amt_of_images):
         gcs_uri = image_results_list[i][0]
         text = image_results_list[i][1]
         f = tf.io.gfile.GFile(gcs_uri, 'rb')
         stream = io.BytesIO(f.read())
         img = Image.open(stream)
         axes[i, 0].axis('off')
         axes[i, 0].imshow(img)
         axes[i, 1].axis('off')
         axes[i, 1].text(0, 0, text, fontsize=10)
       plt.show()
      

   3. Jalankan sel kode.

7. Menampilkan gambar:

   1. Tambahkan sel kode ke notebook.

   2. Salin dan tempel kode berikut ke dalam sel kode:

      #@title Display Met images
      
      inspect_obj_table_query = """
      SELECT uri, content_type
      FROM bqml_tutorial.met_images
      WHERE content_type = 'image/jpeg'
      Order by uri
      LIMIT 10;
      """
      printImages(client.query(inspect_obj_table_query))
      

   3. Jalankan sel kode.

      Hasilnya akan terlihat seperti berikut:

      

8. Simpan notebook sebagai met-image-analysis.

Membuat model jarak jauh

Buat model jarak jauh yang merepresentasikan model embedding multimodal Vertex AI yang dihosting:

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut ini:

   CREATE OR REPLACE MODEL `bqml_tutorial.multimodal_embedding_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'multimodalembedding@001');
   

   Ganti kode berikut:

   • LOCATION: lokasi koneksi.
   • CONNECTION_ID: ID koneksi BigQuery Anda.

     Saat Anda melihat detail koneksi di Konsol Google Cloud, ini adalah nilai di bagian terakhir dari ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di Connection ID, misalnya projects/myproject/locations/connection_location/connections/myconnection.

   Kueri memerlukan waktu beberapa detik untuk selesai, setelah itu model multimodal_embedding_model akan muncul di set data bqml_tutorial di panel Explorer. Karena kueri tersebut menggunakan pernyataan CREATE MODEL untuk membuat model, tidak ada hasil kueri.

Membuat embedding gambar

Buat embedding dari gambar dalam tabel objek menggunakan fungsi ML.GENERATE_EMBEDDING, lalu tuliskan ke tabel untuk digunakan pada langkah berikutnya. Pembuatan penyematan adalah operasi yang mahal, sehingga kueri menggunakan klausa LIMIT untuk membatasi pembuatan penyematan hingga 10.000 gambar, bukan menyematkan set data lengkap yang berisi 601.294 gambar. Hal ini juga membantu menjaga jumlah gambar di bawah batas 20.000 untuk fungsi ML.GENERATE_EMBEDDING. Kueri ini membutuhkan waktu sekitar 40 menit untuk dijalankan.

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut ini:

   CREATE OR REPLACE TABLE `bqml_tutorial.met_image_embeddings`
   AS
   SELECT *
   FROM
     ML.GENERATE_EMBEDDING(
       MODEL `bqml_tutorial.multimodal_embedding_model`,
       TABLE `bqml_tutorial.met_images`)
   WHERE content_type = 'image/jpeg'
   LIMIT 10000;
   

Memperbaiki error pembuatan penyematan

Memeriksa dan memperbaiki error pembuatan penyematan. Pembuatan penyematan dapat gagal karena AI Generatif pada kuota Vertex AI atau tidak tersedianya layanan.

Fungsi ML.GENERATE_EMBEDDING menampilkan detail error di kolom ml_generate_embedding_status. Kolom ini kosong jika pembuatan penyematan berhasil, atau berisi pesan error jika pembuatan penyematan gagal.

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut untuk melihat apakah ada kegagalan pembuatan penyematan:

   SELECT DISTINCT(ml_generate_embedding_status),
     COUNT(uri) AS num_rows
   FROM bqml_tutorial.met_image_embeddings
   GROUP BY 1;
   

3. Jika baris yang berisi error ditampilkan, hapus baris yang pembuatan penyematannya gagal:

   DELETE FROM `bqml_tutorial.met_image_embeddings`
   WHERE ml_generate_embedding_status = 'A retryable error occurred: RESOURCE_EXHAUSTED error from remote service/endpoint.';
   

Membuat indeks vektor

Anda juga dapat menggunakan pernyataan CREATE VECTOR INDEX untuk membuat indeks vektor met_images_index pada kolom ml_generate_embedding_result dalam tabel met_images_embeddings. Indeks vektor memungkinkan Anda melakukan penelusuran vektor dengan lebih cepat, dengan konsekuensi pengurangan perolehan sehingga menampilkan lebih banyak hasil perkiraan.

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut ini:

   CREATE OR REPLACE
     VECTOR INDEX `met_images_index`
   ON
     bqml_tutorial.met_image_embeddings(ml_generate_embedding_result)
     OPTIONS (
       index_type = 'IVF',
       distance_type = 'COSINE');
   

3. Indeks vektor dibuat secara asinkron. Untuk memeriksa apakah indeks vektor telah dibuat, buat kueri tampilan INFORMATION_SCHEMA.VECTOR_INDEXES dan konfirmasikan bahwa nilai coverage_percentage lebih besar dari 0, dan nilai last_refresh_time bukan NULL:

   SELECT table_name, index_name, index_status,
     coverage_percentage, last_refresh_time, disable_reason
   FROM bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES
   WHERE index_name = 'met_images_index';
   

Membuat embedding untuk teks penelusuran

Untuk menelusuri gambar yang sesuai dengan string penelusuran teks tertentu, Anda harus terlebih dahulu membuat penyematan teks untuk string tersebut. Gunakan model jarak jauh yang sama untuk membuat penyematan teks yang Anda gunakan untuk membuat embedding gambar, lalu tuliskan penyematan teks ke tabel untuk digunakan pada langkah berikutnya. String penelusuran adalah pictures of white or cream colored dress from victorian era.

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut ini:

   CREATE OR REPLACE TABLE `bqml_tutorial.search_embedding`
   AS
   SELECT * FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.multimodal_embedding_model`,
     (
       SELECT 'pictures of white or cream colored dress from victorian era' AS content
     )
   );
   

Melakukan penelusuran teks-ke-gambar lintas modalitas

Gunakan fungsi VECTOR_SEARCH untuk menelusuri gambar yang paling sesuai dengan string penelusuran yang direpresentasikan oleh penyematan teks, lalu tuliskan ke tabel untuk digunakan pada langkah berikutnya.

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut ini:

   CREATE OR REPLACE TABLE `bqml_tutorial.vector_search_results` AS
   SELECT base.uri AS gcs_uri, distance
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.met_image_embeddings`,
       'ml_generate_embedding_result',
       TABLE `bqml_tutorial.search_embedding`,
       'ml_generate_embedding_result',
       top_k => 3);
   

Memvisualisasikan hasil penelusuran vektor

Visualisasikan hasil penelusuran vektor dengan menggunakan notebook.

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Buka notebook met-image-analysis yang Anda buat sebelumnya.

3. Visualisasikan hasil penelusuran vektor:

   1. Tambahkan sel kode ke notebook.

   2. Salin dan tempel kode berikut ke dalam sel kode:

      query = """
        SELECT * FROM `bqml_tutorial.vector_search_results`
        ORDER BY distance;
      """
      
      printImages(client.query(query))
      

   3. Jalankan sel kode.

      Hasilnya akan terlihat seperti berikut:

      

Pembersihan

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

1. Di konsol Google Cloud, buka halaman Manage resource.

   Buka Manage resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.