Membuat dan menelusuri embedding multimodal

Tutorial ini memandu Anda melalui proses menyeluruh dalam membuat embedding multimodal untuk gambar dan teks, lalu melakukan penelusuran teks ke gambar lintas modalitas.

Tutorial ini membahas tugas-tugas berikut:

• Membuat tabel objek BigQuery di atas data gambar dalam bucket Cloud Storage.
• Menjelajahi data gambar menggunakan notebook Colab Enterprise di BigQuery.
• Membuat model jarak jauh BigQuery ML yang menargetkan model foundation multimodalembedding Vertex AI.
• Menggunakan model jarak jauh dengan fungsi ML.GENERATE_EMBEDDING untuk membuat penyematan dari gambar dalam tabel objek.
• Perbaiki error pembuatan penyematan.
• Secara opsional, membuat indeks vektor untuk mengindeks embedding gambar.
• Membuat penyematan teks untuk string penelusuran tertentu.
• Menggunakan fungsi VECTOR_SEARCH untuk menelusuri penyematan gambar yang mirip dengan penyematan teks.
• Memvisualisasikan hasil menggunakan notebook.

Tutorial ini menggunakan gambar seni domain publik dari The Metropolitan Museum of Art yang tersedia di bucket gcs-public-data--met Cloud Storage publik.

Izin yang diperlukan

Untuk menjalankan tutorial ini, Anda memerlukan izin Identity and Access Management (IAM) berikut:

• Untuk membuat koneksi, Anda memerlukan keanggotaan dalam peran BigQuery Connection Admin (roles/bigquery.connectionAdmin).

• Untuk memberikan izin ke akun layanan koneksi, Anda memerlukan izin resourcemanager.projects.setIamPolicy.

• Untuk membuat dan menjalankan notebook, Anda memerlukan izin IAM berikut:

  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • bigquery.config.get
  • bigquery.jobs.create
  • bigquery.readsessions.create
  • bigquery.readsessions.getData
  • bigquery.readsessions.update
  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • dataform.locations.get
  • dataform.locations.list

  • dataform.repositories.create

    Catatan: Pengguna yang memiliki izin dataform.repositories.create dapat mengeksekusi kode menggunakan akun layanan Dataform default dan semua izin yang diberikan ke akun layanan tersebut. Untuk mengetahui informasi selengkapnya, lihat Pertimbangan keamanan untuk izin Dataform.

  • dataform.repositories.list

  • dataform.collections.create

  • dataform.collections.list

  • aiplatform.notebookRuntimeTemplates.apply

  • aiplatform.notebookRuntimeTemplates.get

  • aiplatform.notebookRuntimeTemplates.list

  • aiplatform.notebookRuntimeTemplates.getIamPolicy

  • aiplatform.notebookRuntimes.assign

  • aiplatform.notebookRuntimes.get

  • aiplatform.notebookRuntimes.list

  • aiplatform.operations.list

  Anda bisa mendapatkan izin ini dari peran IAM berikut:

  • BigQuery Read Session User (roles/bigquery.readSessionUser)
  • BigQuery Studio User (roles/bigquery.studioUser)

• Izin IAM yang diperlukan dalam tutorial ini untuk operasi BigQuery lainnya disertakan dalam dua peran berikut:

  • BigQuery Data Editor (roles/bigquery.dataEditor) untuk membuat model, tabel, dan indeks.
  • BigQuery User (roles/bigquery.user) untuk menjalankan tugas BigQuery.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloud yang dapat ditagih berikut:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Untuk mengetahui informasi selengkapnya tentang harga BigQuery, lihat harga BigQuery dalam dokumentasi BigQuery.

Untuk mengetahui informasi selengkapnya tentang harga Vertex AI, lihat halaman harga Vertex AI.

Sebelum memulai

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Enable the APIs

4. Aktifkan BigQuery Studio.

Membuat set data

Buat set data BigQuery untuk menyimpan model ML Anda:

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka halaman BigQuery

2. Di panel Explorer, klik nama project Anda.

3. Klik View actions > Create dataset.

   

4. Di halaman Create dataset, lakukan hal berikut:

   • Untuk Dataset ID, masukkan bqml_tutorial.

   • Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).

     Set data publik disimpan di US multi-region. Untuk mempermudah, simpan set data Anda di lokasi yang sama.

   • Jangan ubah setelan default yang tersisa, lalu klik Create dataset.

     

Membuat koneksi

Buat koneksi resource Cloud dan dapatkan ID akun layanan koneksi. Buat koneksi di lokasi yang sama dengan set data yang Anda buat pada langkah sebelumnya.

Pilih salah satu opsi berikut:

Konsol

1. Buka halaman BigQuery.

   Buka BigQuery

2. Untuk membuat koneksi, klik Tambahkan, lalu klik Koneksi ke sumber data eksternal.

3. Dalam daftar Connection type, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).

4. Di kolom Connection ID, masukkan nama untuk koneksi Anda.

5. Klik Create connection.

6. Klik Go to connection.

7. Di panel Connection info, salin ID akun layanan untuk digunakan di langkah berikutnya.

bq

1. Di lingkungan command line, buat koneksi:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID

   Parameter --project_id akan mengganti project default.

   Ganti kode berikut:

   • REGION: region koneksi Anda
   • PROJECT_ID: project ID Google Cloud Anda
   • CONNECTION_ID: ID untuk koneksi Anda

   Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.

   Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Ambil dan salin ID akun layanan untuk digunakan di langkah berikutnya:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID

   Outputnya mirip dengan hal berikut ini:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "[e-mail]"}
   

Terraform

Gunakan resource google_bigquery_connection.

Catatan: Untuk membuat objek BigQuery menggunakan Terraform, Anda harus mengaktifkan Cloud Resource Manager API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.

Contoh berikut membuat koneksi resource Cloud bernama my_cloud_resource_connection di region US:

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Untuk menerapkan konfigurasi Terraform di project Google Cloud, selesaikan langkah-langkah di bagian berikut.

Menyiapkan Cloud Shell

1. Luncurkan Cloud Shell.

2. Tetapkan project Google Cloud default tempat Anda ingin menerapkan konfigurasi Terraform.

   Anda hanya perlu menjalankan perintah ini sekali per project, dan dapat dijalankan di direktori mana pun.

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   Variabel lingkungan akan diganti jika Anda menetapkan nilai eksplisit dalam file konfigurasi Terraform.

Menyiapkan direktori

Setiap file konfigurasi Terraform harus memiliki direktorinya sendiri (juga disebut modul root).

1. Di Cloud Shell, buat direktori dan file baru di dalam direktori tersebut. Nama file harus memiliki ekstensi .tf—misalnya main.tf. Dalam tutorial ini, file ini disebut sebagai main.tf.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. Jika mengikuti tutorial, Anda dapat menyalin kode contoh di setiap bagian atau langkah.

   Salin kode contoh ke dalam main.tf yang baru dibuat.

   Atau, salin kode dari GitHub. Tindakan ini direkomendasikan jika cuplikan Terraform adalah bagian dari solusi menyeluruh.

3. Tinjau dan ubah contoh parameter untuk diterapkan pada lingkungan Anda.
4. Simpan perubahan Anda.
5. Lakukan inisialisasi Terraform. Anda hanya perlu melakukan ini sekali per direktori.

   terraform init

   Secara opsional, untuk menggunakan versi penyedia Google terbaru, sertakan opsi -upgrade:

   terraform init -upgrade

Menerapkan perubahan

1. Tinjau konfigurasi dan pastikan resource yang akan dibuat atau diupdate oleh Terraform sesuai yang Anda inginkan:

   terraform plan

   Koreksi konfigurasi jika diperlukan.

2. Terapkan konfigurasi Terraform dengan menjalankan perintah berikut dan memasukkan yes pada prompt:

   terraform apply

   Tunggu hingga Terraform menampilkan pesan "Apply complete!".

3. Buka project Google Cloud Anda untuk melihat hasilnya. Di Konsol Google Cloud, buka resource Anda di UI untuk memastikan bahwa Terraform telah membuat atau mengupdatenya.

Catatan: Contoh Terraform biasanya mengasumsikan bahwa API yang diperlukan diaktifkan di project Google Cloud Anda.

Memberikan izin ke akun layanan koneksi

Berikan peran yang sesuai kepada akun layanan koneksi agar dapat mengakses layanan Cloud Storage dan Vertex AI. Anda harus memberikan peran ini di project yang sama dengan yang Anda buat atau pilih di bagian Sebelum memulai. Memberikan peran di project lain akan menyebabkan error [e-mail] does not have the permission to access resource.

Untuk memberikan peran yang sesuai, ikuti langkah-langkah berikut:

1. Buka halaman IAM & Admin.

   Buka IAM & Admin

2. Klik Berikan Akses.

3. Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.

4. Di kolom Pilih peran, pilih Vertex AI, lalu pilih Pengguna Vertex AI.

5. Klik Add another role.

6. Di kolom Select a role, pilih Cloud Storage, lalu pilih Storage Object Viewer.

7. Klik Simpan.

Membuat tabel objek

Buat tabel objek di atas gambar seni di bucket gcs-public-data--met Cloud Storage publik. Tabel objek memungkinkan Anda menganalisis gambar tanpa memindahkannya dari Cloud Storage.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.met_images`
   WITH CONNECTION `LOCATION.CONNECTION_ID`
   OPTIONS
     ( object_metadata = 'SIMPLE',
       uris = ['gs://gcs-public-data--met/*']
     );

   Ganti kode berikut:

   • LOCATION: lokasi koneksi.
   • CONNECTION_ID: ID koneksi BigQuery Anda.

     Saat Anda melihat detail koneksi di konsol Google Cloud, ini adalah nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi, misalnya projects/myproject/locations/connection_location/connections/myconnection.

Menjelajahi data gambar

Buat notebook Colab Enterprise di BigQuery untuk menjelajahi data gambar.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Buat notebook menggunakan editor BigQuery.

3. Hubungkan notebook ke runtime default.

4. Siapkan notebook:

   1. Tambahkan sel kode ke notebook.

   2. Salin dan tempel kode berikut ke dalam sel kode:

      #@title Set up credentials
      
      from google.colab import auth
      auth.authenticate_user()
      print('Authenticated')
      
      PROJECT_ID='PROJECT_ID'
      from google.cloud import bigquery
      client = bigquery.Client(PROJECT_ID)
      

      Ganti PROJECT_ID dengan nama project yang Anda gunakan untuk tutorial ini.

   3. Jalankan sel kode.

5. Aktifkan tampilan tabel:

   1. Tambahkan sel kode ke notebook.

   2. Salin dan tempel kode berikut ke dalam sel kode:

      #@title Enable data table display
      %load_ext google.colab.data_table
      

   3. Jalankan sel kode.

6. Buat fungsi untuk menampilkan gambar:

   1. Tambahkan sel kode ke notebook.

   2. Salin dan tempel kode berikut ke dalam sel kode:

      #@title Util function to display images
      import io
      from PIL import Image
      import matplotlib.pyplot as plt
      import tensorflow as tf
      
      def printImages(results):
       image_results_list = list(results)
       amt_of_images = len(image_results_list)
      
       fig, axes = plt.subplots(nrows=amt_of_images, ncols=2, figsize=(20, 20))
       fig.tight_layout()
       fig.subplots_adjust(hspace=0.5)
       for i in range(amt_of_images):
         gcs_uri = image_results_list[i][0]
         text = image_results_list[i][1]
         f = tf.io.gfile.GFile(gcs_uri, 'rb')
         stream = io.BytesIO(f.read())
         img = Image.open(stream)
         axes[i, 0].axis('off')
         axes[i, 0].imshow(img)
         axes[i, 1].axis('off')
         axes[i, 1].text(0, 0, text, fontsize=10)
       plt.show()
      

   3. Jalankan sel kode.

7. Menampilkan gambar:

   1. Tambahkan sel kode ke notebook.

   2. Salin dan tempel kode berikut ke dalam sel kode:

      #@title Display Met images
      
      inspect_obj_table_query = """
      SELECT uri, content_type
      FROM bqml_tutorial.met_images
      WHERE content_type = 'image/jpeg'
      Order by uri
      LIMIT 10;
      """
      printImages(client.query(inspect_obj_table_query))
      

   3. Jalankan sel kode.

      Hasilnya akan terlihat seperti berikut:

      

8. Simpan notebook sebagai met-image-analysis.

Membuat model jarak jauh

Buat model jarak jauh yang merepresentasikan model penyematan multimodal Vertex AI yang dihosting:

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut:

   CREATE OR REPLACE MODEL `bqml_tutorial.multimodal_embedding_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'multimodalembedding@001');

   Ganti kode berikut:

   • LOCATION: lokasi koneksi.
   • CONNECTION_ID: ID koneksi BigQuery Anda.

     Saat Anda melihat detail koneksi di konsol Google Cloud, ini adalah nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi, misalnya projects/myproject/locations/connection_location/connections/myconnection.

   Kueri memerlukan waktu beberapa detik untuk diselesaikan, setelah itu model multimodal_embedding_model akan muncul di set data bqml_tutorial di panel Explorer. Karena kueri menggunakan pernyataan CREATE MODEL untuk membuat model, tidak akan ada hasil kueri.

Membuat embedding gambar

Buat penyematan dari gambar dalam tabel objek menggunakan fungsi ML.GENERATE_EMBEDDING, lalu tulis ke tabel untuk digunakan pada langkah berikutnya. Pembuatan penyematan adalah operasi yang mahal, sehingga kueri menggunakan subkueri yang menyertakan klausa LIMIT untuk membatasi pembuatan penyematan hingga 10.000 gambar, bukan menyematkan set data lengkap yang berisi 601.294 gambar. Hal ini juga membantu menjaga jumlah gambar di bawah batas 25.000 untuk fungsi ML.GENERATE_EMBEDDING. Kueri ini membutuhkan waktu sekitar 40 menit untuk dijalankan.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut:

   CREATE OR REPLACE TABLE `bqml_tutorial.met_image_embeddings`
   AS
   SELECT *
   FROM
     ML.GENERATE_EMBEDDING(
       MODEL `bqml_tutorial.multimodal_embedding_model`,
       (SELECT * FROM `bqml_tutorial.met_images` WHERE content_type = 'image/jpeg' LIMIT 10000))

Memperbaiki error pembuatan penyematan

Periksa dan perbaiki error pembuatan penyematan. Pembuatan penyematan dapat gagal karena kuota AI Generatif di Vertex AI atau ketidaktersediaan layanan.

Fungsi ML.GENERATE_EMBEDDING menampilkan detail error di kolom ml_generate_embedding_status. Kolom ini kosong jika pembuatan penyematan berhasil, atau berisi pesan error jika pembuatan penyematan gagal.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut untuk melihat apakah ada kegagalan pembuatan penyematan:

   SELECT DISTINCT(ml_generate_embedding_status),
     COUNT(uri) AS num_rows
   FROM bqml_tutorial.met_image_embeddings
   GROUP BY 1;

3. Jika baris dengan error ditampilkan, hapus baris yang pembuatan penyematan -nya gagal:

   DELETE FROM `bqml_tutorial.met_image_embeddings`
   WHERE ml_generate_embedding_status = 'A retryable error occurred: RESOURCE_EXHAUSTED error from remote service/endpoint.';

Membuat indeks vektor

Secara opsional, Anda dapat menggunakan pernyataan CREATE VECTOR INDEX untuk membuat indeks vektor met_images_index di kolom ml_generate_embedding_result tabel met_images_embeddings. Indeks vektor memungkinkan Anda melakukan penelusuran vektor dengan lebih cepat, dengan kompromi pengurangan recall sehingga menampilkan hasil yang lebih mendekati.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut:

   CREATE OR REPLACE
     VECTOR INDEX `met_images_index`
   ON
     bqml_tutorial.met_image_embeddings(ml_generate_embedding_result)
     OPTIONS (
       index_type = 'IVF',
       distance_type = 'COSINE');

3. Indeks vektor dibuat secara asinkron. Untuk memeriksa apakah indeks vektor telah dibuat, buat kueri tampilan INFORMATION_SCHEMA.VECTOR_INDEXES dan pastikan nilai coverage_percentage lebih besar dari 0, dan nilai last_refresh_time bukan NULL:

   SELECT table_name, index_name, index_status,
     coverage_percentage, last_refresh_time, disable_reason
   FROM bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES
   WHERE index_name = 'met_images_index';

Membuat embedding untuk teks penelusuran

Untuk menelusuri gambar yang sesuai dengan string penelusuran teks yang ditentukan, Anda harus membuat penyematan teks untuk string tersebut terlebih dahulu. Gunakan model jarak jauh yang sama untuk membuat penyematan teks yang Anda gunakan untuk membuat penyematan gambar, lalu tulis penyematan teks ke tabel untuk digunakan pada langkah berikutnya. String penelusuran adalah pictures of white or cream colored dress from victorian era.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut:

   CREATE OR REPLACE TABLE `bqml_tutorial.search_embedding`
   AS
   SELECT * FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.multimodal_embedding_model`,
     (
       SELECT 'pictures of white or cream colored dress from victorian era' AS content
     )
   );

Melakukan penelusuran teks ke gambar lintas-modalitas

Gunakan fungsi VECTOR_SEARCH untuk menelusuri gambar yang paling sesuai dengan string penelusuran yang direpresentasikan oleh penyematan teks, lalu tulis ke tabel untuk digunakan pada langkah berikutnya.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut:

   CREATE OR REPLACE TABLE `bqml_tutorial.vector_search_results` AS
   SELECT base.uri AS gcs_uri, distance
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.met_image_embeddings`,
       'ml_generate_embedding_result',
       TABLE `bqml_tutorial.search_embedding`,
       'ml_generate_embedding_result',
       top_k => 3);

Memvisualisasikan hasil penelusuran vektor

Visualisasikan hasil penelusuran vektor menggunakan notebook.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Buka notebook met-image-analysis yang Anda buat sebelumnya.

3. Visualisasikan hasil penelusuran vektor:

   1. Tambahkan sel kode ke notebook.

   2. Salin dan tempel kode berikut ke dalam sel kode:

      query = """
        SELECT * FROM `bqml_tutorial.vector_search_results`
        ORDER BY distance;
      """
      
      printImages(client.query(query))
      

   3. Jalankan sel kode.

      Hasilnya akan terlihat seperti berikut:

      

Pembersihan

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.