Menganalisis gambar dengan model visi Gemini

Tutorial ini menunjukkan cara membuat BigQuery ML model jarak jauh yang didasarkan pada Model gemini-1.0-pro-vision Vertex AI, lalu menggunakan model tersebut dengan Fungsi ML.GENERATE_TEXT fungsi untuk menganalisis serangkaian gambar poster film.

Tutorial ini membahas tugas-tugas berikut:

• Membuat Tabel objek BigQuery di atas data gambar dalam bucket Cloud Storage.
• Membuat model jarak jauh BigQuery ML yang menargetkan Model gemini-1.0-pro-vision Vertex AI (pratinjau).
• Menggunakan model jarak jauh dengan fungsi ML.GENERATE_TEXT untuk mengidentifikasi film yang terkait dengan sekumpulan poster film.

Data poster film tersedia dari bucket Cloud Storage publik gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters.

Peran yang diperlukan

• Untuk membuat koneksi, Anda memerlukan Peran BigQuery Connection Admin (roles/bigquery.connectionAdmin).

• Untuk memberikan izin ke akun layanan koneksi, Anda memerlukan peran Project IAM Admin (roles/resourcemanager.projectIamAdmin).

• Untuk membuat set data, model, dan tabel, Anda memerlukan peran BigQuery Data Editor (roles/bigquery.dataEditor).

• Untuk menjalankan tugas BigQuery, Anda perlu peran BigQuery User (roles/bigquery.user).

Biaya

Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI model that is represented by the BigQuery remote model.

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Untuk mengetahui informasi selengkapnya tentang harga BigQuery, lihat harga BigQuery dalam dokumentasi BigQuery.

Untuk mengetahui informasi selengkapnya tentang harga Vertex AI AI generatif, lihat harga Vertex AI kami.

Sebelum memulai

1. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

2. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

3. Aktifkan API BigQuery, BigQuery Connection, and Vertex AI.

   Mengaktifkan API

Membuat set data

Buat set data BigQuery untuk menyimpan model ML Anda:

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka halaman BigQuery

2. Di panel Explorer, klik nama project Anda.

3. Klik View actions > Create dataset.

   

4. Di halaman Create dataset, lakukan hal berikut:

   • Untuk Dataset ID, masukkan bqml_tutorial.

   • Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).

     Set data publik disimpan di US multi-region. Untuk mempermudah, simpan set data Anda di lokasi yang sama.

   • Jangan ubah setelan default yang tersisa, lalu klik Create dataset.

     

Membuat koneksi

Buat koneksi resource Cloud dan dapatkan akun layanan koneksi.

Konsol

1. Buka halaman BigQuery.

   Buka BigQuery

2. Untuk membuat koneksi, klik Tambahkan, lalu klik Koneksi ke sumber data eksternal.

3. Dalam daftar Connection type, pilih Vertex AI remote models, fungsi jarak jauh dan BigLake (Cloud Resource).

4. Di kolom Connection ID, ketik tutorial.

5. Klik Create connection.

6. Klik Go to connection.

7. Salin ID akun layanan dari panel Info koneksi untuk digunakan di langkah selanjutnya.

bq

1. Di lingkungan command line, buat koneksi:

   bq mk --connection --location=us --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE tutorial
   

   Parameter --project_id akan mengganti project default.

   Ganti PROJECT_ID dengan project ID Google Cloud Anda.

   Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.

   Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Ambil dan salin ID akun layanan untuk digunakan nanti langkah:

   bq show --connection PROJECT_ID.us.tutorial
   

   Outputnya mirip dengan hal berikut ini:

   name                properties
   1234.us.tutorial    {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel."}
   

Terraform

Tambahkan bagian berikut ke dalam file main.tf Anda.

 ## This creates a Cloud Resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "tutorial"
    project = "PROJECT_ID"
    location = "us"
    cloud_resource {}
}        

Ganti PROJECT_ID dengan ID project Google Cloud Anda.

Memberikan izin ke akun layanan koneksi

Beri akun layanan koneksi peran yang sesuai untuk mengakses layanan Cloud Storage dan Vertex AI. Anda harus memberikan peran ini dalam project yang sama dengan yang Anda buat atau pilih di Bagian Sebelum memulai. Memberikan peran dalam project yang berbeda akan menghasilkan error bqcx-1234567890-xxxx@gcp-sa-bigquery-condel. does not have the permission to access resource.

Untuk memberikan peran yang sesuai, ikuti langkah-langkah berikut:

1. Buka halaman IAM & Admin.

   Buka IAM & Admin

2. Klik Berikan Akses.

3. Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.

4. Di kolom Select a role, pilih Vertex AI, lalu pilih Vertex AI User.

5. Klik Add another role.

6. Di kolom Select a role, pilih Cloud Storage, lalu pilih Storage Object Viewer.

7. Klik Simpan.

Membuat tabel objek

Membuat tabel objek di atas gambar poster film di tempat umum Bucket Cloud Storage. Tabel objek memungkinkan analisis gambar tanpa memindahkannya dari Cloud Storage.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut untuk membuat tabel objek:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.movie_posters`
     WITH CONNECTION `us.tutorial`
     OPTIONS (
       object_metadata = 'SIMPLE',
       uris =
         ['gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters/*']);
   

Membuat model jarak jauh

Buat model jarak jauh yang merepresentasikan Vertex AI Model gemini-1.0-pro-vision:

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut untuk membuat model jarak jauh:

   CREATE OR REPLACE MODEL `bqml_tutorial.gemini-pro-vision`
     REMOTE WITH CONNECTION `us.tutorial`
     OPTIONS (ENDPOINT = 'gemini-pro-vision');
   

   Kueri membutuhkan waktu beberapa detik untuk diselesaikan, setelah itu Model gemini-pro-vision muncul dalam set data bqml_tutorial di Panel Explorer. Karena kueri menggunakan pernyataan CREATE MODEL untuk membuat model, tidak akan ada hasil kueri.

Menganalisis poster film

Gunakan model jarak jauh untuk menganalisis poster film dan menentukan masing-masing film yang diwakili oleh {i>poster<i}, dan kemudian menuliskan data ini ke sebuah tabel.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut untuk menganalisis poster film gambar:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.movie_posters_results` AS (
     SELECT
       uri,
       ml_generate_text_llm_result
     FROM
       ML.GENERATE_TEXT( MODEL `bqml_tutorial.gemini-pro-vision`,
         TABLE `bqml_tutorial.movie_posters`,
         STRUCT( 0.2 AS temperature,
           'For the movie represented by this poster, what is the movie title and year of release? Answer in JSON format with two keys: title, year. title should be string, year should be integer.' AS PROMPT,
           TRUE AS FLATTEN_JSON_OUTPUT)));
       

3. Di editor kueri, jalankan pernyataan berikut untuk melihat data tabel:

   SELECT * FROM `bqml_tutorial.movie_posters_results`;
   

   Outputnya mirip dengan hal berikut ini:

   +--------------------------------------------+----------------------------------+
   | uri                                        | ml_generate_text_llm_result      |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | ```json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/little_annie_rooney.jpg            |  "title": "Little Annie Rooney", |
   |                                            |  "year": 1912                    |
   |                                            | }                                |
   |                                            | ```                              |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | ```json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/mighty_like_a_mouse.jpg            |  "title": "Mighty Like a Moose", |
   |                                            |  "year": 1926                    |
   |                                            | }                                |
   |                                            | ```                              |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | ```json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/brown_of_harvard.jpeg              |  "title": "Brown of Harvard",    |
   |                                            |  "year": 1926                    |
   |                                            | }                                |
   |                                            | ```                              |
   +--------------------------------------------+----------------------------------+
   

Memformat output model

Memformat data analisis film yang dikembalikan model untuk membuat judul dan data tahun lebih mudah dibaca.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut untuk memformat data:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.movie_posters_results_formatted` AS (
     SELECT
       uri,
       JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.title") AS title,
       JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.year") AS year
     FROM
       `bqml_tutorial.movie_posters_results` results );
   

3. Di editor kueri, jalankan pernyataan berikut untuk melihat data tabel:

   SELECT * FROM `bqml_tutorial.movie_posters_results_formatted`;
   

   Outputnya mirip dengan hal berikut ini:

   +--------------------------------------------+----------------------------+------+
   | uri                                        | title                      | year |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "Barque sortant du port"   | 1895 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/barque_sortant_du_port.jpeg        |                            |      |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "The Great Train Robbery"  | 1903 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/the_great_train_robbery.jpg        |                            |      |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "Little Annie Rooney"      | 1912 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/little_annie_rooney.jpg            |                            |      |
   +--------------------------------------------+----------------------------+------+
   

Pembersihan

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

1. Di konsol Google Cloud, buka halaman Manage resource.

   Buka Manage resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.