Menganalisis gambar dengan model visi Gemini
Tutorial ini menunjukkan cara membuat model jarak jauh
BigQuery ML
yang didasarkan pada
model gemini-1.0-pro-vision
Vertex AI,
lalu menggunakan model tersebut dengan fungsi
fungsi ML.GENERATE_TEXT
untuk menganalisis kumpulan gambar poster film.
Tutorial ini membahas tugas-tugas berikut:
- Membuat tabel objek BigQuery atas data gambar di bucket Cloud Storage.
- Membuat model jarak jauh BigQuery ML yang menargetkan
model
gemini-1.0-pro-vision
Vertex AI (pratinjau). - Menggunakan model jarak jauh dengan fungsi
ML.GENERATE_TEXT
untuk mengidentifikasi film yang terkait dengan sekumpulan poster film.
Data poster film tersedia dari bucket Cloud Storage publik gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters
.
Peran yang diperlukan
Untuk membuat koneksi, Anda memerlukan peran BigQuery Connection Admin (
roles/bigquery.connectionAdmin
).Untuk memberikan izin ke akun layanan koneksi, Anda memerlukan peran Project IAM Admin (
roles/resourcemanager.projectIamAdmin
).Untuk membuat set data, model, dan tabel, Anda memerlukan peran Editor Data BigQuery (
roles/bigquery.dataEditor
).Untuk menjalankan tugas BigQuery, Anda memerlukan peran BigQuery User (
roles/bigquery.user
).
Biaya
Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:
- BigQuery ML: You incur costs for the data that you process in BigQuery.
- Vertex AI: You incur costs for calls to the Vertex AI model that is represented by the BigQuery remote model.
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Untuk mengetahui informasi selengkapnya tentang harga BigQuery, lihat harga BigQuery dalam dokumentasi BigQuery.
Untuk mengetahui informasi selengkapnya tentang harga AI generatif Vertex AI, lihat halaman harga Vertex AI.
Sebelum memulai
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.
Membuat set data
Buat set data BigQuery untuk menyimpan model ML Anda:
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, klik nama project Anda.
Klik
View actions > Create dataset.Di halaman Create dataset, lakukan hal berikut:
Untuk Dataset ID, masukkan
bqml_tutorial
.Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).
Set data publik disimpan di
US
multi-region. Untuk mempermudah, simpan set data Anda di lokasi yang sama.Jangan ubah setelan default yang tersisa, lalu klik Create dataset.
Membuat koneksi
Buat koneksi resource Cloud dan dapatkan akun layanan koneksi.
Konsol
Buka halaman BigQuery.
Untuk membuat koneksi, klik
Add, lalu klik Connections to external data sources.Dalam daftar Connection type, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).
Di kolom Connection ID, ketik
tutorial
.Klik Buat koneksi.
Klik Go to connection.
Salin ID akun layanan dari panel Connection info untuk digunakan di langkah berikutnya.
bq
Di lingkungan command line, buat koneksi:
bq mk --connection --location=us --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE tutorial
Parameter
--project_id
akan mengganti project default.Ganti
PROJECT_ID
dengan project ID Google Cloud Anda.Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.
Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
Ambil dan salin ID akun layanan untuk digunakan di langkah berikutnya:
bq show --connection PROJECT_ID.us.tutorial
Outputnya mirip dengan hal berikut ini:
name properties 1234.us.tutorial {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
Tambahkan bagian berikut ke dalam file main.tf
Anda.
## This creates a Cloud Resource connection. ## Note: The cloud resource nested object has only one output only field - serviceAccountId. resource "google_bigquery_connection" "connection" { connection_id = "tutorial" project = "PROJECT_ID" location = "us" cloud_resource {} }
Ganti PROJECT_ID
dengan ID project Google Cloud Anda.
Memberikan izin ke akun layanan koneksi
Untuk memberikan peran yang sesuai kepada akun layanan koneksi agar dapat mengakses layanan Cloud Storage dan Vertex AI, ikuti langkah-langkah berikut:
Buka halaman IAM & Admin.
Klik
Berikan Akses.Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.
Di kolom Select a role, pilih Vertex AI, lalu pilih Vertex AI User.
Klik Add another role.
Pada kolom Select a role, pilih Cloud Storage, lalu pilih Storage Object Viewer.
Klik Save.
Membuat tabel objek
Buat tabel objek di atas gambar poster film di bucket Cloud Storage publik. Tabel objek memungkinkan analisis gambar tanpa memindahkannya dari Cloud Storage.
Di konsol Google Cloud, buka halaman BigQuery.
Di editor kueri, jalankan kueri berikut untuk membuat tabel objek:
CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.movie_posters` WITH CONNECTION `us.tutorial` OPTIONS ( object_metadata = 'SIMPLE', uris = ['gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters/*']);
Membuat model jarak jauh
Buat model jarak jauh yang merepresentasikan model
gemini-1.0-pro-vision
Vertex AI:
Di konsol Google Cloud, buka halaman BigQuery.
Di editor kueri, jalankan kueri berikut untuk membuat model jarak jauh:
CREATE OR REPLACE MODEL `bqml_tutorial.gemini-pro-vision` REMOTE WITH CONNECTION `us.tutorial` OPTIONS (ENDPOINT = 'gemini-pro-vision');
Kueri memerlukan waktu beberapa detik untuk diselesaikan, setelah itu model
gemini-pro-vision
akan muncul di set databqml_tutorial
di panel Explorer. Karena kueri menggunakan pernyataanCREATE MODEL
untuk membuat model, tidak akan ada hasil kueri.
Menganalisis poster film
Gunakan model jarak jauh untuk menganalisis poster film dan menentukan film yang diwakili oleh setiap poster, lalu tulis data ini ke tabel.
Di konsol Google Cloud, buka halaman BigQuery.
Di editor kueri, jalankan kueri berikut untuk menganalisis gambar poster film:
CREATE OR REPLACE TABLE `bqml_tutorial.movie_posters_results` AS ( SELECT uri, ml_generate_text_llm_result FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.gemini-pro-vision`, TABLE `bqml_tutorial.movie_posters`, STRUCT( 0.2 AS temperature, 'For the movie represented by this poster, what is the movie title and year of release? Answer in JSON format with two keys: title, year. title should be string, year should be integer.' AS PROMPT, TRUE AS FLATTEN_JSON_OUTPUT)));
Di editor kueri, jalankan pernyataan berikut untuk melihat data tabel:
SELECT * FROM `bqml_tutorial.movie_posters_results`;
Outputnya mirip dengan hal berikut ini:
+--------------------------------------------+----------------------------------+ | uri | ml_generate_text_llm_result | +--------------------------------------------+----------------------------------+ | gs://cloud-samples-data/vertex-ai/dataset- | ```json | | management/datasets/classic-movie- | { | | posters/little_annie_rooney.jpg | "title": "Little Annie Rooney", | | | "year": 1912 | | | } | | | ``` | +--------------------------------------------+----------------------------------+ | gs://cloud-samples-data/vertex-ai/dataset- | ```json | | management/datasets/classic-movie- | { | | posters/mighty_like_a_mouse.jpg | "title": "Mighty Like a Moose", | | | "year": 1926 | | | } | | | ``` | +--------------------------------------------+----------------------------------+ | gs://cloud-samples-data/vertex-ai/dataset- | ```json | | management/datasets/classic-movie- | { | | posters/brown_of_harvard.jpeg | "title": "Brown of Harvard", | | | "year": 1926 | | | } | | | ``` | +--------------------------------------------+----------------------------------+
Memformat output model
Format data analisis film yang ditampilkan oleh model untuk membuat judul film dan data tahun lebih mudah dibaca.
Di konsol Google Cloud, buka halaman BigQuery.
Di editor kueri, jalankan kueri berikut untuk memformat data:
CREATE OR REPLACE TABLE `bqml_tutorial.movie_posters_results_formatted` AS ( SELECT uri, JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.title") AS title, JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.year") AS year FROM `bqml_tutorial.movie_posters_results` results );
Di editor kueri, jalankan pernyataan berikut untuk melihat data tabel:
SELECT * FROM `bqml_tutorial.movie_posters_results_formatted`;
Outputnya mirip dengan hal berikut ini:
+--------------------------------------------+----------------------------+------+ | uri | title | year | +--------------------------------------------+----------------------------+------+ | gs://cloud-samples-data/vertex-ai/dataset- | "Barque sortant du port" | 1895 | | management/datasets/classic-movie- | | | | posters/barque_sortant_du_port.jpeg | | | +--------------------------------------------+----------------------------+------+ | gs://cloud-samples-data/vertex-ai/dataset- | "The Great Train Robbery" | 1903 | | management/datasets/classic-movie- | | | | posters/the_great_train_robbery.jpg | | | +--------------------------------------------+----------------------------+------+ | gs://cloud-samples-data/vertex-ai/dataset- | "Little Annie Rooney" | 1912 | | management/datasets/classic-movie- | | | | posters/little_annie_rooney.jpg | | | +--------------------------------------------+----------------------------+------+
Pembersihan
- Di konsol Google Cloud, buka halaman Manage resource.
- Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
- Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.