Analizzare le immagini con un modello di visione artificiale Gemini
Questo tutorial mostra come creare un modello BigQuery ML
modello remoto
che si basa
Modello gemini-1.0-pro-vision
Vertex AI,
e quindi lo useremo con
Funzione ML.GENERATE_TEXT
per analizzare un insieme di immagini di locandina di film.
Questo tutorial copre le seguenti attività:
- La creazione di un Tabella di oggetti BigQuery sui dati di immagine in un bucket Cloud Storage.
- crea un modello remoto di BigQuery ML che ha come target
Modello
gemini-1.0-pro-vision
di Vertex AI (anteprima). - Utilizzare il modello remoto con la funzione
ML.GENERATE_TEXT
per identificare i film associati a una serie di locandine cinematografiche.
I dati del poster del film sono disponibili dal bucket Cloud Storage pubblico
gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters
.
Ruoli obbligatori
Per creare una connessione, è necessario Ruolo Amministratore connessione BigQuery (
roles/bigquery.connectionAdmin
).Per concedere le autorizzazioni all'account di servizio della connessione, devi disporre il ruolo Amministratore IAM progetto (
roles/resourcemanager.projectIamAdmin
).Per creare set di dati, modelli e tabelle, è necessario il ruolo Editor dati BigQuery (
roles/bigquery.dataEditor
).Per eseguire i job BigQuery, devi avere il ruolo Utente BigQuery (
roles/bigquery.user
).
Costi
In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:
- BigQuery ML: You incur costs for the data that you process in BigQuery.
- Vertex AI: You incur costs for calls to the Vertex AI model that is represented by the BigQuery remote model.
Per generare una stima dei costi basata sull'utilizzo previsto,
utilizza il Calcolatore prezzi.
Per ulteriori informazioni sui prezzi di BigQuery, consulta Prezzi di BigQuery in documentazione di BigQuery.
Per saperne di più sui prezzi dell'AI generativa di Vertex AI, consulta i prezzi di Vertex AI .
Prima di iniziare
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Abilita le API BigQuery, BigQuery Connection, and Vertex AI.
Crea un set di dati
Crea un set di dati BigQuery per archiviare il tuo modello ML:
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, fai clic sul nome del tuo progetto.
Fai clic su
Visualizza azioni > Crea il set di dati.Nella pagina Crea set di dati, segui questi passaggi:
In ID set di dati, inserisci
bqml_tutorial
.Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).
I set di dati pubblici vengono archiviati nell'
US
più regioni. Per semplicità, per archiviare il set di dati nella stessa posizione.Lascia invariate le restanti impostazioni predefinite e fai clic su Crea il set di dati.
Crea una connessione
Crea un Connessione alle risorse cloud e recuperare l'account di servizio della connessione.
Console
Vai alla pagina BigQuery.
Per creare una connessione, fai clic su
Aggiungi e poi fai clic su Connessioni a origini dati esterne.Nell'elenco Tipo di connessione, seleziona Modelli remoti Vertex AI, funzioni remote e BigLake (risorsa Cloud).
Nel campo ID connessione, digita
tutorial
.Fai clic su Crea connessione.
Fai clic su Vai alla connessione.
Copia l'ID account di servizio dal riquadro Informazioni connessione per utilizzarlo in un passaggio successivo.
bq
In un ambiente a riga di comando, crea una connessione:
bq mk --connection --location=us --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE tutorial
Il parametro
--project_id
sostituisce il progetto predefinito.Sostituisci
PROJECT_ID
con ID progetto Google Cloud.Quando crei una risorsa di connessione, BigQuery crea di account di servizio di sistema univoco e lo associa alla connessione.
Risoluzione dei problemi: se ricevi il seguente errore di connessione, Aggiorna Google Cloud SDK:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
Recupera e copia l'ID account di servizio per utilizzarlo in un secondo momento passaggio:
bq show --connection PROJECT_ID.us.tutorial
L'output è simile al seguente:
name properties 1234.us.tutorial {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
Aggiungi la seguente sezione al tuo file main.tf
.
## This creates a Cloud Resource connection. ## Note: The cloud resource nested object has only one output only field - serviceAccountId. resource "google_bigquery_connection" "connection" { connection_id = "tutorial" project = "PROJECT_ID" location = "us" cloud_resource {} }
Sostituisci PROJECT_ID
con il tuo progetto Google Cloud
ID.
Concedi le autorizzazioni all'account di servizio della connessione
Concedere all'account di servizio della connessione i ruoli appropriati per l'accesso i servizi Cloud Storage e Vertex AI, segui questi passaggi:
Vai alla sezione IAM e Console di amministrazione.
Fai clic su
Concedi l'accesso.Nel campo Nuove entità, inserisci l'ID account di servizio che copiato in precedenza.
Nel campo Seleziona un ruolo, scegli Vertex AI, quindi seleziona Utente Vertex AI.
Fai clic su Aggiungi un altro ruolo.
Nel campo Seleziona un ruolo, scegli Cloud Storage e poi Seleziona Visualizzatore oggetti Storage.
Fai clic su Salva.
Crea la tabella degli oggetti
Crea una tabella di oggetto sulle immagini del poster del film pubblicamente Bucket di Cloud Storage. La tabella degli oggetti consente di analizzare le immagini senza spostarle da Cloud Storage.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, esegui questa query per creare la tabella degli oggetti:
CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.movie_posters` WITH CONNECTION `us.tutorial` OPTIONS ( object_metadata = 'SIMPLE', uris = ['gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters/*']);
Crea il modello remoto
Crea un modello remoto che rappresenta un modello Vertex AI
Modello gemini-1.0-pro-vision
:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, esegui questa query per creare il modello remoto:
CREATE OR REPLACE MODEL `bqml_tutorial.gemini-pro-vision` REMOTE WITH CONNECTION `us.tutorial` OPTIONS (ENDPOINT = 'gemini-pro-vision');
Il completamento della query richiede diversi secondi, dopodiché Il modello
gemini-pro-vision
compare nel set di datibqml_tutorial
nella sezione Riquadro Explorer. Poiché la query utilizza un'istruzioneCREATE MODEL
per creare un modello, non sono risultati di query.
Analizzare le locandine dei film
Usa il modello remoto per analizzare le locandine dei film e stabilire per quale film poster rappresenta e poi scriverli in una tabella.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor di query, esegui questa query per analizzare la locandina del film immagini:
CREATE OR REPLACE TABLE `bqml_tutorial.movie_posters_results` AS ( SELECT uri, ml_generate_text_llm_result FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.gemini-pro-vision`, TABLE `bqml_tutorial.movie_posters`, STRUCT( 0.2 AS temperature, 'For the movie represented by this poster, what is the movie title and year of release? Answer in JSON format with two keys: title, year. title should be string, year should be integer.' AS PROMPT, TRUE AS FLATTEN_JSON_OUTPUT)));
Nell'editor query, esegui la seguente istruzione per visualizzare i dati della tabella:
SELECT * FROM `bqml_tutorial.movie_posters_results`;
L'output è simile al seguente:
+--------------------------------------------+----------------------------------+ | uri | ml_generate_text_llm_result | +--------------------------------------------+----------------------------------+ | gs://cloud-samples-data/vertex-ai/dataset- | ```json | | management/datasets/classic-movie- | { | | posters/little_annie_rooney.jpg | "title": "Little Annie Rooney", | | | "year": 1912 | | | } | | | ``` | +--------------------------------------------+----------------------------------+ | gs://cloud-samples-data/vertex-ai/dataset- | ```json | | management/datasets/classic-movie- | { | | posters/mighty_like_a_mouse.jpg | "title": "Mighty Like a Moose", | | | "year": 1926 | | | } | | | ``` | +--------------------------------------------+----------------------------------+ | gs://cloud-samples-data/vertex-ai/dataset- | ```json | | management/datasets/classic-movie- | { | | posters/brown_of_harvard.jpeg | "title": "Brown of Harvard", | | | "year": 1926 | | | } | | | ``` | +--------------------------------------------+----------------------------------+
Formatta l'output del modello
Formatta i dati di analisi del filmato restituiti dal modello per creare il titolo del film e i dati relativi all'anno in modo più leggibile.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, esegui questa query per formattare i dati:
CREATE OR REPLACE TABLE `bqml_tutorial.movie_posters_results_formatted` AS ( SELECT uri, JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.title") AS title, JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.year") AS year FROM `bqml_tutorial.movie_posters_results` results );
Nell'editor query, esegui la seguente istruzione per visualizzare i dati della tabella:
SELECT * FROM `bqml_tutorial.movie_posters_results_formatted`;
L'output è simile al seguente:
+--------------------------------------------+----------------------------+------+ | uri | title | year | +--------------------------------------------+----------------------------+------+ | gs://cloud-samples-data/vertex-ai/dataset- | "Barque sortant du port" | 1895 | | management/datasets/classic-movie- | | | | posters/barque_sortant_du_port.jpeg | | | +--------------------------------------------+----------------------------+------+ | gs://cloud-samples-data/vertex-ai/dataset- | "The Great Train Robbery" | 1903 | | management/datasets/classic-movie- | | | | posters/the_great_train_robbery.jpg | | | +--------------------------------------------+----------------------------+------+ | gs://cloud-samples-data/vertex-ai/dataset- | "Little Annie Rooney" | 1912 | | management/datasets/classic-movie- | | | | posters/little_annie_rooney.jpg | | | +--------------------------------------------+----------------------------+------+
Esegui la pulizia
- Nella console Google Cloud, vai alla pagina Gestisci risorse.
- Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
- Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.