Analizzare le immagini con un modello Gemini

Questo tutorial mostra come creare un modello remoto di BigQuery ML basato sul modello gemini-1.5-flash-002, quindi utilizzarlo con le funzioni ML.GENERATE_TEXT per analizzare un insieme di immagini di manifesti di film.

Questo tutorial spiega le seguenti attività:

• Creare una tabella di oggetti BigQuery sui dati delle immagini in un bucket Cloud Storage.
• Creazione di un modello BigQuery ML remoto che abbia come target il modello gemini-1.5-flash-002 di Vertex AI (anteprima).
• Utilizzo del modello remoto con la funzione ML.GENERATE_TEXT per identificare i film associati a un insieme di locandine.

I dati dei poster dei film sono disponibili nel bucket Cloud Storage pubblicogs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters.

Ruoli obbligatori

• Per creare una connessione, devi disporre del ruolo Amministratore connessione BigQuery (roles/bigquery.connectionAdmin).

• Per concedere le autorizzazioni all'account di servizio della connessione, devi avere il ruolo Amministratore IAM del progetto (roles/resourcemanager.projectIamAdmin).

• Per creare set di dati, modelli e tabelle, devi avere il ruolo Editor dati BigQuery (roles/bigquery.dataEditor).

• Per eseguire job BigQuery, devi avere il ruolo Utente BigQuery (roles/bigquery.user).

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI model that is represented by the BigQuery remote model.

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Per ulteriori informazioni sui prezzi di BigQuery, consulta la sezione Prezzi di BigQuery della documentazione di BigQuery.

Per ulteriori informazioni sui prezzi dell'IA generativa di Vertex AI, consulta la pagina Prezzi di Vertex AI.

Prima di iniziare

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Enable the APIs

Crea un set di dati

Crea un set di dati BigQuery per archiviare il tuo modello ML:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai alla pagina BigQuery

2. Nel riquadro Explorer, fai clic sul nome del progetto.

3. Fai clic su Visualizza azioni > Crea set di dati.

   

4. Nella pagina Crea set di dati:

   • In ID set di dati, inserisci bqml_tutorial.

   • Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).

     I set di dati pubblici sono archiviati nella US multiregione. Per semplicità, archivia il set di dati nella stessa posizione.

   • Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.

     

Crea una connessione

Crea una connessione risorsa Cloud e recupera l'account di servizio della connessione.

Console

1. Vai alla pagina BigQuery.

   Vai a BigQuery

2. Per creare una connessione, fai clic su Aggiungi e poi su Connessioni a origini dati esterne.

3. Nell'elenco Tipo di connessione, seleziona Modelli remoti di Vertex AI, funzioni remote e BigLake (risorsa Cloud).

4. Nel campo ID connessione, digita tutorial.

5. Fai clic su Crea connessione.

6. Fai clic su Vai alla connessione.

7. Copia l'ID account di servizio dal riquadro Informazioni sulla connessione per utilizzarlo in un passaggio successivo.

bq

1. In un ambiente a riga di comando, crea una connessione:

   bq mk --connection --location=us --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE tutorial

   Il parametro --project_id sostituisce il progetto predefinito.

   Sostituisci PROJECT_ID con il tuo ID progetto Google Cloud.

   Quando crei una risorsa di connessione, BigQuery crea un account di servizio di sistema unico e lo associa alla connessione.

   Risoluzione dei problemi: se ricevi il seguente errore di connessione, aggiorna Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Recupera e copia l'ID account di servizio per utilizzarlo in un passaggio successivo:

   bq show --connection PROJECT_ID.us.tutorial

   L'output è simile al seguente:

   name                properties
   1234.us.tutorial    {"serviceAccountId": "[e-mail]"}
   

Terraform

Aggiungi la seguente sezione al file main.tf.

 ## This creates a Cloud Resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "tutorial"
    project = "PROJECT_ID"
    location = "us"
    cloud_resource {}
}        

Sostituisci PROJECT_ID con l'ID del tuo progetto Google Cloud.

Concedi le autorizzazioni all'account di servizio della connessione

Concedi all'account di servizio della connessione i ruoli appropriati per accedere ai servizi Cloud Storage e Vertex AI. Devi concedere questi ruoli nello stesso progetto che hai creato o selezionato nella sezione Prima di iniziare. Se concedi i ruoli in un progetto diverso, viene visualizzato l'errore [e-mail] does not have the permission to access resource.

Per concedere i ruoli appropriati:

1. Vai alla pagina IAM e amministrazione.

   Vai a IAM e amministrazione

2. Fai clic su Concedi l'accesso.

3. Nel campo Nuove entità, inserisci l'ID account di servizio che hai copiato in precedenza.

4. Nel campo Seleziona un ruolo, scegli Vertex AI e poi Utente Vertex AI.

5. Fai clic su Aggiungi un altro ruolo.

6. Nel campo Seleziona un ruolo, scegli Cloud Storage e poi Visualizzatore oggetti Storage.

7. Fai clic su Salva.

Crea la tabella degli oggetti

Crea una tabella di oggetti per le immagini dei poster dei film nel bucket Cloud Storage pubblico. La tabella degli oggetti consente di analizzare le immagini senza spostarle da Cloud Storage.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query per creare la tabella degli oggetti:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.movie_posters`
     WITH CONNECTION `us.tutorial`
     OPTIONS (
       object_metadata = 'SIMPLE',
       uris =
         ['gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters/*']);

Crea il modello remoto

Crea un modello remoto che rappresenti un modello Vertex AIgemini-1.5-flash-002:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query per creare il modello remoto:

   CREATE OR REPLACE MODEL `bqml_tutorial.gemini-vision`
     REMOTE WITH CONNECTION `us.tutorial`
     OPTIONS (ENDPOINT = 'gemini-1.5-flash-002');

   Il completamento della query richiede diversi secondi, dopodiché il modello gemini-vision viene visualizzato nel set di dati bqml_tutorial nel riquadro Explorer. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, non esistono risultati della query.

Analizza i poster dei film

Utilizza il modello remoto per analizzare i poster dei film e determinare quale film rappresenta ciascun poster, quindi scrivi questi dati in una tabella.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query per analizzare le immagini dei manifesti dei film:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.movie_posters_results` AS (
     SELECT
       uri,
       ml_generate_text_llm_result
     FROM
       ML.GENERATE_TEXT( MODEL `bqml_tutorial.gemini-vision`,
         TABLE `bqml_tutorial.movie_posters`,
         STRUCT( 0.2 AS temperature,
           'For the movie represented by this poster, what is the movie title and year of release? Answer in JSON format with two keys: title, year. title should be string, year should be integer.' AS PROMPT,
           TRUE AS FLATTEN_JSON_OUTPUT)));
       

3. Nell'editor di query, esegui la seguente istruzione per visualizzare i dati della tabella:

   SELECT * FROM `bqml_tutorial.movie_posters_results`;

   L'output è simile al seguente:

   +--------------------------------------------+----------------------------------+
   | uri                                        | ml_generate_text_llm_result      |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | ```json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/little_annie_rooney.jpg            |  "title": "Little Annie Rooney", |
   |                                            |  "year": 1912                    |
   |                                            | }                                |
   |                                            | ```                              |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | ```json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/mighty_like_a_mouse.jpg            |  "title": "Mighty Like a Moose", |
   |                                            |  "year": 1926                    |
   |                                            | }                                |
   |                                            | ```                              |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | ```json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/brown_of_harvard.jpeg              |  "title": "Brown of Harvard",    |
   |                                            |  "year": 1926                    |
   |                                            | }                                |
   |                                            | ```                              |
   +--------------------------------------------+----------------------------------+
   

Formattare l'output del modello

Formatta i dati di analisi dei film restituiti dal modello per rendere più leggibili il titolo e l'anno del film.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query per formattare i dati:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.movie_posters_results_formatted` AS (
     SELECT
       uri,
       JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.title") AS title,
       JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.year") AS year
     FROM
       `bqml_tutorial.movie_posters_results` results );

3. Nell'editor di query, esegui la seguente istruzione per visualizzare i dati della tabella:

   SELECT * FROM `bqml_tutorial.movie_posters_results_formatted`;

   L'output è simile al seguente:

   +--------------------------------------------+----------------------------+------+
   | uri                                        | title                      | year |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "Barque sortant du port"   | 1895 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/barque_sortant_du_port.jpeg        |                            |      |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "The Great Train Robbery"  | 1903 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/the_great_train_robbery.jpg        |                            |      |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "Little Annie Rooney"      | 1912 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/little_annie_rooney.jpg            |                            |      |
   +--------------------------------------------+----------------------------+------+
   

Esegui la pulizia

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.