Genera e cerca incorporamenti multimodali

Questo tutorial illustra la procedura end-to-end per la creazione di incorporamenti multimodali per immagini e testo, nonché per eseguire una ricerca da testo a immagine cross-modalità.

Questo tutorial spiega le seguenti attività:

• La creazione di un Tabella di oggetti BigQuery sui dati di immagine in un bucket Cloud Storage.
• Esplorare i dati delle immagini utilizzando un notebook di Colab Enterprise in BigQuery.
• Creazione di un modello remoto BigQuery ML che abbia come target il modello di base multimodalembedding di Vertex AI.
• Utilizzando il modello remoto con Funzione ML.GENERATE_EMBEDDING per generare incorporamenti dalle immagini nella tabella degli oggetti.
• Correggi eventuali errori di generazione dell'embedding.
• Se vuoi, puoi creare un indice vettoriale da indicizzare gli incorporamenti di immagini.
• Creazione di un embedding di testo per una determinata stringa di ricerca.
• L'utilizzo del Funzione VECTOR_SEARCH per cercare incorporamenti di immagini simili all'incorporamento del testo.
• Visualizzazione dei risultati utilizzando un notebook.

Questo tutorial utilizza le immagini d'arte di dominio pubblico del Metropolitan Museum of Art disponibili nel gcs-public-data--met bucket Cloud Storage pubblico.

Autorizzazioni obbligatorie

Per eseguire questo tutorial, devi disporre delle seguenti autorizzazioni IAM (Gestione di identità e accessi):

• Per creare una connessione, devi disporre del ruolo Amministratore connessione BigQuery (roles/bigquery.connectionAdmin).

• Per concedere le autorizzazioni all'account di servizio della connessione, devi disporre dell'autorizzazioneresourcemanager.projects.setIamPolicy.

• Per creare ed eseguire blocchi note, devi avere quanto segue autorizzazioni:

  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • bigquery.config.get
  • bigquery.jobs.create
  • bigquery.readsessions.create
  • bigquery.readsessions.getData
  • bigquery.readsessions.update
  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • dataform.locations.get
  • dataform.locations.list

  • dataform.repositories.create

    Nota: gli utenti che hanno dataform.repositories.create può eseguire il codice utilizzando il servizio Dataform predefinito e tutte le autorizzazioni concesse a quell'account. Per ulteriori informazioni, consulta Considerazioni sulla sicurezza per le autorizzazioni di Dataform.

  • dataform.repositories.list

  • dataform.collections.create

  • dataform.collections.list

  • aiplatform.notebookRuntimeTemplates.apply

  • aiplatform.notebookRuntimeTemplates.get

  • aiplatform.notebookRuntimeTemplates.list

  • aiplatform.notebookRuntimeTemplates.getIamPolicy

  • aiplatform.notebookRuntimes.assign

  • aiplatform.notebookRuntimes.get

  • aiplatform.notebookRuntimes.list

  • aiplatform.operations.list

  Puoi ottenere queste autorizzazioni dai seguenti ruoli IAM:

  • Utente sessione di lettura BigQuery (roles/bigquery.readSessionUser)
  • Utente BigQuery Studio (roles/bigquery.studioUser)

• Le autorizzazioni IAM necessarie in questo tutorial per le altre operazioni di BigQuery sono incluse nei seguenti due ruoli:

  • BigQuery Data Editor (roles/bigquery.dataEditor) per creare modelli, tabelle e indici.
  • Utente BigQuery (roles/bigquery.user) per eseguire job BigQuery.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Per ulteriori informazioni sui prezzi di BigQuery, consulta la sezione Prezzi di BigQuery della documentazione di BigQuery.

Per ulteriori informazioni sui prezzi di Vertex AI, consulta la pagina Prezzi di Vertex AI.

Prima di iniziare

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Enable the APIs

4. Attiva BigQuery Studio.

Crea un set di dati

Crea un set di dati BigQuery per archiviare il tuo modello ML:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai alla pagina BigQuery

2. Nel riquadro Explorer, fai clic sul nome del progetto.

3. Fai clic su Visualizza azioni > Crea il set di dati.

   

4. Nella pagina Crea set di dati:

   • In ID set di dati, inserisci bqml_tutorial.

   • Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).

     I set di dati pubblici sono archiviati nella US multiregione. Per semplicità, archivia il set di dati nella stessa posizione.

   • Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.

     

Crea una connessione

Crea un Connessione alle risorse cloud e recuperare l'ID dell'account di servizio della connessione. Crea la connessione nella stessa posizione del set di dati creato nel passaggio precedente.

Seleziona una delle seguenti opzioni:

Console

1. Vai alla pagina BigQuery.

   Vai a BigQuery

2. Per creare una connessione, fai clic su Aggiungi e poi su Connessioni a origini dati esterne.

3. Nell'elenco Tipo di connessione, seleziona Modelli remoti Vertex AI, funzioni remote e BigLake (risorsa Cloud).

4. Nel campo ID connessione, inserisci un nome per connessione.

5. Fai clic su Crea connessione.

6. Fai clic su Vai alla connessione.

7. Nel riquadro Informazioni sulla connessione, copia l'ID account di servizio da utilizzare in una passaggio successivo.

bq

1. In un ambiente a riga di comando, crea una connessione:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID

   Il parametro --project_id sostituisce il progetto predefinito.

   Sostituisci quanto segue:

   • REGION: il tuo regione di connessione
   • PROJECT_ID: l'ID del tuo progetto Google Cloud
   • CONNECTION_ID: un ID per la connessione

   Quando crei una risorsa di connessione, BigQuery crea un account di servizio di sistema unico e lo associa alla connessione.

   Risoluzione dei problemi: se ricevi il seguente errore di connessione, Aggiorna Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Recupera e copia l'ID account di servizio per utilizzarlo in un passaggio successivo:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID

   L'output è simile al seguente:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "[e-mail]"}
   

Terraform

Aggiungi la seguente sezione al tuo file main.tf.

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Sostituisci quanto segue:

• CONNECTION_ID: un ID per la connessione
• PROJECT_ID: il tuo ID progetto Google Cloud
• REGION: il tuo regione di connessione

Concedi le autorizzazioni all'account di servizio della connessione

Concedi all'account di servizio della connessione i ruoli appropriati per accedere ai servizi Cloud Storage e Vertex AI. Devi concedere questi ruoli nello stesso progetto che hai creato o selezionato nella sezione Prima di iniziare. Se concedi i ruoli in un progetto diverso, viene visualizzato l'errore [e-mail] does not have the permission to access resource.

Per concedere i ruoli appropriati:

1. Vai alla pagina IAM e amministrazione.

   Vai a IAM e amministrazione

2. Fai clic su Concedi l'accesso.

3. Nel campo Nuove entità, inserisci l'ID account di servizio che hai copiato in precedenza.

4. Nel campo Seleziona un ruolo, scegli Vertex AI, quindi seleziona Utente Vertex AI.

5. Fai clic su Aggiungi un altro ruolo.

6. Nel campo Seleziona un ruolo, scegli Cloud Storage e poi Visualizzatore oggetti Storage.

7. Fai clic su Salva.

Crea la tabella degli oggetti

Crea una tabella di oggetti sulle immagini artistiche nel gcs-public-data--met bucket Cloud Storage pubblico. La tabella degli oggetti consente di analizzare le immagini senza spostarle da Cloud Storage.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.met_images`
   WITH CONNECTION `LOCATION.CONNECTION_ID`
   OPTIONS
     ( object_metadata = 'SIMPLE',
       uris = ['gs://gcs-public-data--met/*']
     );

   Sostituisci quanto segue:

   • LOCATION: posizione della connessione.
   • CONNECTION_ID: l'ID del tuo Connessione BigQuery.

     Quando visualizzi i dettagli della connessione nella console Google Cloud, questo è il valore riportato nell'ultima sezione l'ID connessione completo mostrato ID connessione, ad esempio projects/myproject/locations/connection_location/connections/myconnection.

Esplora i dati dell'immagine

Crea un blocco note di Colab Enterprise in BigQuery per esplorare i dati delle immagini.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Crea un notebook utilizzando l'editor di BigQuery.

3. Collega il notebook al runtime predefinito.

4. Configura il blocco note:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Set up credentials
      
      from google.colab import auth
      auth.authenticate_user()
      print('Authenticated')
      
      PROJECT_ID='PROJECT_ID'
      from google.cloud import bigquery
      client = bigquery.Client(PROJECT_ID)
      

      Sostituisci PROJECT_ID con il nome del progetto che usi per questo tutorial.

   3. Esegui la cella di codice.

5. Attiva la visualizzazione della tabella:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Enable data table display
      %load_ext google.colab.data_table
      

   3. Esegui la cella di codice.

6. Crea una funzione per visualizzare le immagini:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Util function to display images
      import io
      from PIL import Image
      import matplotlib.pyplot as plt
      import tensorflow as tf
      
      def printImages(results):
       image_results_list = list(results)
       amt_of_images = len(image_results_list)
      
       fig, axes = plt.subplots(nrows=amt_of_images, ncols=2, figsize=(20, 20))
       fig.tight_layout()
       fig.subplots_adjust(hspace=0.5)
       for i in range(amt_of_images):
         gcs_uri = image_results_list[i][0]
         text = image_results_list[i][1]
         f = tf.io.gfile.GFile(gcs_uri, 'rb')
         stream = io.BytesIO(f.read())
         img = Image.open(stream)
         axes[i, 0].axis('off')
         axes[i, 0].imshow(img)
         axes[i, 1].axis('off')
         axes[i, 1].text(0, 0, text, fontsize=10)
       plt.show()
      

   3. Esegui la cella di codice.

7. Visualizza le immagini:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Display Met images
      
      inspect_obj_table_query = """
      SELECT uri, content_type
      FROM bqml_tutorial.met_images
      WHERE content_type = 'image/jpeg'
      Order by uri
      LIMIT 10;
      """
      printImages(client.query(inspect_obj_table_query))
      

   3. Esegui la cella di codice.

      I risultati dovrebbero essere simili ai seguenti:

      

8. Salva il notebook come met-image-analysis.

Crea il modello remoto

Crea un modello remoto che rappresenti un modello di embedding multimodale Vertex AI ospitato:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query:

   CREATE OR REPLACE MODEL `bqml_tutorial.multimodal_embedding_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'multimodalembedding@001');

   Sostituisci quanto segue:

   • LOCATION: posizione della connessione.
   • CONNECTION_ID: l'ID della connessione BigQuery.

     Quando visualizzi i dettagli della connessione nella console Google Cloud, questo è il valore riportato nell'ultima sezione l'ID connessione completo mostrato ID connessione, ad esempio projects/myproject/locations/connection_location/connections/myconnection.

   Il completamento della query richiede diversi secondi, dopodiché Il modello multimodal_embedding_model compare nel set di dati bqml_tutorial nel riquadro Explorer. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, non ci sono risultati della query.

Genera embedding di immagini

Genera gli embedding dalle immagini nella tabella degli oggetti utilizzando la funzione ML.GENERATE_EMBEDDING, quindi scrivili in una tabella per usarli in un passaggio successivo. La generazione di incorporamenti è un'operazione dispendiosa, pertanto la query utilizza una sottoquery che include la clausola LIMIT per limitare la generazione di incorporamenti a 10.000 immagini anziché incorporare l'intero set di dati di 601.294 immagini. Questo aiuta anche a mantenere il numero di immagini al di sotto del limite di 25.000 per ML.GENERATE_EMBEDDING personalizzata. L'esecuzione di questa query richiede circa 40 minuti.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query:

   CREATE OR REPLACE TABLE `bqml_tutorial.met_image_embeddings`
   AS
   SELECT *
   FROM
     ML.GENERATE_EMBEDDING(
       MODEL `bqml_tutorial.multimodal_embedding_model`,
       (SELECT * FROM `bqml_tutorial.met_images` WHERE content_type = 'image/jpeg' LIMIT 10000))

Correggi eventuali errori di generazione dell'embedding

Controlla e correggi eventuali errori di generazione dell'embedding. La generazione di embedding può non riuscire a causa delle quote dell'IA generativa su Vertex AI o della mancata disponibilità del servizio.

La funzione ML.GENERATE_EMBEDDING restituisce dettagli di errore nel ml_generate_embedding_status. Questa colonna è vuota se incorpora è stata completata o contiene un messaggio di errore se l'incorporamento la generazione non è riuscita.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui questa query per vedere se c'erano Errori di generazione dell'incorporamento:

   SELECT DISTINCT(ml_generate_embedding_status),
     COUNT(uri) AS num_rows
   FROM bqml_tutorial.met_image_embeddings
   GROUP BY 1;

3. Se vengono restituite righe con errori, elimina le righe in cui la generazione di embedding non è riuscita:

   DELETE FROM `bqml_tutorial.met_image_embeddings`
   WHERE ml_generate_embedding_status = 'A retryable error occurred: RESOURCE_EXHAUSTED error from remote service/endpoint.';

Crea un indice vettoriale

Facoltativamente, puoi utilizzare l'istruzione CREATE VECTOR INDEX per creare l'indice vettoriale met_images_index nella colonna ml_generate_embedding_result della tabella met_images_embeddings. Un indice vettoriale consente di eseguire una ricerca vettoriale più rapidamente, con un compromesso nel ridurre il richiamo e restituire risultati più approssimativi.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui questa query:

   CREATE OR REPLACE
     VECTOR INDEX `met_images_index`
   ON
     bqml_tutorial.met_image_embeddings(ml_generate_embedding_result)
     OPTIONS (
       index_type = 'IVF',
       distance_type = 'COSINE');

3. L'indice vettoriale viene creato in modo asincrono. Per verificare se l'indice del vettore è stato creato, esegui una query sulla visualizzazione INFORMATION_SCHEMA.VECTOR_INDEXES e verifica che il valore coverage_percentage sia maggiore di 0 e che il valore last_refresh_time non sia NULL:

   SELECT table_name, index_name, index_status,
     coverage_percentage, last_refresh_time, disable_reason
   FROM bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES
   WHERE index_name = 'met_images_index';

Genera un incorporamento per il testo di ricerca

Per cercare le immagini corrispondenti a una stringa di ricerca di testo specificata, devi prima creare un'evidenziazione del testo per quella stringa. Utilizza lo stesso modello remoto per creare l'embedding di testo che hai utilizzato per creare gli embedding delle immagini, quindi scrivi l'embedding di testo in una tabella per utilizzarlo in un passaggio successivo. La stringa di ricerca è pictures of white or cream colored dress from victorian era.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui questa query:

   CREATE OR REPLACE TABLE `bqml_tutorial.search_embedding`
   AS
   SELECT * FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.multimodal_embedding_model`,
     (
       SELECT 'pictures of white or cream colored dress from victorian era' AS content
     )
   );

Esegui una ricerca da testo a immagine tra modalità

Utilizza la funzione VECTOR_SEARCH per cercare le immagini che corrispondono meglio alla stringa di ricerca rappresentata dall'embedding del testo, quindi scrivitele in una tabella per usarle in un passaggio successivo.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query:

   CREATE OR REPLACE TABLE `bqml_tutorial.vector_search_results` AS
   SELECT base.uri AS gcs_uri, distance
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.met_image_embeddings`,
       'ml_generate_embedding_result',
       TABLE `bqml_tutorial.search_embedding`,
       'ml_generate_embedding_result',
       top_k => 3);

Visualizza i risultati di ricerca vettoriali

Visualizza i risultati di ricerca di vettori utilizzando un notebook.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Apri il notebook met-image-analysis che hai creato in precedenza.

3. Visualizza i risultati di ricerca vettoriali:

   1. Aggiungi una cella di codice al blocco note.

   2. Copia e incolla il seguente codice nella cella di codice:

      query = """
        SELECT * FROM `bqml_tutorial.vector_search_results`
        ORDER BY distance;
      """
      
      printImages(client.query(query))
      

   3. Esegui la cella di codice.

      I risultati dovrebbero essere simili ai seguenti:

      

Esegui la pulizia

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un appspot.com URL, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.