Genera e cerca incorporamenti multimodali

Anteprima

Questo prodotto o funzionalità è soggetto ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici del servizio. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Per fornire feedback o richiedere assistenza per questa funzionalità, invia un'email all'indirizzo [e-mail].

Questo tutorial ti guida nel processo end-to-end per creare incorporamenti multimodali per immagini e testo e per eseguire una ricerca da testo a immagine tra modalità.

Questo tutorial riguarda le attività seguenti:

• Creazione di una tabella di oggetti BigQuery su dati di immagine in un bucket Cloud Storage.
• Esplorazione dei dati dell'immagine con un blocco note di Colab Enterprise in BigQuery.
• Creazione di un modello remoto BigQuery ML che ha come target il modello di base multimodalembedding di Vertex AI.
• Utilizzo del modello remoto con la funzione ML.GENERATE_EMBEDDING per generare incorporamenti dalle immagini nella tabella degli oggetti.
• Correggi eventuali errori di generazione dell'incorporamento.
• Facoltativamente, crea un indice vettoriale per indicizzare gli incorporamenti delle immagini.
• Creazione di un incorporamento di testo per una determinata stringa di ricerca.
• Utilizzare la funzione VECTOR_SEARCH per cercare incorporamenti di immagini simili all'incorporamento del testo.
• Visualizzazione dei risultati utilizzando un blocco note.

Questo tutorial utilizza le immagini d'arte di dominio pubblico del Metropolitan Museum of Art che sono disponibili nel bucket gcs-public-data--met pubblico di Cloud Storage.

Autorizzazioni obbligatorie

Per eseguire questo tutorial, devi disporre delle seguenti autorizzazioni di Identity and Access Management (IAM):

• Per creare una connessione, devi far parte del ruolo Amministratore connessione BigQuery (roles/bigquery.connectionAdmin).

• Per concedere le autorizzazioni all'account di servizio della connessione, devi disporre dell'autorizzazione resourcemanager.projects.setIamPolicy.

• Per creare ed eseguire blocchi note, devi disporre delle seguenti autorizzazioni IAM:

  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • bigquery.config.get
  • bigquery.jobs.create
  • bigquery.readsessions.create
  • bigquery.readsessions.getData
  • bigquery.readsessions.update
  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • dataform.locations.get
  • dataform.locations.list

  • dataform.repositories.create

    Nota: gli utenti che hanno l'autorizzazione dataform.repositories.create possono eseguire il codice utilizzando l'account di servizio Dataform predefinito e tutte le autorizzazioni concesse a quell'account di servizio. Per maggiori informazioni, consulta Considerazioni sulla sicurezza per le autorizzazioni Dataform.

  • dataform.repositories.list

  • dataform.collections.create

  • dataform.collections.list

  • aiplatform.notebookRuntimeTemplates.apply

  • aiplatform.notebookRuntimeTemplates.get

  • aiplatform.notebookRuntimeTemplates.list

  • aiplatform.notebookRuntimeTemplates.getIamPolicy

  • aiplatform.notebookRuntimes.assign

  • aiplatform.notebookRuntimes.get

  • aiplatform.notebookRuntimes.list

  • aiplatform.operations.list

  Puoi ottenere queste autorizzazioni dai seguenti ruoli IAM:

  • Utente sessione di lettura BigQuery (roles/bigquery.readSessionUser)
  • Utente BigQuery Studio (roles/bigquery.studioUser)

• Le autorizzazioni IAM necessarie in questo tutorial per le rimanenti operazioni BigQuery sono incluse nei seguenti due ruoli:

  • Editor dati BigQuery (roles/bigquery.dataEditor) per creare modelli, tabelle e indici.
  • Utente BigQuery (roles/bigquery.user) per eseguire i job BigQuery.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

• BigQuery ML: ti vengono addebitati dei costi per i dati elaborati in BigQuery.
• Vertex AI: ti vengono addebitati dei costi per le chiamate al servizio Vertex AI rappresentato dal modello remoto.

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud possono essere idonei a una prova senza costi aggiuntivi.

Per ulteriori informazioni sui prezzi di BigQuery, consulta la pagina relativa ai prezzi di BigQuery nella documentazione di BigQuery.

Per ulteriori informazioni sui prezzi di Vertex AI, consulta la pagina Prezzi di Vertex AI.

Prima di iniziare

1. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

   Nota: se non prevedi di conservare le risorse create in questa procedura, crea un progetto anziché selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto, rimuovendo tutte le risorse associate.

   Vai al selettore progetti

2. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

3. Abilita le API BigQuery, BigQuery Connection, and Vertex AI.

   Abilita le API

4. Attiva BigQuery Studio.

crea un set di dati

Crea un set di dati BigQuery per archiviare il tuo modello ML:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai alla pagina di BigQuery

2. Nel riquadro Explorer, fai clic sul nome del progetto.

3. Fai clic su Visualizza azioni > Crea set di dati.

   

4. Nella pagina Crea set di dati, segui questi passaggi:

   • In ID set di dati, inserisci bqml_tutorial.

   • Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).

     I set di dati pubblici vengono archiviati in US più regioni. Per semplicità, memorizza il set di dati nella stessa posizione.

   • Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.

     

Creazione di una connessione

Crea una connessione alle risorse cloud e recupera l'ID dell'account di servizio della connessione. Crea la connessione nella stessa località del set di dati creato nel passaggio precedente.

Seleziona una delle seguenti opzioni:

Console

1. Vai alla pagina BigQuery.

   Vai a BigQuery

2. Per creare una connessione, fai clic su Aggiungi e poi su Connessioni a origini dati esterne.

3. Nell'elenco Tipo di connessione, seleziona Modelli remoti Vertex AI, funzioni remote e BigLake (risorsa Cloud).

4. Nel campo ID connessione, inserisci un nome per la connessione.

5. Fai clic su Crea connessione.

6. Fai clic su Vai alla connessione.

7. Nel riquadro Informazioni sulla connessione, copia l'ID account di servizio da utilizzare in un passaggio successivo.

bq

1. In un ambiente a riga di comando, crea una connessione:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID
   

   Il parametro --project_id sostituisce il progetto predefinito.

   Sostituisci quanto segue:

   • REGION: la tua regione di connessione
   • PROJECT_ID: l'ID del tuo progetto Google Cloud
   • CONNECTION_ID: un ID per la tua connessione

   Quando crei una risorsa di connessione, BigQuery crea un account di servizio di sistema univoco e lo associa alla connessione.

   Risoluzione dei problemi: se visualizzi il seguente errore di connessione, aggiorna Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Recupera e copia l'ID account di servizio per utilizzarlo in un passaggio successivo:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID
   

   L'output è simile al seguente:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "[e-mail]"}
   

Terraform

Aggiungi la sezione seguente al file main.tf.

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Sostituisci quanto segue:

• CONNECTION_ID: un ID per la tua connessione
• PROJECT_ID: l'ID del tuo progetto Google Cloud
• REGION: la tua regione di connessione

Concedi le autorizzazioni all'account di servizio della connessione

Per concedere all'account di servizio la connessione ruoli appropriati per l'accesso ai servizi Cloud Storage e Vertex AI, segui questi passaggi:

1. Vai alla pagina IAM e amministrazione.

   Vai a IAM e amministrazione

2. Fai clic su Concedi l'accesso.

3. Nel campo Nuove entità, inserisci l'ID account di servizio che hai copiato in precedenza.

4. Nel campo Seleziona un ruolo, scegli Vertex AI e poi seleziona Utente Vertex AI.

5. Fai clic su Aggiungi un altro ruolo.

6. Nel campo Seleziona un ruolo, scegli Cloud Storage e poi seleziona Visualizzatore oggetti Storage.

7. Fai clic su Salva.

Crea la tabella degli oggetti

Crea una tabella di oggetti sopra le immagini artistiche nel bucket gcs-public-data--met pubblico di Cloud Storage. La tabella degli oggetti consente di analizzare le immagini senza spostarle da Cloud Storage.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui la query seguente:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.met_images`
   WITH CONNECTION `LOCATION.CONNECTION_ID`
   OPTIONS
     ( object_metadata = 'SIMPLE',
       uris = ['gs://gcs-public-data--met/*']
     );
   

   Sostituisci quanto segue:

   • LOCATION: la località della connessione.
   • CONNECTION_ID: l'ID della tua connessione BigQuery.

     Quando visualizza i dettagli della connessione nella console Google Cloud, si tratta del valore nell'ultima sezione dell'ID connessione completo mostrato in ID connessione, ad esempio projects/myproject/locations/connection_location/connections/myconnection.

Esplora i dati dell'immagine

Crea un blocco note Colab Enterprise in BigQuery per esplorare i dati dell'immagine.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Crea un blocco note utilizzando l'editor di BigQuery.

3. Connetti il blocco note al runtime predefinito.

4. Configura il blocco note:

   1. Aggiungi una cella di codice al blocco note.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Set up credentials
      
      from google.colab import auth
      auth.authenticate_user()
      print('Authenticated')
      
      PROJECT_ID='PROJECT_ID'
      from google.cloud import bigquery
      client = bigquery.Client(PROJECT_ID)
      

      Sostituisci PROJECT_ID con il nome del progetto che utilizzerai per questo tutorial.

   3. Esegui la cella di codice.

5. Abilita la visualizzazione della tabella:

   1. Aggiungi una cella di codice al blocco note.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Enable data table display
      %load_ext google.colab.data_table
      

   3. Esegui la cella di codice.

6. Crea una funzione per visualizzare le immagini:

   1. Aggiungi una cella di codice al blocco note.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Util function to display images
      import io
      from PIL import Image
      import matplotlib.pyplot as plt
      import tensorflow as tf
      
      def printImages(results):
       image_results_list = list(results)
       amt_of_images = len(image_results_list)
      
       fig, axes = plt.subplots(nrows=amt_of_images, ncols=2, figsize=(20, 20))
       fig.tight_layout()
       fig.subplots_adjust(hspace=0.5)
       for i in range(amt_of_images):
         gcs_uri = image_results_list[i][0]
         text = image_results_list[i][1]
         f = tf.io.gfile.GFile(gcs_uri, 'rb')
         stream = io.BytesIO(f.read())
         img = Image.open(stream)
         axes[i, 0].axis('off')
         axes[i, 0].imshow(img)
         axes[i, 1].axis('off')
         axes[i, 1].text(0, 0, text, fontsize=10)
       plt.show()
      

   3. Esegui la cella di codice.

7. Visualizza le immagini:

   1. Aggiungi una cella di codice al blocco note.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Display Met images
      
      inspect_obj_table_query = """
      SELECT uri, content_type
      FROM bqml_tutorial.met_images
      WHERE content_type = 'image/jpeg'
      Order by uri
      LIMIT 10;
      """
      printImages(client.query(inspect_obj_table_query))
      

   3. Esegui la cella di codice.

      I risultati dovrebbero essere simili ai seguenti:

      

8. Salva il blocco note come met-image-analysis.

Crea il modello remoto

Crea un modello remoto che rappresenta un modello di incorporamento multimodale di Vertex AI ospitato:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui la query seguente:

   CREATE OR REPLACE MODEL `bqml_tutorial.multimodal_embedding_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'multimodalembedding@001');
   

   Sostituisci quanto segue:

   • LOCATION: la località della connessione.
   • CONNECTION_ID: l'ID della tua connessione BigQuery.

     Quando visualizza i dettagli della connessione nella console Google Cloud, si tratta del valore nell'ultima sezione dell'ID connessione completo mostrato in ID connessione, ad esempio projects/myproject/locations/connection_location/connections/myconnection.

   Il completamento della query richiede alcuni secondi, dopodiché il modello multimodal_embedding_model viene visualizzato nel set di dati bqml_tutorial nel riquadro Explorer. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, non ci sono risultati della query.

Genera incorporamenti di immagini

Genera incorporamenti dalle immagini nella tabella degli oggetti utilizzando la funzione ML.GENERATE_EMBEDDING, quindi scrivili in una tabella per utilizzarli in un passaggio successivo. La generazione dell'incorporamento è un'operazione costosa, perciò la query utilizza una clausola LIMIT per limitare la generazione di incorporamenti a 10.000 immagini, anziché incorporare il set di dati completo di 601.294 immagini. Ciò consente inoltre di mantenere il numero di immagini al di sotto del limite di 20.000 per la funzione ML.GENERATE_EMBEDDING. L'esecuzione di questa query richiede circa 40 minuti.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui la query seguente:

   CREATE OR REPLACE TABLE `bqml_tutorial.met_image_embeddings`
   AS
   SELECT *
   FROM
     ML.GENERATE_EMBEDDING(
       MODEL `bqml_tutorial.multimodal_embedding_model`,
       TABLE `bqml_tutorial.met_images`)
   WHERE content_type = 'image/jpeg'
   LIMIT 10000;
   

Correggi eventuali errori di generazione dell'incorporamento

Controlla e correggi eventuali errori di generazione dell'incorporamento. La generazione dell'incorporamento può non riuscire a causa delle quote di IA generativa sulle quote di Vertex AI o della mancata disponibilità del servizio.

La funzione ML.GENERATE_EMBEDDING restituisce i dettagli dell'errore nella colonna ml_generate_embedding_status. Questa colonna è vuota se l'incorporamento ha avuto esito positivo o contiene un messaggio di errore se l'incorporamento non è riuscito.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'Editor query, esegui la seguente query per verificare se si sono verificati errori di generazione dell'incorporamento:

   SELECT DISTINCT(ml_generate_embedding_status),
     COUNT(uri) AS num_rows
   FROM bqml_tutorial.met_image_embeddings
   GROUP BY 1;
   

3. Se vengono restituite righe con errori, elimina le righe in cui la generazione dell'incorporamento non è riuscita:

   DELETE FROM `bqml_tutorial.met_image_embeddings`
   WHERE ml_generate_embedding_status = 'A retryable error occurred: RESOURCE_EXHAUSTED error from remote service/endpoint.';
   

Creare un indice vettoriale

Facoltativamente, puoi utilizzare l'istruzione CREATE VECTOR INDEX per creare l'indice vettoriale met_images_index nella colonna ml_generate_embedding_result della tabella met_images_embeddings. Un indice vettoriale ti consente di eseguire una ricerca vettoriale più rapidamente, con il compromesso di ridurre il richiamo e restituire quindi risultati più approssimativi.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui la query seguente:

   CREATE OR REPLACE
     VECTOR INDEX `met_images_index`
   ON
     bqml_tutorial.met_image_embeddings(ml_generate_embedding_result)
     OPTIONS (
       index_type = 'IVF',
       distance_type = 'COSINE');
   

3. L'indice vettoriale viene creato in modo asincrono. Per verificare se l'indice vettoriale è stato creato, esegui una query nella vista INFORMATION_SCHEMA.VECTOR_INDEXES e verifica che il valore coverage_percentage sia maggiore di 0 e che il valore last_refresh_time non sia NULL:

   SELECT table_name, index_name, index_status,
     coverage_percentage, last_refresh_time, disable_reason
   FROM bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES
   WHERE index_name = 'met_images_index';
   

Genera un incorporamento per il testo di ricerca

Per cercare immagini che corrispondono a una stringa di ricerca testuale specificata, devi prima creare un incorporamento di testo per quella stringa. Utilizza lo stesso modello remoto per creare l'incorporamento del testo utilizzato per creare gli incorporamenti di immagini, quindi scrivi l'incorporamento del testo in una tabella per utilizzarlo in un passaggio successivo. La stringa di ricerca è pictures of white or cream colored dress from victorian era.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui la query seguente:

   CREATE OR REPLACE TABLE `bqml_tutorial.search_embedding`
   AS
   SELECT * FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.multimodal_embedding_model`,
     (
       SELECT 'pictures of white or cream colored dress from victorian era' AS content
     )
   );
   

Eseguire una ricerca da testo a immagine tra modalità

Utilizza la funzione VECTOR_SEARCH per cercare le immagini che corrispondono meglio alla stringa di ricerca rappresentata dall'incorporamento del testo, quindi scrivile in una tabella per utilizzarle in un passaggio successivo.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui la query seguente:

   CREATE OR REPLACE TABLE `bqml_tutorial.vector_search_results` AS
   SELECT base.uri AS gcs_uri, distance
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.met_image_embeddings`,
       'ml_generate_embedding_result',
       TABLE `bqml_tutorial.search_embedding`,
       'ml_generate_embedding_result',
       top_k => 3);
   

Visualizza i risultati di ricerca vettoriali

Visualizza i risultati di ricerca vettoriale utilizzando un blocco note.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Apri il blocco note met-image-analysis che hai creato in precedenza.

3. Visualizza i risultati di ricerca vettoriali:

   1. Aggiungi una cella di codice al blocco note.

   2. Copia e incolla il seguente codice nella cella di codice:

      query = """
        SELECT * FROM `bqml_tutorial.vector_search_results`
        ORDER BY distance;
      """
      
      printImages(client.query(query))
      

   3. Esegui la cella di codice.

      I risultati dovrebbero essere simili ai seguenti:

      

Esegui la pulizia

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività in questo documento, quando lo elimini elimini anche qualsiasi altro lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.