Genera e cerca incorporamenti multimodali
Per fornire feedback o richiedere assistenza per questa funzione, invia un'email a bqml-feedback@google.com.
Questo tutorial illustra il processo end-to-end di creazione incorporamenti multimodali per immagini e testo, quindi eseguire un la ricerca da testo a immagine in più modalità.
Questo tutorial copre le seguenti attività:
- La creazione di un Tabella di oggetti BigQuery sui dati di immagine in un bucket Cloud Storage.
- Esplorazione dei dati immagine utilizzando una Blocco note di Colab Enterprise in BigQuery.
- Creazione di un modello BigQuery ML
modello remoto
che ha come target
Modello di base
multimodalembedding
di Vertex AI. - Utilizzando il modello remoto con
Funzione
ML.GENERATE_EMBEDDING
per generare incorporamenti dalle immagini nella tabella degli oggetti. - Correggi eventuali errori di generazione dell'incorporamento.
- Se vuoi, puoi creare un indice vettoriale da indicizzare gli incorporamenti di immagini.
- Creazione di un incorporamento di testo per una determinata stringa di ricerca.
- L'utilizzo del
Funzione
VECTOR_SEARCH
per cercare incorporamenti di immagini simili all'incorporamento del testo. - Visualizzazione dei risultati mediante un blocco note.
Questo tutorial utilizza le immagini artistiche di dominio pubblico
Il Metropolitan Museum of Art disponibile
nel Cloud Storage pubblico
gcs-public-data--met
bucket.
Autorizzazioni obbligatorie
Per eseguire questo tutorial, è necessario quanto segue Identity and Access Management (IAM) autorizzazioni:
Per creare una connessione, devi appartenere al Ruolo Amministratore connessione BigQuery (
roles/bigquery.connectionAdmin
).Per concedere le autorizzazioni all'account di servizio della connessione, è necessario il Autorizzazione
resourcemanager.projects.setIamPolicy
.Per creare ed eseguire blocchi note, è necessario quanto segue autorizzazioni:
resourcemanager.projects.get
resourcemanager.projects.list
bigquery.config.get
bigquery.jobs.create
bigquery.readsessions.create
bigquery.readsessions.getData
bigquery.readsessions.update
resourcemanager.projects.get
resourcemanager.projects.list
dataform.locations.get
dataform.locations.list
dataform.repositories.create
dataform.repositories.list
dataform.collections.create
dataform.collections.list
aiplatform.notebookRuntimeTemplates.apply
aiplatform.notebookRuntimeTemplates.get
aiplatform.notebookRuntimeTemplates.list
aiplatform.notebookRuntimeTemplates.getIamPolicy
aiplatform.notebookRuntimes.assign
aiplatform.notebookRuntimes.get
aiplatform.notebookRuntimes.list
aiplatform.operations.list
Puoi ottenere queste autorizzazioni dai seguenti ruoli IAM:
- Utente sessione di lettura BigQuery (
roles/bigquery.readSessionUser
) - Utente BigQuery Studio (
roles/bigquery.studioUser
)
Le autorizzazioni IAM necessarie in questo tutorial per le risorse Le operazioni di BigQuery sono incluse nei due ruoli seguenti:
- Editor dati BigQuery (
roles/bigquery.dataEditor
) per creare modelli, tabelle e indici. - Utente BigQuery (
roles/bigquery.user
) per eseguire job BigQuery.
- Editor dati BigQuery (
Costi
In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:
- BigQuery ML: You incur costs for the data that you process in BigQuery.
- Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.
Per generare una stima dei costi basata sull'utilizzo previsto,
utilizza il Calcolatore prezzi.
Per ulteriori informazioni sui prezzi di BigQuery, consulta Prezzi di BigQuery in documentazione di BigQuery.
Per ulteriori informazioni sui prezzi di Vertex AI, consulta Prezzi di Vertex AI .
Prima di iniziare
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Abilita le API BigQuery, BigQuery Connection, and Vertex AI.
- Abilita BigQuery Studio.
Crea un set di dati
Crea un set di dati BigQuery per archiviare il tuo modello ML:
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, fai clic sul nome del tuo progetto.
Fai clic su
Visualizza azioni > Crea il set di dati.Nella pagina Crea set di dati, segui questi passaggi:
In ID set di dati, inserisci
bqml_tutorial
.Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).
I set di dati pubblici vengono archiviati nell'
US
più regioni. Per semplicità, per archiviare il set di dati nella stessa posizione.Lascia invariate le restanti impostazioni predefinite e fai clic su Crea il set di dati.
Crea una connessione
Crea un Connessione alle risorse cloud e recuperare l'ID dell'account di servizio della connessione. Crea la connessione in la stessa località del set di dati che hai creato nel passaggio precedente.
Seleziona una delle seguenti opzioni:
Console
Vai alla pagina BigQuery.
Per creare una connessione, fai clic su
Aggiungi e poi fai clic su Connessioni a origini dati esterne.Nell'elenco Tipo di connessione, seleziona Modelli remoti Vertex AI, funzioni remote e BigLake (risorsa Cloud).
Nel campo ID connessione, inserisci un nome per connessione.
Fai clic su Crea connessione.
Fai clic su Vai alla connessione.
Nel riquadro Informazioni sulla connessione, copia l'ID account di servizio per utilizzarlo in una passaggio successivo.
bq
In un ambiente a riga di comando, crea una connessione:
bq mk --connection --location=REGION --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE CONNECTION_ID
Il parametro
--project_id
sostituisce il progetto predefinito.Sostituisci quanto segue:
REGION
: il tuo regione di connessionePROJECT_ID
: l'ID del tuo progetto Google CloudCONNECTION_ID
: un ID per connessione
Quando crei una risorsa di connessione, BigQuery crea di account di servizio di sistema univoco e lo associa alla connessione.
Risoluzione dei problemi: se ricevi il seguente errore di connessione, Aggiorna Google Cloud SDK:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
Recupera e copia l'ID account di servizio per utilizzarlo in un secondo momento passaggio:
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
L'output è simile al seguente:
name properties 1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
Aggiungi la seguente sezione al tuo file main.tf
.
## This creates a cloud resource connection. ## Note: The cloud resource nested object has only one output only field - serviceAccountId. resource "google_bigquery_connection" "connection" { connection_id = "CONNECTION_ID" project = "PROJECT_ID" location = "REGION" cloud_resource {} }Sostituisci quanto segue:
CONNECTION_ID
: un ID per connessionePROJECT_ID
: l'ID del tuo progetto Google CloudREGION
: il tuo regione di connessione
Concedi le autorizzazioni all'account di servizio della connessione
Concedere all'account di servizio della connessione i ruoli appropriati per l'accesso i servizi Cloud Storage e Vertex AI, segui questi passaggi:
Vai alla sezione IAM e Console di amministrazione.
Fai clic su
Concedi l'accesso.Nel campo Nuove entità, inserisci l'ID account di servizio che copiato in precedenza.
Nel campo Seleziona un ruolo, scegli Vertex AI, quindi seleziona Utente Vertex AI.
Fai clic su Aggiungi un altro ruolo.
Nel campo Seleziona un ruolo, scegli Cloud Storage e poi Seleziona Visualizzatore oggetti Storage.
Fai clic su Salva.
Crea la tabella degli oggetti
crea una tabella di oggetti sulle immagini artistiche nel Cloud Storage pubblico
gcs-public-data--met
bucket.
La tabella degli oggetti consente di analizzare le immagini senza spostarle
da Cloud Storage.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, esegui questa query:
CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.met_images` WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS ( object_metadata = 'SIMPLE', uris = ['gs://gcs-public-data--met/*'] );
Sostituisci quanto segue:
LOCATION
: posizione della connessione.CONNECTION_ID
: l'ID del tuo Connessione BigQuery.Quando visualizzi i dettagli della connessione nella console Google Cloud, questo è il valore riportato nell'ultima sezione l'ID connessione completo mostrato ID connessione, ad esempio
projects/myproject/locations/connection_location/connections/myconnection
.
Esplora i dati dell'immagine
Crea un blocco note Colab Enterprise in BigQuery per esplorare i dati dell'immagine.
Nella console Google Cloud, vai alla pagina BigQuery.
Configura il blocco note:
- Aggiungi una cella di codice al blocco note.
Copia e incolla il seguente codice nella cella di codice:
#@title Set up credentials from google.colab import auth auth.authenticate_user() print('Authenticated') PROJECT_ID='PROJECT_ID' from google.cloud import bigquery client = bigquery.Client(PROJECT_ID)
Sostituisci
PROJECT_ID
con il nome del progetto che usi per questo tutorial.Esegui la cella di codice.
Attiva la visualizzazione della tabella:
- Aggiungi una cella di codice al blocco note.
Copia e incolla il seguente codice nella cella di codice:
#@title Enable data table display %load_ext google.colab.data_table
Esegui la cella di codice.
Crea una funzione per visualizzare le immagini:
- Aggiungi una cella di codice al blocco note.
Copia e incolla il seguente codice nella cella di codice:
#@title Util function to display images import io from PIL import Image import matplotlib.pyplot as plt import tensorflow as tf def printImages(results): image_results_list = list(results) amt_of_images = len(image_results_list) fig, axes = plt.subplots(nrows=amt_of_images, ncols=2, figsize=(20, 20)) fig.tight_layout() fig.subplots_adjust(hspace=0.5) for i in range(amt_of_images): gcs_uri = image_results_list[i][0] text = image_results_list[i][1] f = tf.io.gfile.GFile(gcs_uri, 'rb') stream = io.BytesIO(f.read()) img = Image.open(stream) axes[i, 0].axis('off') axes[i, 0].imshow(img) axes[i, 1].axis('off') axes[i, 1].text(0, 0, text, fontsize=10) plt.show()
Esegui la cella di codice.
Visualizza le immagini:
- Aggiungi una cella di codice al blocco note.
Copia e incolla il seguente codice nella cella di codice:
#@title Display Met images inspect_obj_table_query = """ SELECT uri, content_type FROM bqml_tutorial.met_images WHERE content_type = 'image/jpeg' Order by uri LIMIT 10; """ printImages(client.query(inspect_obj_table_query))
Esegui la cella di codice.
I risultati dovrebbero essere simili ai seguenti:
Salva il blocco note come
met-image-analysis
.
Crea il modello remoto
Crea un modello remoto che rappresenta un modello Vertex AI ospitato modello di incorporamento multimodale:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, esegui questa query:
CREATE OR REPLACE MODEL `bqml_tutorial.multimodal_embedding_model` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT = 'multimodalembedding@001');
Sostituisci quanto segue:
LOCATION
: posizione della connessione.CONNECTION_ID
: l'ID del tuo Connessione BigQuery.Quando visualizzi i dettagli della connessione nella console Google Cloud, questo è il valore riportato nell'ultima sezione l'ID connessione completo mostrato ID connessione, ad esempio
projects/myproject/locations/connection_location/connections/myconnection
.
Il completamento della query richiede diversi secondi, dopodiché Il modello
multimodal_embedding_model
compare nel set di datibqml_tutorial
nel riquadro Explorer. Poiché la query utilizza un'istruzioneCREATE MODEL
per creare un modello, la query non avrà risultati.
Genera incorporamenti di immagini
Genera incorporamenti dalle immagini nella tabella degli oggetti utilizzando il metodo
Funzione ML.GENERATE_EMBEDDING
,
e poi scrivile in una tabella
in un passaggio successivo. La generazione dell'incorporamento è un'operazione costosa, quindi
utilizza una sottoquery che include la clausola LIMIT
per limitare la generazione di incorporamenti a 10.000 immagini
invece di incorporare l'intero set di dati di 601.294 immagini. Questo aiuta anche a mantenere
il numero di immagini al di sotto del limite di 25.000 per ML.GENERATE_EMBEDDING
personalizzata. L'esecuzione di questa query richiede circa 40 minuti.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, esegui questa query:
CREATE OR REPLACE TABLE `bqml_tutorial.met_image_embeddings` AS SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.multimodal_embedding_model`, (SELECT * FROM `bqml_tutorial.met_images` WHERE content_type = 'image/jpeg' LIMIT 10000))
Correggi eventuali errori di generazione dell'incorporamento
Controlla e correggi eventuali errori di generazione dell'incorporamento. Generazione degli incorporamenti può non riuscire a causa Quote per l'IA generativa su Vertex AI o indisponibilità del servizio.
La funzione ML.GENERATE_EMBEDDING
restituisce dettagli di errore nel
ml_generate_embedding_status
. Questa colonna è vuota se incorpora
è stata completata o contiene un messaggio di errore se l'incorporamento
la generazione non è riuscita.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, esegui questa query per vedere se c'erano Errori di generazione dell'incorporamento:
SELECT DISTINCT(ml_generate_embedding_status), COUNT(uri) AS num_rows FROM bqml_tutorial.met_image_embeddings GROUP BY 1;
Se vengono restituite righe con errori, elimina tutte le righe in cui l'incorporamento ha generato non riuscito:
DELETE FROM `bqml_tutorial.met_image_embeddings` WHERE ml_generate_embedding_status = 'A retryable error occurred: RESOURCE_EXHAUSTED error from remote service/endpoint.';
Crea un indice vettoriale
In via facoltativa, puoi utilizzare
Dichiarazione CREATE VECTOR INDEX
per creare l'indice vettoriale met_images_index
sulla
ml_generate_embedding_result
della tabella met_images_embeddings
.
Un indice vettoriale consente di eseguire una ricerca vettoriale più rapidamente, con
un compromesso nel ridurre il richiamo e restituire risultati più approssimativi.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, esegui questa query:
CREATE OR REPLACE VECTOR INDEX `met_images_index` ON bqml_tutorial.met_image_embeddings(ml_generate_embedding_result) OPTIONS ( index_type = 'IVF', distance_type = 'COSINE');
L'indice vettoriale viene creato in modo asincrono. Per verificare se l'indice vettoriale eseguire una query
INFORMATION_SCHEMA.VECTOR_INDEXES
visualizzazione e confermi che il valorecoverage_percentage
è maggiore di0
e Il valore dilast_refresh_time
non èNULL
:SELECT table_name, index_name, index_status, coverage_percentage, last_refresh_time, disable_reason FROM bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES WHERE index_name = 'met_images_index';
Genera un incorporamento per il testo di ricerca
Per cercare immagini che corrispondono a una stringa di ricerca testuale specificata, devi
crea prima un incorporamento di testo per quella stringa. Usa lo stesso modello remoto per
creare l'incorporamento del testo
utilizzato per creare gli incorporamenti delle immagini,
e poi scrivi l'incorporamento del testo in una tabella per utilizzarlo in un passaggio successivo. La
la stringa di ricerca è pictures of white or cream colored dress from victorian era
.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, esegui questa query:
CREATE OR REPLACE TABLE `bqml_tutorial.search_embedding` AS SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.multimodal_embedding_model`, ( SELECT 'pictures of white or cream colored dress from victorian era' AS content ) );
Esegui una ricerca da testo a immagine tra modalità
Utilizza la
Funzione VECTOR_SEARCH
per cercare le immagini che corrispondono meglio alla stringa di ricerca rappresentata
mediante l'incorporamento del testo e quindi scriverli in una tabella
in un passaggio successivo.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, esegui questa query:
CREATE OR REPLACE TABLE `bqml_tutorial.vector_search_results` AS SELECT base.uri AS gcs_uri, distance FROM VECTOR_SEARCH( TABLE `bqml_tutorial.met_image_embeddings`, 'ml_generate_embedding_result', TABLE `bqml_tutorial.search_embedding`, 'ml_generate_embedding_result', top_k => 3);
Visualizza i risultati di ricerca vettoriali
Visualizza i risultati di ricerca vettoriali utilizzando un blocco note.
Nella console Google Cloud, vai alla pagina BigQuery.
Apri il blocco note
met-image-analysis
che hai creato in precedenza.Visualizza i risultati di ricerca vettoriali:
- Aggiungi una cella di codice al blocco note.
Copia e incolla il seguente codice nella cella di codice:
query = """ SELECT * FROM `bqml_tutorial.vector_search_results` ORDER BY distance; """ printImages(client.query(query))
Esegui la cella di codice.
I risultati dovrebbero essere simili ai seguenti:
Esegui la pulizia
- Nella console Google Cloud, vai alla pagina Gestisci risorse.
- Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
- Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.