Gerar e pesquisar embeddings multimodais
Para enviar feedback ou solicitar suporte para esse recurso, envie um e-mail para bqml-feedback@google.com.
Neste tutorial, orientamos você no processo completo de criação de embeddings multimodais para imagens e texto e, em seguida, na realização de uma pesquisa de texto para imagem em várias modalidades.
Este tutorial abrange as seguintes tarefas:
- Criar uma tabela de objetos do BigQuery sobre dados de imagem em um bucket do Cloud Storage.
- Analisar os dados da imagem usando um bloco do Colab Enterprise no BigQuery.
- Criar um
modelo remoto
do BigQuery ML
direcionado ao
modelo de fundação
multimodalembedding
da Vertex AI. - Uso do modelo remoto com a função
ML.GENERATE_EMBEDDING
para gerar embeddings a partir das imagens na tabela de objetos. - Corrija todos os erros de geração de embedding.
- Opcionalmente, criar um índice vetorial para indexar os embeddings de imagem.
- Criar um embedding de texto para uma determinada string de pesquisa.
- Usar a função
VECTOR_SEARCH
para pesquisar embeddings de imagens semelhantes ao embedding de texto. - Visualização dos resultados usando um notebook.
Neste tutorial, usamos as imagens de arte de domínio público do The Metropolitan Museum of Art que estão disponíveis no bucket público gcs-public-data--met
do Cloud Storage.
Permissões necessárias
Para seguir este tutorial, você precisa das seguintes permissões do Identity and Access Management (IAM):
Para criar uma conexão, é preciso ser membro do papel Administrador de conexão do BigQuery (
roles/bigquery.connectionAdmin
).Para conceder permissões à conta de serviço da conexão, você precisa da seguinte permissão
resourcemanager.projects.setIamPolicy
:Para criar e executar notebooks, você precisa das seguintes permissões do IAM:
resourcemanager.projects.get
resourcemanager.projects.list
bigquery.config.get
bigquery.jobs.create
bigquery.readsessions.create
bigquery.readsessions.getData
bigquery.readsessions.update
resourcemanager.projects.get
resourcemanager.projects.list
dataform.locations.get
dataform.locations.list
dataform.repositories.create
dataform.repositories.list
dataform.collections.create
dataform.collections.list
aiplatform.notebookRuntimeTemplates.apply
aiplatform.notebookRuntimeTemplates.get
aiplatform.notebookRuntimeTemplates.list
aiplatform.notebookRuntimeTemplates.getIamPolicy
aiplatform.notebookRuntimes.assign
aiplatform.notebookRuntimes.get
aiplatform.notebookRuntimes.list
aiplatform.operations.list
É possível conseguir essas permissões com os seguintes papéis do IAM:
- Usuário de sessão de leitura do BigQuery (
roles/bigquery.readSessionUser
) - Usuário do BigQuery Studio (
roles/bigquery.studioUser
)
As permissões do IAM necessárias neste tutorial para as demais operações do BigQuery estão incluídas nos dois papéis a seguir:
- Editor de dados do BigQuery (
roles/bigquery.dataEditor
) para criar modelos, tabelas e índices. - Usuário do BigQuery (
roles/bigquery.user
) para executar jobs do BigQuery.
- Editor de dados do BigQuery (
Custos
Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:
- BigQuery ML: You incur costs for the data that you process in BigQuery.
- Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.
Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.
Para mais informações, consulte Preços do BigQuery na documentação do BigQuery.
Para mais informações sobre preços da Vertex AI, consulte esta página.
Antes de começar
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.
- Ative o BigQuery Studio.
Criar um conjunto de dados
Crie um conjunto de dados do BigQuery para armazenar o modelo de ML:
No console do Google Cloud, acesse a página do BigQuery.
No painel Explorer, clique no nome do seu projeto.
Clique em
Conferir ações > Criar conjunto de dados.Na página Criar conjunto de dados, faça o seguinte:
Para o código do conjunto de dados, insira
bqml_tutorial
.Em Tipo de local, selecione Multirregião e EUA (várias regiões nos Estados Unidos).
Os conjuntos de dados públicos são armazenados na multirregião
US
. Para simplificar, armazene seus conjuntos de dados no mesmo local.Mantenha as configurações padrão restantes e clique em Criar conjunto de dados.
Criar uma conexão
Crie uma Conexão de recursos do Cloud e tenha acesso ao ID da conta de serviço da conexão. Crie a conexão no mesmo local do conjunto de dados criado na etapa anterior.
Selecione uma das seguintes opções:
Console
Acessar a página do BigQuery.
Para criar uma conexão, clique em
Adicionar e em Conexões com fontes de dados externas.Na lista Tipo de conexão, selecione Modelos remotos da Vertex AI, funções remotas e BigLake (Cloud Resource).
No campo ID da conexão, insira um nome para a conexão.
Clique em Criar conexão.
Clique em Ir para conexão.
No painel Informações da conexão, copie o ID da conta de serviço para uso em uma etapa posterior.
bq
Em um ambiente de linha de comando, crie uma conexão:
bq mk --connection --location=REGION --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE CONNECTION_ID
O parâmetro
--project_id
substitui o projeto padrão.Substitua:
REGION
: sua região de conexãoPROJECT_ID
: o ID do projeto do Google CloudCONNECTION_ID
: um ID para sua conexão
Quando você cria um recurso de conexão, o BigQuery cria uma conta de serviço do sistema exclusiva e a associa à conexão.
Solução de problemas: se você receber o seguinte erro de conexão, atualize o SDK Google Cloud:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
Recupere e copie o ID da conta de serviço para uso em uma etapa posterior:
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
O resultado será assim:
name properties 1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
Anexe a seguinte seção ao seu arquivo main.tf
.
## This creates a cloud resource connection. ## Note: The cloud resource nested object has only one output only field - serviceAccountId. resource "google_bigquery_connection" "connection" { connection_id = "CONNECTION_ID" project = "PROJECT_ID" location = "REGION" cloud_resource {} }Substitua:
CONNECTION_ID
: um ID para sua conexãoPROJECT_ID
: o ID do projeto do Google CloudREGION
: sua região de conexão
Conceder permissões para a conta de serviço do portal
Para conceder à conta de serviço da conexão os papéis apropriados para acessar os serviços do Cloud Storage e da Vertex AI, siga estas etapas:
Acesse a página IAM e administrador.
Clique em
Conceder acesso.No campo Novos principais, digite o ID da conta de serviço que você copiou anteriormente.
No campo Selecionar um papel, escolha Vertex AI e, em seguida, selecione Usuário da Vertex AI.
Clique em Adicionar outro papel.
No campo Selecionar papel, escolha Cloud Storage e, em seguida, Visualizador de objetos do Storage.
Clique em Salvar.
Criar a tabela de objetos
Crie uma tabela de objetos sobre as imagens de arte no bucket gcs-public-data--met
público do Cloud Storage.
Com a tabela de objetos, é possível analisar as imagens sem movê-las do Cloud Storage.
No Console do Google Cloud, acesse a página BigQuery.
No Editor de consultas, execute esta consulta:
CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.met_images` WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS ( object_metadata = 'SIMPLE', uris = ['gs://gcs-public-data--met/*'] );
Substitua:
LOCATION
: o local da conexão.CONNECTION_ID
: o ID da sua conexão do BigQuery.Quando você visualiza os detalhes da conexão no console do Google Cloud, esse é o valor na última seção do ID da conexão totalmente qualificado, mostrado em ID da conexão, por exemplo
projects/myproject/locations/connection_location/connections/myconnection
.
Analise os dados da imagem
Crie um notebook Colab Enterprise no BigQuery para explorar os dados da imagem.
No Console do Google Cloud, acesse a página BigQuery.
Configure o notebook:
- Adicione uma célula de código ao notebook.
Copie e cole o seguinte código na célula de código:
#@title Set up credentials from google.colab import auth auth.authenticate_user() print('Authenticated') PROJECT_ID='PROJECT_ID' from google.cloud import bigquery client = bigquery.Client(PROJECT_ID)
Substitua
PROJECT_ID
pelo nome do projeto que você está usando para este tutorial.Execute a célula de código.
Ative a exibição da tabela:
- Adicione uma célula de código ao notebook.
Copie e cole o seguinte código na célula de código:
#@title Enable data table display %load_ext google.colab.data_table
Execute a célula de código.
Crie uma função para mostrar as imagens:
- Adicione uma célula de código ao notebook.
Copie e cole o seguinte código na célula de código:
#@title Util function to display images import io from PIL import Image import matplotlib.pyplot as plt import tensorflow as tf def printImages(results): image_results_list = list(results) amt_of_images = len(image_results_list) fig, axes = plt.subplots(nrows=amt_of_images, ncols=2, figsize=(20, 20)) fig.tight_layout() fig.subplots_adjust(hspace=0.5) for i in range(amt_of_images): gcs_uri = image_results_list[i][0] text = image_results_list[i][1] f = tf.io.gfile.GFile(gcs_uri, 'rb') stream = io.BytesIO(f.read()) img = Image.open(stream) axes[i, 0].axis('off') axes[i, 0].imshow(img) axes[i, 1].axis('off') axes[i, 1].text(0, 0, text, fontsize=10) plt.show()
Execute a célula de código.
Mostre as imagens:
- Adicione uma célula de código ao notebook.
Copie e cole o seguinte código na célula de código:
#@title Display Met images inspect_obj_table_query = """ SELECT uri, content_type FROM bqml_tutorial.met_images WHERE content_type = 'image/jpeg' Order by uri LIMIT 10; """ printImages(client.query(inspect_obj_table_query))
Execute a célula de código.
A resposta deve ficar assim:
Salve o notebook como
met-image-analysis
.
Criar o modelo remoto
Crie um modelo remoto que represente um modelo de incorporação multimodal hospedado da Vertex AI:
No Console do Google Cloud, acesse a página BigQuery.
No Editor de consultas, execute esta consulta:
CREATE OR REPLACE MODEL `bqml_tutorial.multimodal_embedding_model` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT = 'multimodalembedding@001');
Substitua:
LOCATION
: o local da conexão.CONNECTION_ID
: o ID da sua conexão do BigQuery.Quando você visualiza os detalhes da conexão no console do Google Cloud, esse é o valor na última seção do ID da conexão totalmente qualificado, mostrado em ID da conexão, por exemplo
projects/myproject/locations/connection_location/connections/myconnection
.
A consulta leva alguns segundos para ser concluída. Depois disso, o modelo
multimodal_embedding_model
aparece no conjunto de dadosbqml_tutorial
no painel Explorer. Como a consulta usa uma instruçãoCREATE MODEL
para criar um modelo, não há resultados de consulta.
Gerar embeddings de imagem
Gere embeddings das imagens na tabela de objetos usando a
função ML.GENERATE_EMBEDDING
.
Depois, grave-os em uma tabela para
usar em uma etapa a seguir. A geração de embedding é uma operação cara. Por isso, a consulta usa uma cláusula LIMIT
para limitar a geração de embeddings a 10.000 imagens,
em vez de incorporar o conjunto de dados completo de 601.294 imagens. Isso também ajuda a manter
o número de imagens abaixo do limite de 25.000 para a função
ML.GENERATE_EMBEDDING
. Essa consulta leva aproximadamente 40 minutos para ser executada.
No Console do Google Cloud, acesse a página BigQuery.
No Editor de consultas, execute esta consulta:
CREATE OR REPLACE TABLE `bqml_tutorial.met_image_embeddings` AS SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.multimodal_embedding_model`, (SELECT * FROM `bqml_tutorial.met_images` WHERE content_type = 'image/jpeg' LIMIT 10000))
Corrigir erros de geração de embedding
Verifique e corrija erros de geração de incorporação. A geração de embeddings pode falhar por causa das cotas de IA generativa na Vertex AI ou da indisponibilidade de serviços.
A função ML.GENERATE_EMBEDDING
retorna detalhes do erro na coluna ml_generate_embedding_status
. Essa coluna estará vazia se a geração de incorporação tiver sido bem-sucedida ou conterá uma mensagem de erro se a geração de incorporação falhar.
No Console do Google Cloud, acesse a página BigQuery.
No editor de consultas, execute a seguinte consulta para ver se houve alguma falha na geração de incorporação:
SELECT DISTINCT(ml_generate_embedding_status), COUNT(uri) AS num_rows FROM bqml_tutorial.met_image_embeddings GROUP BY 1;
Se forem retornadas linhas com erros, elimine todas as linhas em que a geração de incorporação falhou:
DELETE FROM `bqml_tutorial.met_image_embeddings` WHERE ml_generate_embedding_status = 'A retryable error occurred: RESOURCE_EXHAUSTED error from remote service/endpoint.';
Criar um índice vetorial
Também é possível usar a
instrução CREATE VECTOR INDEX
para criar o índice de vetor met_images_index
na coluna
ml_generate_embedding_result
da tabela met_images_embeddings
.
Um índice vetorial permite realizar uma pesquisa de vetor mais rapidamente, com a
desvantagem de reduzir o recall e retornar resultados mais aproximados.
No Console do Google Cloud, acesse a página BigQuery.
No Editor de consultas, execute esta consulta:
CREATE OR REPLACE VECTOR INDEX `met_images_index` ON bqml_tutorial.met_image_embeddings(ml_generate_embedding_result) OPTIONS ( index_type = 'IVF', distance_type = 'COSINE');
O índice de vetor é criado de forma assíncrona. Para verificar se o índice de vetor foi criado, consulte a visualização
INFORMATION_SCHEMA.VECTOR_INDEXES
e confirme se o valor decoverage_percentage
é maior que0
. e o valor delast_refresh_time
não forNULL
:SELECT table_name, index_name, index_status, coverage_percentage, last_refresh_time, disable_reason FROM bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES WHERE index_name = 'met_images_index';
Gerar um embedding para o texto de pesquisa
Para pesquisar imagens que correspondam a uma string de pesquisa de texto especificada, primeiro crie um embedding de texto para essa string. Use o mesmo modelo remoto para criar o embedding de texto usado para gerar os embeddings de imagem e, em seguida, grave o embedding de texto em uma tabela para uso em uma etapa seguinte. A string de pesquisa é pictures of white or cream colored dress from victorian era
.
No Console do Google Cloud, acesse a página BigQuery.
No Editor de consultas, execute esta consulta:
CREATE OR REPLACE TABLE `bqml_tutorial.search_embedding` AS SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.multimodal_embedding_model`, ( SELECT 'pictures of white or cream colored dress from victorian era' AS content ) );
Realizar uma pesquisa multimodalidade de texto para imagem
Use as
VECTOR_SEARCH
função para procurar imagens que melhor correspondem à string de pesquisa representada pelo embedding de texto e, em seguida, gravá-las em uma tabela para uso em uma etapa a seguir.
No Console do Google Cloud, acesse a página BigQuery.
No Editor de consultas, execute esta consulta:
CREATE OR REPLACE TABLE `bqml_tutorial.vector_search_results` AS SELECT base.uri AS gcs_uri, distance FROM VECTOR_SEARCH( TABLE `bqml_tutorial.met_image_embeddings`, 'ml_generate_embedding_result', TABLE `bqml_tutorial.search_embedding`, 'ml_generate_embedding_result', top_k => 3);
Visualizar os resultados da pesquisa de vetor
Visualizar os resultados da pesquisa de vetor usando um notebook.
No Console do Google Cloud, acesse a página BigQuery.
Abra o notebook
met-image-analysis
que você criou anteriormente.Visualize os resultados da pesquisa de vetor:
- Adicione uma célula de código ao notebook.
Copie e cole o seguinte código na célula de código:
query = """ SELECT * FROM `bqml_tutorial.vector_search_results` ORDER BY distance; """ printImages(client.query(query))
Execute a célula de código.
A resposta deve ficar assim:
Limpar
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.