Visão geral da IA generativa

Neste documento, descrevemos os recursos de inteligência artificial (IA) generativa compatíveis com o BigQuery ML. Esses recursos permitem executar tarefas de IA no BigQuery ML usando modelos de fundação pré-treinados da Vertex AI. Veja a seguir algumas das tarefas disponíveis:

• IA generativa
• Incorporação

Acesse um modelo da Vertex AI para executar uma dessas funções criando um modelo remoto no BigQuery ML que representa o endpoint do modelo da Vertex AI. Depois de criar um modelo remoto no modelo da Vertex AI que você quer usar, acesse os recursos desse modelo executando uma função do BigQuery ML no modelo remoto.

Com essa abordagem, é possível usar os recursos desses modelos da Vertex AI para analisar dados do BigQuery usando SQL.

Fluxo de trabalho

É possível usar modelos remotos em vez de modelos da Vertex AI e modelos remotos em vez de serviços do Cloud AI com as funções de ML do BigQuery para realizar tarefas complexas de análise de dados e IA generativa.

O diagrama a seguir mostra alguns fluxos de trabalho típicos em que é possível usar esses recursos juntos:

IA generativa

Você pode usar modelos de linguagem grandes (LLMs) para realizar tarefas como resumir e gerar textos. Por exemplo, você pode resumir um relatório longo ou analisar sentimentos no feedback de clientes. É possível usar modelos de linguagem visual (VLMs) para analisar conteúdo visual, como imagens e vídeos, para tarefas como legendagem visual e perguntas e respostas visuais. É possível usar modelos multimodais para realizar as mesmas tarefas que LLMs e VLMs, além de outras tarefas, como transcrição de áudio e análise de documentos.

Para executar tarefas de IA generativa, é possível criar uma referência a um modelo de fundação pré-treinado da Vertex AI criando um modelo remoto e especificando o nome dele para o valor ENDPOINT. Os seguintes modelos da Vertex AI têm suporte:

• gemini-1.5-pro (Pré-lançamento)
• gemini-1.0-pro
• gemini-1.0-pro-vision
• text-bison
• text-bison-32k
• text-unicorn

Observação: para enviar feedback ou solicitar suporte para os modelos na visualização, envie um e-mail para [e-mail].

Quando você cria um modelo remoto que se refere a qualquer versão de um modelo text-bison da Vertex AI, é possível configurar o ajuste supervisionado (Prévia) ao mesmo tempo.

Depois de criar o modelo, use a função ML.GENERATE_TEXT para interagir com ele:

• Para modelos remotos baseados em gemini-1.0-pro, text-bison, text-bison-32k ou text-unicorn, use a função ML.GENERATE_TEXT com um comando fornecido em uma consulta. ou de uma coluna em uma tabela padrão.
• Para modelos remotos baseados no modelo gemini-1.0-pro-vision, é possível usar a função ML.GENERATE_TEXT para analisar conteúdo de imagem ou vídeo de uma tabela de objetos com um comando que você fornece como argumento de função.
• Para modelos remotos baseados no modelo gemini-1.5-pro, é possível usar a função ML.GENERATE_TEXT para analisar texto, imagem, áudio, vídeo ou PDF de uma tabela de objetos com um prompt fornecido como argumento de função. Também é possível gerar texto a partir de um comando fornecido em uma consulta. ou de uma coluna em uma tabela padrão.

Toda inferência ocorre na Vertex AI. Os resultados são armazenados no BigQuery.

Para saber mais, tente gerar texto com a função ML.GENERATE_TEXT.

Incorporação

O embedding pode ser usado para identificar itens semanticamente semelhantes. Por exemplo, é possível usar o embedding de texto para identificar como dois textos são semelhantes. Se dois textos forem semanticamente parecidos, os respectivos embeddings serão localizados próximos um do outro no espaço vetorial de embedding.

É possível usar modelos do BigQuery ML para criar os seguintes tipos de embeddings:

• Para criar embeddings de texto, é possível criar uma referência a um dos modelos de fundação de embedding de texto textembedding-gecko ou textembedding-gecko-multilingual da Vertex AI criando um modelo remoto e especificando o nome do LLM para o valor ENDPOINT.
• Para criar embeddings multimodais, que incorporam texto e imagens no mesmo espaço semântico, é possível criar uma referência ao LLM multimodalembedding da Vertex AI criando um modelo remoto e especificando o nome do LLM para o valor ENDPOINT. Esse recurso está na preview.
• Para criar embeddings para dados estruturados de variáveis aleatórias independentes e identicamente distribuídas (IID), use uma análise de componentes principais (PCA, na sigla em inglês) ou um modelo de codificador automático. Esse recurso está na visualização.
• Para criar embeddings para dados de usuários ou itens, use um modelo de fatoração de matriz. Esse recurso está na visualização.

Depois de criar o modelo, use a função ML.GENERATE_EMBEDDING para interagir com ele. Para todos os tipos de modelos com suporte, ML.GENERATE_EMBEDDING trabalha com dados em tabelas padrão. Para modelos de incorporação multimodais, ML.GENERATE_EMBEDDING também funciona com conteúdo visual em tabelas de objetos. Para modelos remotos, toda a inferência ocorre na Vertex AI. Para outros tipos de modelo, toda a inferência ocorre no BigQuery. Os resultados são armazenados no BigQuery.

Para saber mais, tente criar embeddings de texto e de imagem com a função ML.GENERATE_EMBEDDING.

Para uma incorporação de texto menor e leve, tente usar um modelo do TensorFlow pré-treinado, como NNLM, SWIVEL ou BERT.

Para informações sobre como escolher o melhor modelo para seu caso de uso de embedding, consulte Como escolher um modelo de embedding de texto.

A seguir

• Para mais informações sobre como realizar inferência em modelos de machine learning, consulte Visão geral da inferência de modelos.