Visão geral da IA generativa
Neste documento, descrevemos os recursos de inteligência artificial (IA) generativa compatíveis com o BigQuery ML. Esses recursos permitem executar tarefas de IA no BigQuery ML usando modelos de fundação pré-treinados da Vertex AI. Veja a seguir algumas das tarefas disponíveis:
Acesse um modelo da Vertex AI para executar uma dessas funções criando um modelo remoto no BigQuery ML que representa o endpoint do modelo da Vertex AI. Depois de criar um modelo remoto no modelo da Vertex AI que você quer usar, acesse os recursos desse modelo executando uma função do BigQuery ML no modelo remoto.
Com essa abordagem, é possível usar os recursos desses modelos da Vertex AI para analisar dados do BigQuery usando SQL.
Fluxo de trabalho
É possível usar modelos remotos em vez de modelos da Vertex AI e modelos remotos em vez de serviços do Cloud AI com as funções de ML do BigQuery para realizar tarefas complexas de análise de dados e IA generativa.
O diagrama a seguir mostra alguns fluxos de trabalho típicos em que é possível usar esses recursos juntos:
IA generativa
Você pode usar modelos de linguagem grandes (LLMs) para realizar tarefas como resumir e gerar textos. Por exemplo, você pode resumir um relatório longo ou analisar sentimentos no feedback de clientes. É possível usar modelos de linguagem visual (VLMs) para analisar conteúdo visual, como imagens e vídeos, para tarefas como legendagem visual e perguntas e respostas visuais. É possível usar modelos multimodais para realizar as mesmas tarefas que LLMs e VLMs, além de outras tarefas, como transcrição de áudio e análise de documentos.
Para executar tarefas de IA generativa, é possível criar
uma referência a um
modelo de fundação
pré-treinado da Vertex AI criando um modelo remoto e especificando o nome dele
para o valor ENDPOINT
. Os seguintes modelos da Vertex AI
têm suporte:
gemini-1.5-flash
(Pré-lançamento)gemini-1.5-pro
(Pré-lançamento)gemini-1.0-pro
gemini-1.0-pro-vision
(Pré-lançamento)text-bison
text-bison-32k
text-unicorn
Os modelos Anthropic Claude (pré-lançamento) também são aceitos.
Para enviar feedback ou solicitar suporte para os modelos na visualização, envie um e-mail para bqml-feedback@google.com.
Quando você cria um modelo remoto que se refere ao modelo gemini-1.0-pro-002
ou a qualquer versão do modelo text-bison
, é possível
configurar o
ajuste supervisionado
(Prévia) ao mesmo tempo.
Depois de criar o modelo, use a
função ML.GENERATE_TEXT
para interagir com ele:
- Para modelos remotos baseados em
gemini-1.0-pro
,text-bison
,text-bison-32k
outext-unicorn
, use a funçãoML.GENERATE_TEXT
com um comando fornecido em uma consulta. ou de uma coluna em uma tabela padrão. - Para modelos remotos baseados no modelo
gemini-1.0-pro-vision
, é possível usar a funçãoML.GENERATE_TEXT
para analisar conteúdo de imagem ou vídeo de uma tabela de objetos com um comando que você fornece como argumento de função. - Para modelos remotos baseados nos modelos
gemini-1.5-flash
ougemini-1.5-pro
, é possível usar a funçãoML.GENERATE_TEXT
para analisar texto, imagem, áudio, vídeo ou PDF de uma tabela de objetos com um prompt fornecido como argumento de função. Também é possível gerar texto a partir de um comando fornecido em uma consulta. ou de uma coluna em uma tabela padrão.
É possível usar
embasamento
e
atributos de segurança
ao usar modelos do Gemini com a função ML.GENERATE_TEXT
, desde que
você está usando uma tabela padrão para entrada. O embasamento permite que
Gemini usa informações adicionais da Internet para
gerar respostas mais específicas e factuais. Os atributos de segurança permitem que
Gemini filtram as respostas que retorna com base
que você especificar.
Toda inferência ocorre na Vertex AI. Os resultados são armazenados no BigQuery.
Para saber mais, tente gerar texto com a função ML.GENERATE_TEXT
.
Incorporação
O embedding pode ser usado para identificar itens semanticamente semelhantes. Por exemplo, é possível usar o embedding de texto para identificar como dois textos são semelhantes. Se dois textos forem semanticamente parecidos, os respectivos embeddings serão localizados próximos um do outro no espaço vetorial de embedding.
É possível usar modelos do BigQuery ML para criar os seguintes tipos de embeddings:
- Para criar embeddings de texto, é possível criar uma referência a um dos
modelos de fundação
de embedding de texto
text-embedding
outext-multilingual-embedding
da Vertex AI criando um modelo remoto e especificando o nome do LLM para o valorENDPOINT
. - Para criar embeddings multimodais, que incorporam textos, imagens e vídeos no mesmo
espaço semântico, é possível criar uma referência ao LLM
multimodalembedding
da Vertex AI criando um modelo remoto e especificando o nome do LLM como o valorENDPOINT
. - Para criar embeddings para dados estruturados de variáveis aleatórias independentes e identicamente distribuídas (IID), use uma análise de componentes principais (PCA, na sigla em inglês) ou um modelo de codificador automático.
- Para criar embeddings para dados de usuários ou itens, use um modelo de fatoração de matriz.
Depois de criar o modelo, use a
função ML.GENERATE_EMBEDDING
para interagir com ele. Para todos os tipos de modelos com suporte, ML.GENERATE_EMBEDDING
trabalha com dados em
tabelas padrão. Para modelos
de incorporação multimodais, ML.GENERATE_EMBEDDING
também funciona com conteúdo
visual em tabelas de objetos. Para modelos remotos, toda a inferência ocorre na Vertex AI. Para outros tipos de modelo,
toda a inferência ocorre no BigQuery. Os resultados são armazenados no BigQuery.
Para saber mais, tente criar
embeddings de texto,
embeddings de imagens
e embeddings de vídeos
com a função ML.GENERATE_EMBEDDING
.
Para uma incorporação de texto menor e leve, tente usar um modelo do TensorFlow pré-treinado, como NNLM, SWIVEL ou BERT.
Para informações sobre como escolher o melhor modelo para seu caso de uso de embedding, consulte Como escolher um modelo de embedding de texto.
A seguir
- Gere texto usando um modelo
text-bison
e a funçãoML.GENERATE_TEXT
. - Gerar texto usando um modelo
Gemini
e a funçãoML.GENERATE_TEXT
. - Gerar texto usando a função
ML.GENERATE_TEXT
com seus dados. - Ajustar um modelo usando seus dados.
- Analisar imagens com um modelo de visão do Gemini.
- Para mais informações sobre como realizar inferência em modelos de machine learning, consulte Visão geral da inferência de modelos.