Registre e chame modelos de IA remotos na visão geral do AlloyDB Omni

Esta página descreve uma prévia que permite experimentar o registro de um endpoint de modelo de IA e invocar previsões com o gerenciamento de endpoint de modelo no AlloyDB Omni. Para usar modelos de IA em ambientes de produção, consulte Criar aplicativos de IA generativa usando o AlloyDB AI e Trabalhar com embeddings de vetor.

Para registrar endpoints de modelos remotos com o AlloyDB, consulte Registrar e chamar modelos de IA remotos no AlloyDB.

Visão geral

A visualização Gerenciamento de endpoint de modelo permite registrar um endpoint de modelo, gerenciar metadados de endpoint de modelo no cluster de banco de dados e interagir com os modelos usando consultas SQL. Ele fornece a extensão google_ml_integration, que inclui funções para adicionar e registrar os metadados de endpoint do modelo relacionados aos modelos e, em seguida, usar os modelos para gerar embeddings de vetor ou invocar previsões.

Confira alguns exemplos de tipos de modelos que podem ser registrados usando o gerenciamento de endpoint de modelo:

  • Modelos de embedding de texto da Vertex AI
  • Incorporação de modelos fornecidos por provedores externos, como Anthropic, Hugging Face ou OpenAI.
  • Modelos de embedding de texto hospedados de forma personalizada
  • Modelos genéricos com uma API baseada em JSON, por exemplo, o modelo facebook/bart-large-mnli hospedado no Hugging Face ou o modelo gemini-pro do Model Garden da Vertex AI

Como funciona

É possível usar o gerenciamento de endpoint de modelo para registrar um endpoint de modelo que obedece aos seguintes requisitos:

  • A entrada e a saída do modelo são compatíveis com o formato JSON.
  • O modelo pode ser chamado usando o protocolo REST.

Quando você registra um endpoint de modelo com o gerenciamento de endpoint de modelo, cada endpoint é registrado com um ID de modelo exclusivo que você forneceu como referência. Você pode usar esse ID para consultar modelos:

  • Gerar embeddings para traduzir comandos de texto em vetores numéricos. É possível armazenar embeddings gerados como dados vetoriais quando a extensão pgvector estiver ativada no banco de dados. Para mais informações, consulte Consultar e indexar embeddings com pgvector.

  • Invoque previsões para chamar um modelo usando SQL em uma transação.

Seus aplicativos podem acessar o gerenciamento de endpoints de modelo usando a extensão google_ml_integration. Essa extensão oferece as seguintes funções:

  • A função SQL google_ml.create_model(), que é usada para registrar o endpoint do modelo usado na função de previsão ou embedding.
  • A função SQL google_ml.create_sm_secret(), que usa segredos no Google Cloud Secret Manager, em que as chaves da API são armazenadas.
  • A função SQL google_ml.embedding(), que é uma função de previsão que gera embeddings de texto.
  • A função SQL google_ml.predict_row() gera previsões quando você chama modelos genéricos que oferecem suporte ao formato de entrada e saída JSON.
  • Outras funções auxiliares que processam a geração de URL personalizado, geram cabeçalhos HTTP ou transmitem funções de transformação para seus modelos genéricos.
  • Funções para gerenciar os endpoints e secrets registrados do modelo.

Principais conceitos

Antes de começar a usar o gerenciamento de endpoint de modelo, entenda os conceitos necessários para se conectar e usar os modelos.

Provedor de modelo

Provedor de modelo indica os provedores de hospedagem de modelos compatíveis. A tabela a seguir mostra o valor do provedor de modelo que você precisa definir com base no provedor de modelo que usa:

Provedor de modelo Definir na função como…
Vertex AI google
Modelos do Hugging Face custom
Modelos Anthropic custom
Outros modelos custom
OpenAI open_ai

O provedor de modelo padrão é custom.

O método de autenticação varia de acordo com o tipo de provedor. Os modelos da Vertex AI usam a conta de serviço do AlloyDB para fazer a autenticação, enquanto outros provedores podem usar o Secret Manager. Para mais informações, consulte Configurar a autenticação.

Tipo de modelo

Tipo de modelo indica o tipo do modelo de IA. A extensão oferece suporte a embedding de texto, bem como a qualquer tipo de modelo genérico. O tipo de modelo compatível que você pode definir ao registrar um endpoint de modelo é text-embedding e generic. A definição do tipo de modelo é opcional ao registrar endpoints de modelo genéricos, porque generic é o tipo de modelo padrão.

Modelos de embedding de texto com suporte integrado
O gerenciamento de endpoint de modelo oferece suporte integrado a todas as versões do modelo textembedding-gecko da Vertex AI e do modelo text-embedding-ada-002 da OpenAI. Para registrar esses endpoints de modelo, use a função google_ml.create_model(). O AlloyDB configura automaticamente as funções de transformação padrão para esses modelos.
O tipo de modelo desses modelos é text-embedding.
Outros modelos de embedding de texto
Para outros modelos de embedding de texto, você precisa criar funções de transformação para processar os formatos de entrada e saída compatíveis com o modelo. Se preferir, use a função de geração de cabeçalho HTTP, que gera cabeçalhos personalizados exigidos pelo modelo.
O tipo de modelo desses modelos é text-embedding.
Modelos genéricos
O gerenciamento de endpoint de modelo também oferece suporte ao registro de todos os outros tipos de modelos, exceto modelos de embeddings de texto. Para invocar previsões para modelos genéricos, use a função google_ml.predict_row(). É possível definir metadados de endpoint do modelo, como um endpoint de solicitação e cabeçalhos HTTP específicos do modelo.
Não é possível transmitir funções de transformação ao registrar um endpoint de modelo genérico. Confira se, ao invocar previsões, a entrada para a função está no formato JSON e se você analisa a saída JSON para derivar a saída final.
O tipo de modelo desses modelos é generic.

Autenticação

Tipos de autenticação indicam o tipo de autenticação que pode ser usado para se conectar ao gerenciamento de endpoint do modelo usando a extensão google_ml_integration. A configuração de autenticação é opcional e só é necessária se você precisar se autenticar para acessar o modelo.

Para modelos da Vertex AI, a conta de serviço do AlloyDB é usada para autenticação. Para outros modelos, a chave de API ou o token de portador armazenado como um segredo no Secret Manager pode ser usado com a função SQL google_ml.create_sm_secret().

A tabela a seguir mostra os tipos de autenticação que podem ser definidos:

Método de autenticação Definir na função como… Provedor de modelo
Agente de serviço do AlloyDB alloydb_service_agent_iam Provedor da Vertex AI
Secret Manager secret_manager provedores terceirizados, como Anthropic, Hugging Face ou OpenAI;

Funções de previsão

A extensão google_ml_integration inclui as seguintes funções de previsão:

google_ml.embedding()
É usado para chamar um endpoint de modelo de embedding de texto registrado para gerar embeddings. Ele inclui suporte integrado para o modelo textembedding-gecko da Vertex AI e o modelo text-embedding-ada-002 da OpenAI.
Para modelos de embedding de texto sem suporte integrado, os parâmetros de entrada e saída são exclusivos de um modelo e precisam ser transformados para que a função chame o modelo. Crie uma função de transformação de entrada para transformar a entrada da função de previsão na entrada específica do modelo e uma função de transformação de saída para transformar a saída específica do modelo na saída da função de previsão.
google_ml.predict_row()
É usado para chamar um endpoint de modelo genérico registrado, desde que ele ofereça suporte a APIs baseadas em JSON, para invocar previsões.

Funções de transformação

As funções de transformação modificam a entrada para um formato que o modelo entende e convertem a resposta do modelo para o formato esperado pela função de previsão. As funções de transformação são usadas ao registrar o endpoint do modelo text-embedding sem suporte integrado. A assinatura das funções de transformação depende da função de previsão do tipo de modelo.

Não é possível usar funções de transformação ao registrar um endpoint de modelo generic.

Confira a seguir as assinaturas da função de previsão para modelos de incorporação de texto:

// define custom model specific input/output transform functions.
CREATE OR REPLACE FUNCTION input_transform_function(model_id VARCHAR(100), input_text TEXT) RETURNS JSON;

CREATE OR REPLACE FUNCTION output_transform_function(model_id VARCHAR(100), response_json JSON) RETURNS real[];

Para mais informações sobre como criar funções de transformação, consulte Exemplo de funções de transformação.

Função de geração de cabeçalho HTTP

A função de geração de cabeçalho HTTP gera a saída em pares de chave-valor JSON que são usados como cabeçalhos HTTP. A assinatura da função de previsão define as assinaturas da função de geração de cabeçalho.

O exemplo a seguir mostra a assinatura da função de previsão google_ml.embedding().

CREATE OR REPLACE FUNCTION generate_headers(model_id VARCHAR(100), input TEXT) RETURNS JSON;

Para a função de previsão google_ml.predict_row(), a assinatura é a seguinte:

CREATE OR REPLACE FUNCTION generate_headers(model_id VARCHAR(100), input JSON) RETURNS JSON;

Para mais informações sobre como criar uma função de geração de cabeçalhos, consulte Exemplo de função de geração de cabeçalhos.

A seguir