Nesta página, descrevemos o gerenciamento de endpoints de modelo. O gerenciamento de endpoints de modelo permite testar o registro de um endpoint de modelo de IA e invocar previsões. Para usar modelos de IA em ambientes de produção, consulte Criar aplicativos de IA generativa usando o Cloud SQL e Invocar previsões on-line de instâncias do Cloud SQL.
Depois que os endpoints de modelo são adicionados e registrados no gerenciamento de endpoints de modelo, é possível referenciá-los usando o ID do modelo para invocar previsões.
Antes de começar
Faça o seguinte:
- Registre o endpoint do modelo com o gerenciamento de endpoints de modelo. Para mais informações, consulte Registrar e chamar modelos de IA remotos usando o gerenciamento de endpoints de modelo.
- Crie ou atualize sua instância do Cloud SQL para que ela possa se integrar à Vertex AI. Para mais informações, consulte Ativar a integração de bancos de dados com a Vertex AI.
Invocar previsões para modelos genéricos
Use a função SQL google_ml.predict_row()
para chamar um endpoint de modelo genérico registrado e invocar
previsões. É possível usar a função google_ml.predict_row()
com qualquer tipo de modelo.
SELECT
google_ml.predict_row(
model_id => 'MODEL_ID',
request_body => 'REQUEST_BODY');
Substitua:
MODEL_ID
: o ID do modelo definido ao registrar o endpoint do modeloREQUEST_BODY
: os parâmetros para a função de previsão, no formato JSON
Exemplos
Para gerar previsões para um endpoint de modelo gemini-pro
registrado, execute a seguinte instrução:
SELECT
json_array_elements(
google_ml.predict_row(
model_id => 'gemini-pro',
request_body => '{
"contents": [
{
"role": "user",
"parts": [
{
"text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
}
]
}
]
}'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';