Invocar previsões com o gerenciamento de endpoints de modelo

Esta página descreve uma prévia que permite experimentar o registro de um endpoint de modelo de IA e invocar previsões com o gerenciamento de endpoint do modelo. Para usar modelos de IA em ambientes de produção, consulte Criar aplicativos de IA generativa usando a IA do AlloyDB.

Depois que os endpoints do modelo forem adicionados e registrados no gerenciamento de endpoints do modelo, será possível fazê-los referência usando o ID do modelo para invocar previsões.

Antes de começar

Verifique se você registrou o endpoint do modelo com o gerenciamento de endpoints do modelo. Para mais informações, consulte Registrar um endpoint de modelo com o gerenciamento de endpoints de modelo.

Invocar previsões para modelos genéricos

Use a função SQL google_ml.predict_row() para chamar um endpoint de modelo genérico registrado para invocar previsões. É possível usar a função google_ml.predict_row() com qualquer tipo de modelo.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Substitua:

  • MODEL_ID: o ID do modelo que você definiu ao registrar o endpoint do modelo.
  • REQUEST_BODY: os parâmetros da função de previsão no formato JSON.

Examples

Confira alguns exemplos de invocação de previsões usando endpoints de modelo registrados nesta seção.

Para gerar previsões para um endpoint de modelo gemini-pro registrado, execute a seguinte instrução:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Para gerar previsões para um endpoint de modelo facebook/bart-large-mnli registrado no Hugging Face, execute a seguinte instrução:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );