Invocar previsões com o gerenciamento de endpoints de modelo

Esta página descreve como invocar previsões usando os endpoints de modelo registrados no gerenciamento de endpoint de modelo.

Antes de começar

Verifique se você registrou o endpoint do modelo com o gerenciamento de endpoints do modelo. Para mais informações, consulte Registrar um endpoint de modelo com o gerenciamento de endpoints de modelo.

Invocar previsões para modelos genéricos

Use a função SQL google_ml.predict_row() para chamar um endpoint de modelo genérico registrado para invocar previsões.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Substitua:

  • MODEL_ID: o ID do modelo que você definiu ao registrar o endpoint do modelo.
  • REQUEST_BODY: os parâmetros da função de previsão no formato JSON.

Examples

Esta seção inclui alguns exemplos de invocação de previsões usando endpoints de modelo registrados.

Para gerar previsões para um endpoint de modelo gemini-1.5-pro:streamGenerateContent registrado, execute a seguinte instrução:

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Para gerar previsões para um endpoint de modelo facebook/bart-large-mnli registrado no Hugging Face, execute a seguinte instrução:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

Para gerar previsões para um endpoint de modelo claude-3-opus-20240229 registrado do Anthropic, execute a seguinte instrução:

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');

A seguir