Invocar previsões com a gestão de pontos finais de modelos

Selecione uma versão da documentação:

Esta página descreve como invocar previsões através dos pontos finais de modelos registados na gestão de pontos finais de modelos.

Antes de começar

Certifique-se de que registou o ponto final do modelo na gestão de pontos finais do modelo. Para mais informações, consulte o artigo Registe e chame modelos de IA remotos no AlloyDB Omni.

Invocar previsões para modelos genéricos

Use a função SQL google_ml.predict_row() para chamar um ponto final de modelo genérico registado para invocar previsões.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Substitua o seguinte:

  • MODEL_ID: o ID do modelo que definiu quando registou o ponto final do modelo.
  • REQUEST_BODY: os parâmetros da função de previsão, no formato JSON.

Exemplos

Esta secção inclui alguns exemplos de invocação de previsões através de pontos finais de modelos registados.

Para gerar previsões para um ponto final do modelo gemini-1.5-pro:streamGenerateContent registado, execute a seguinte declaração:

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Para gerar previsões para um ponto final do modelo facebook/bart-large-mnli registado no Hugging Face, execute a seguinte declaração:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

Para gerar previsões para um ponto final do modelo claude-3-opus-20240229 da Anthropic registado, execute a seguinte declaração:

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');