Esegui le previsioni con la gestione degli endpoint del modello

Questa pagina descrive come richiamare le previsioni utilizzando gli endpoint del modello registrati nella gestione degli endpoint del modello.

Prima di iniziare

Assicurati di aver registrato l'endpoint del modello con la gestione degli endpoint del modello. Per ulteriori informazioni, vedi Registrare un endpoint del modello con la gestione degli endpoint del modello

Richiamare le previsioni per i modelli generici

Utilizza la funzione SQL google_ml.predict_row() per chiamare un endpoint del modello generico registrato per invocare le predizioni.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Sostituisci quanto segue:

• MODEL_ID: l'ID modello definito durante la registrazione dell'endpoint del modello.
• REQUEST_BODY: i parametri della funzione di previsione, in formato JSON.

Esempi

Questa sezione include alcuni esempi per l'invocazione delle previsioni utilizzando gli endpoint dei modelli registrati.

Per generare previsioni per un endpoint del modello gemini-1.5-pro:streamGenerateContent registrato, esegui la seguente istruzione:

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Per generare previsioni per un endpoint del modello facebook/bart-large-mnli registrato su Hugging Face, esegui la seguente istruzione:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

Per generare previsioni per un endpoint del modello Anthropic claude-3-opus-20240229 registrato, esegui la seguente istruzione:

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');