Appeler des prédictions avec la gestion des points de terminaison de modèle

Cette page explique comment appeler des prédictions à l'aide des points de terminaison du modèle enregistrés dans la gestion des points de terminaison du modèle.

Avant de commencer

Assurez-vous d'avoir enregistré votre point de terminaison de modèle dans la gestion des points de terminaison de modèle. Pour en savoir plus, consultez Enregistrer un point de terminaison de modèle avec la gestion des points de terminaison de modèle.

Appeler des prédictions pour des modèles génériques

Utilisez la fonction SQL google_ml.predict_row() pour appeler un point de terminaison de modèle générique enregistré afin d'appeler des prédictions.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Remplacez les éléments suivants :

  • MODEL_ID: ID du modèle que vous avez défini lors de l'enregistrement du point de terminaison du modèle.
  • REQUEST_BODY: paramètres de la fonction de prédiction, au format JSON.

Examples

Cette section inclut des exemples d'appel de prédictions à l'aide de points de terminaison de modèle enregistrés.

Pour générer des prédictions pour un point de terminaison de modèle gemini-1.5-pro:streamGenerateContent enregistré, exécutez l'instruction suivante:

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Pour générer des prédictions pour un point de terminaison de modèle facebook/bart-large-mnli enregistré sur Hugging Face, exécutez l'instruction suivante:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

Pour générer des prédictions pour un point de terminaison de modèle claude-3-opus-20240229 Anthropic enregistré, exécutez l'instruction suivante:

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');

Étape suivante