Appeler des prédictions avec la gestion des points de terminaison de modèle

Cette page décrit la gestion des points de terminaison de modèle. La gestion des points de terminaison de modèle vous permet de tester l'enregistrement d'un point de terminaison de modèle d'IA et l'appel de prédictions. Pour utiliser des modèles d'IA dans des environnements de production, consultez Créer des applications d'IA générative à l'aide de Cloud SQL et Appeler des prédictions en ligne à partir d'instances Cloud SQL.

Une fois les points de terminaison de modèle ajoutés et enregistrés dans la gestion des points de terminaison de modèle, vous pouvez les référencer à l'aide de l'ID de modèle pour appeler des prédictions.

Avant de commencer

Assurez-vous d'effectuer les actions suivantes :

Appeler des prédictions pour des modèles génériques

Utilisez la fonction SQL google_ml.predict_row() pour appeler un point de terminaison de modèle générique enregistré afin d'appeler des prédictions. Vous pouvez utiliser la fonction google_ml.predict_row() avec n'importe quel type de modèle.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Remplacez les éléments suivants :

  • MODEL_ID : ID du modèle que vous avez défini lors de l'enregistrement du point de terminaison du modèle
  • REQUEST_BODY : paramètres de la fonction de prédiction, au format JSON.

Exemples

Pour générer des prédictions pour un point de terminaison de modèle gemini-pro enregistré, exécutez l'instruction suivante :

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';