Esegui le previsioni con la gestione degli endpoint del modello

Preview

This product is subject to the "Pre-GA Offerings Terms" in the General Service Terms section of the Service Specific Terms. Pre-GA products are available "as is" and might have limited support. For more information, see the launch stage descriptions.

MySQL   |  PostgreSQL   |  SQL Server

Questa pagina descrive la gestione degli endpoint dei modelli. La gestione degli endpoint dei modelli ti consente di sperimentare la registrazione di un endpoint del modello di IA e l'invocazione delle previsioni. Per utilizzare i modelli di IA negli ambienti di produzione, consulta Creare applicazioni di IA generativa utilizzando Cloud SQL e Eseguire chiamate alle previsioni online dalle istanze Cloud SQL.

Dopo aver aggiunto e registrato gli endpoint del modello nella gestione degli endpoint del modello, puoi farvi riferimento utilizzando l'ID modello per richiamare le previsioni.

Prima di iniziare

Assicurati di completare le seguenti azioni:

• Registra l'endpoint del modello con la gestione degli endpoint del modello. Per maggiori informazioni, consulta Registrare e chiamare modelli di IA remoti utilizzando la gestione degli endpoint dei modelli.
• Crea o aggiorna l'istanza Cloud SQL in modo che possa essere integrata con Vertex AI. Per ulteriori informazioni, consulta Abilitare l'integrazione del database con Vertex AI.

Richiamare le previsioni per i modelli generici

Utilizza la funzione SQL google_ml.predict_row() per chiamare un endpoint del modello generico registrato per invocare le predizioni. Puoi utilizzare la funzione google_ml.predict_row() con qualsiasi tipo di modello.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Sostituisci quanto segue:

• MODEL_ID: l'ID modello definito durante la registrazione dell'endpoint del modello
• REQUEST_BODY: i parametri della funzione di previsione, in formato JSON

Esempi

Per generare previsioni per un endpoint del modello gemini-pro registrato, esegui la seguente istruzione:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';