Esegui le previsioni con la gestione degli endpoint del modello

Anteprima

Questo prodotto è soggetto ai "Termini delle offerte pre-GA" nella sezione Termini di servizio generali dei Termini specifici dei servizi. I prodotti pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

MySQL   |  PostgreSQL   |  SQL Server

Questa pagina descrive la gestione degli endpoint dei modelli. La gestione degli endpoint dei modelli ti consente di sperimentare la registrazione di un endpoint del modello di AI'invocazione delle previsioni. Per utilizzare i modelli di AI negli ambienti di produzione, consulta Creare applicazioni di AI generativa utilizzando Cloud SQL e Eseguire chiamate alle previsioni online dalle istanze Cloud SQL.

Dopo aver aggiunto e registrato gli endpoint del modello nella gestione degli endpoint del modello, puoi farvi riferimento utilizzando l'ID modello per richiamare le previsioni.

Prima di iniziare

Assicurati di completare le seguenti azioni:

• Registra l'endpoint del modello con la gestione degli endpoint del modello. Per maggiori informazioni, vedi Registrare e chiamare modelli di AI remoti utilizzando la gestione degli endpoint dei modelli.
• Crea o aggiorna l'istanza Cloud SQL in modo che possa essere integrata con Vertex AI. Per ulteriori informazioni, consulta Attivare l'integrazione del database con Vertex AI.

Richiamare le previsioni per i modelli generici

Utilizza la funzione SQL google_ml.predict_row() per chiamare un endpoint del modello generico registrato per invocare le predizioni. Puoi utilizzare la funzione google_ml.predict_row() con qualsiasi tipo di modello.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Sostituisci quanto segue:

• MODEL_ID: l'ID modello definito durante la registrazione dell'endpoint del modello
• REQUEST_BODY: i parametri della funzione di previsione, in formato JSON

Esempi

Per generare previsioni per un endpoint del modello gemini-pro registrato, esegui la seguente istruzione:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';