Esegui le previsioni con la gestione degli endpoint del modello

Questa pagina descrive un'anteprima che ti consente di sperimentare la registrazione di un endpoint del modello AI e di richiamare le previsioni con la gestione degli endpoint del modello. Per l'utilizzo dei modelli di IA negli ambienti di produzione, consulta Creare applicazioni di IA generativa utilizzando AlloyDB AI.

Dopo aver aggiunto e registrato gli endpoint del modello nella gestione degli endpoint del modello, puoi farvi riferimento utilizzando l'ID modello per richiamare le previsioni.

Prima di iniziare

Assicurati di aver registrato l'endpoint del modello con la gestione degli endpoint del modello. Per ulteriori informazioni, vedi Registrare un endpoint del modello con la gestione degli endpoint del modello

Richiamare le previsioni per i modelli generici

Utilizza la funzione SQL google_ml.predict_row() per chiamare un endpoint del modello generico registrato per invocare le predizioni. Puoi utilizzare la funzione google_ml.predict_row() con qualsiasi tipo di modello.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Sostituisci quanto segue:

  • MODEL_ID: l'ID modello definito durante la registrazione dell'endpoint del modello.
  • REQUEST_BODY: i parametri della funzione di previsione, in formato JSON.

Esempi

In questa sezione sono elencati alcuni esempi di chiamata delle previsioni utilizzando gli endpoint del modello registrati.

Per generare previsioni per un endpoint del modello gemini-pro registrato, esegui la seguente istruzione:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Per generare previsioni per un endpoint del modello facebook/bart-large-mnli registrato su Hugging Face, esegui la seguente istruzione:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );