Vorhersagen mit der Modellendpunktverwaltung aufrufen

Auf dieser Seite wird eine Vorabversion beschrieben, mit der Sie einen Endpunkt für ein KI-Modell registrieren und Vorhersagen mit der Modellendpunktverwaltung aufrufen können. Informationen zur Verwendung von KI-Modellen in Produktionsumgebungen finden Sie unter Generative KI-Anwendungen mit AlloyDB AI erstellen.

Nachdem die Modellendpunkte hinzugefügt und in der Modellendpunktverwaltung registriert wurden, können Sie sie mithilfe der Modell-ID referenzieren, um Vorhersagen aufzurufen.

Hinweise

Sie müssen Ihren Modellendpunkt in der Modellendpunktverwaltung registriert haben. Weitere Informationen finden Sie unter Modellendpunkt bei der Modellendpunktverwaltung registrieren.

Vorhersagen für generische Modelle aufrufen

Verwenden Sie die SQL-Funktion google_ml.predict_row(), um einen registrierten generischen Modellendpunkt aufzurufen und Vorhersagen zu erhalten. Sie können die Funktion google_ml.predict_row() mit jedem Modelltyp verwenden.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Ersetzen Sie Folgendes:

  • MODEL_ID: die Modell-ID, die Sie beim Registrieren des Modellendpunkts festgelegt haben.
  • REQUEST_BODY: die Parameter für die Vorhersagefunktion im JSON-Format.

Beispiele

In diesem Abschnitt finden Sie einige Beispiele für das Aufrufen von Vorhersagen mit registrierten Modellendpunkten.

Um Vorhersagen für einen registrierten gemini-pro-Modellendpunkt zu generieren, führen Sie die folgende Anweisung aus:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Wenn Sie Vorhersagen für einen registrierten facebook/bart-large-mnli-Modellendpunkt auf Hugging Face generieren möchten, führen Sie den folgenden Befehl aus:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );