Vorhersagen mit der Modellendpunktverwaltung aufrufen

Auf dieser Seite wird beschrieben, wie Sie Vorhersagen mithilfe der Modellendpunkte aufrufen, die in der Modellendpunktverwaltung registriert sind.

Hinweise

Sie müssen Ihren Modellendpunkt in der Modellendpunktverwaltung registriert haben. Weitere Informationen finden Sie unter Modellendpunkt bei der Modellendpunktverwaltung registrieren.

Vorhersagen für generische Modelle aufrufen

Verwenden Sie die SQL-Funktion google_ml.predict_row(), um einen registrierten generischen Modellendpunkt aufzurufen und Vorhersagen zu erhalten.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Ersetzen Sie Folgendes:

• MODEL_ID: die Modell-ID, die Sie beim Registrieren des Modellendpunkts festgelegt haben.
• REQUEST_BODY: die Parameter für die Vorhersagefunktion im JSON-Format.

Beispiele

Dieser Abschnitt enthält einige Beispiele für das Aufrufen von Vorhersagen mit registrierten Modellendpunkten.

Um Vorhersagen für einen registrierten gemini-1.5-pro:streamGenerateContent-Modellendpunkt zu generieren, führen Sie die folgende Anweisung aus:

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Wenn Sie Vorhersagen für einen registrierten facebook/bart-large-mnli-Modellendpunkt auf Hugging Face generieren möchten, führen Sie den folgenden Befehl aus:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

Um Vorhersagen für einen registrierten Endpunkt eines Anthropic-claude-3-opus-20240229-Modells zu generieren, führen Sie den folgenden Befehl aus:

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');