Hinweise
Sie müssen Ihren Modellendpunkt in der Modellendpunktverwaltung registriert haben. Weitere Informationen finden Sie unter Modellendpunkt bei der Modellendpunktverwaltung registrieren.
Vorhersagen für generische Modelle aufrufen
Verwenden Sie die SQL-Funktion google_ml.predict_row(), um einen registrierten generischen Modellendpunkt aufzurufen und Vorhersagen zu erhalten.
SELECT
google_ml.predict_row(
model_id => 'MODEL_ID',
request_body => 'REQUEST_BODY');
Ersetzen Sie Folgendes:
MODEL_ID: die Modell-ID, die Sie beim Registrieren des Modellendpunkts festgelegt haben.REQUEST_BODY: die Parameter für die Vorhersagefunktion im JSON-Format.
Beispiele
Dieser Abschnitt enthält einige Beispiele für das Aufrufen von Vorhersagen mit registrierten Modellendpunkten.
Um Vorhersagen für einen registrierten gemini-1.5-pro:streamGenerateContent-Modellendpunkt zu generieren, führen Sie die folgende Anweisung aus:
SELECT
json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';
Wenn Sie Vorhersagen für einen registrierten facebook/bart-large-mnli-Modellendpunkt auf Hugging Face generieren möchten, führen Sie den folgenden Befehl aus:
SELECT
google_ml.predict_row(
model_id => 'facebook/bart-large-mnli',
request_body =>
'{
"inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
"parameters": {"candidate_labels": ["refund", "legal", "faq"]}
}'
);
Um Vorhersagen für einen registrierten Endpunkt eines Anthropic-claude-3-opus-20240229-Modells zu generieren, führen Sie den folgenden Befehl aus:
SELECT
google_ml.predict_row('anthropic-opus', '{
"model": "claude-3-opus-20240229",
"max_tokens": 1024,
"messages": [
{"role": "user", "content": "Hello, world"}
]
}');