モデル エンドポイント管理で予測を呼び出す

このページでは、モデル エンドポイント管理に登録されているモデル エンドポイントを使用して予測を呼び出す方法について説明します。

始める前に

モデル エンドポイント管理でモデル エンドポイントが登録されていることを確認します。詳細については、モデル エンドポイント管理でモデル エンドポイントを登録するをご覧ください。

汎用モデルの予測を呼び出す

google_ml.predict_row() SQL 関数を使用して、登録済みの汎用モデル エンドポイントを呼び出し、予測を呼び出します。

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

次のように置き換えます。

• MODEL_ID: モデル エンドポイントの登録時に定義したモデル ID。
• REQUEST_BODY: 予測関数へのパラメータ（JSON 形式）。

例

このセクションでは、登録済みのモデル エンドポイントを使用して予測を呼び出す例をいくつか示します。

登録済みの gemini-1.5-pro:streamGenerateContent モデル エンドポイントの予測を生成するには、次のステートメントを実行します。

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Hugging Face に登録されている facebook/bart-large-mnli モデル エンドポイントの予測を生成するには、次のステートメントを実行します。

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

登録済みの Anthropic claude-3-opus-20240229 モデル エンドポイントの予測を生成するには、次のステートメントを実行します。

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');