モデル エンドポイント管理で予測を呼び出す

プレビュー

このプロダクトには、サービス固有の利用規約の「一般的なサービス規約」の「pre-GA サービス規約」が適用されます。 一般提供前のプロダクトは「現状のまま」ご利用いただけますが、サポートが制限される場合があります。 詳しくは、リリース ステージの説明をご覧ください。

MySQL   |  PostgreSQL   |  SQL Server

このページでは、モデル エンドポイントの管理について説明します。モデル エンドポイント管理を使用すると、AI モデル エンドポイントの登録と予測の呼び出しをテストできます。本番環境で AI モデルを使用するには、Cloud SQL を使用して生成 AI アプリケーションを作成すると Cloud SQL インスタンスからオンライン予測を呼び出すをご覧ください。

モデル エンドポイントをモデル エンドポイント管理に追加して登録すると、モデル ID を使用してモデル エンドポイントを参照し、予測を呼び出すことができます。

始める前に

次の操作を完了してください。

• モデル エンドポイント管理を使用してモデル エンドポイントを登録します。詳細については、モデル エンドポイント管理を使用してリモート AI モデルを登録して呼び出すをご覧ください。
• インスタンスが Vertex AI と統合されるように Cloud SQL インスタンスを作成または更新します。詳細については、Vertex AI とデータベースのインテグレーションを有効にするをご覧ください。

汎用モデルの予測を呼び出す

google_ml.predict_row() SQL 関数を使用して、登録済みの汎用モデル エンドポイントを呼び出し、予測を呼び出します。google_ml.predict_row() 関数は、任意のモデルタイプで使用できます。

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

次のように置き換えます。

• MODEL_ID: モデル エンドポイントの登録時に定義したモデル ID
• REQUEST_BODY: JSON 形式の予測関数のパラメータ

例

登録済みの gemini-pro モデル エンドポイントの予測を生成するには、次のステートメントを実行します。

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';