オンライン サービスとパイプライン サービス

評価は、ブロック呼び出しと非ブロック呼び出しの両方に対応しています。本番環境のニーズに基づいてコールバック タイプを選択します。

コールバック タイプ 選択したサービス
Synchronous API(ブロック) オンライン評価サービス 起動のオーバーヘッドはありません。SDK を使用して呼び出すことができます。呼び出し元プロセスでブロッキング呼び出しを行います。
Asynchronous API(非ブロッキング) パイプライン評価サービス 起動のオーバーヘッドは約 5 分です。SDK または UI を使用して呼び出すことができます。プロジェクトで Vertex AI マネージド パイプラインが開始されます。

Rapid Eval SDK

Rapid Eval SDK の詳細については、Vertex AI SDK の評価の概要をご覧ください。

Rapid Eval API

Rapid Eval API の詳細については、Rapid Eval API をご覧ください。

サービス アカウント

サービス アカウントは、モデルベースの評価指標のオンライン予測サービスから予測を取得するためにオンライン評価サービスによって使用されます。このサービス アカウントは、オンライン評価サービスへの最初のリクエストでプロビジョニングされます。

名前 説明 メールアドレス ロール
Vertex AI Rapid Eval サービス エージェント モデルベースの評価で予測を行うために使用されるサービス アカウント。 service-PROJECT_NUMBER@gcp-sa-ENV-vertex-eval.iam.gserviceaccount.com roles/aiplatform.rapidevalServiceAgent

Rapid Eval のサービス エージェントに関連付けられている権限は次のとおりです。

ロール 権限
Vertex AI Rapid Eval サービス エージェント(roles/aiplatform.rapidevalServiceAgent) aiplatform.endpoints.predict

次のステップ