カスタム トレーニング済みモデルから予測を取得する

予測とは、トレーニング済み ML モデルの出力です。このページでは、Vertex AI のモデルから予測を取得するワークフローの概要について説明します。

Vertex AI では、次の 2 つの方法で予測を取得できます。

  • オンライン予測は、モデル endpoint に対して行われる同期リクエストです。リクエストを送信する前に、まず model リソースを endpoint にデプロイする必要があります。これにより、コンピューティング リソースがモデルに関連付けられ、低レイテンシでオンライン予測を行えるようになります。アプリケーションの入力に応じてリクエストを行う場合や、タイムリーな推論が必要な場合は、オンライン予測を使用します。

  • バッチ予測は非同期リクエストです。モデルをエンドポイントにデプロイすることなく、直接 model リソースから batchPredictionsJob をリクエストします。即時のレスポンスが必要なく、累積されたデータを 1 回のリクエストで処理する場合は、バッチ予測を使用します。

ローカルでモデルをテストする

予測を取得する前に、開発フェーズとテストフェーズでモデルをローカル エンドポイントにデプロイすると効果的です。これにより、オンライン エンドポイントにデプロイすることや予測費用を発生させることなく、モデルを短時間で反復してテストできます。ローカルへのデプロイは、ローカルでの開発とテストを目的としており、本番環境へのデプロイを目的とするものではありません。

モデルをローカルにデプロイするには、Vertex AI SDK for Python を使用して、LocalModel を LocalEndpoint にデプロイします。デモについては、こちらのノートブックをご覧ください。

クライアントが Python で作成されていない場合でも、Vertex AI SDK for Python を使用してコンテナとサーバーを起動し、クライアントからのリクエストをテストできます。

カスタム トレーニング済みモデルからの予測を取得する

予測を取得するには、まずモデルをインポートする必要があります。インポートすると、モデルは model リソースとなって、Vertex AI Model Registry に表示されます。

その後、予測を取得する方法については、次のドキュメントをご覧ください。

次のステップ