• 非同期処理: 予測は、新しいデータが入力されるたびにリアルタイムで生成されるのではなく、事前に定義されたスケジュール（1 時間ごと、1 日ごとなど）またはオンデマンドで生成されます。
• 高スループット: システムは、1 回の実行で大量のデータポイントを処理できるように最適化されており、非常に効率的です。
• 費用対効果: スケジュールに沿って実行することで、コンピューティング リソースを最も利用できる時間帯や最も安価な時間帯に使用できるため、運用コストを大幅に削減できます。
• レイテンシの許容度: 前提として、予測を利用するアプリケーションが即時回答を必要としておらず、データ収集から予測生成までの遅延が数分または数時間であれば許容されます。

バッチ推論とオンライン推論のどちらを選ぶかは、ML システムを設計する上でアーキテクチャの根幹をなす決定です。それぞれのアプローチは異なる目的に対応しており、異なるパフォーマンス特性に合わせて最適化されています。

バッチ推論パイプラインは、構造化された自動ワークフローであり、データを元の状態から実用的な予測に変換します。このプロセスは、通常はワークフロー マネージャーまたはスケジュール システムによってオーケストレートされる、次の主要なステップに分けることができます。

このプロセスは、まず、時間をかけてデータを蓄積することから始まります。ユーザー アクティビティ ログ、トランザクション レコード、センサー測定値など、さまざまなソースから収集された入力データは、一元化されたストレージに保存されます。多くの場合、このストレージは、Google Cloud Storage などのサービス上に構築されたデータレイクや、BigQuery などのデータ ウェアハウスです。

推論パイプラインはトリガーによって開始されます。このトリガーは、次のいずれかです。

• 時間ベース: スケジューラ（cron ジョブなど）が、毎晩午前 1 時など、定期的な間隔でジョブを開始します。
• イベントベース: Cloud Storage バケットへの新しいデータファイルの到着など、特定のイベントに応答してジョブが開始されます。

トリガーされると、ジョブは元の入力データのバッチ全体を読み込みます。次に、必要な前処理と特徴量エンジニアリングのステップを実行して、データを ML モデルが想定する正確な形式に変換します。これには、欠損値のクリーニング、数値特徴量のスケーリング、カテゴリ変数のエンコードなどのタスクが含まれます。

システムは、Vertex AI Model Registry などの中央リポジトリからトレーニング済みの ML モデルを取得します。その後、前処理されたデータバッチがモデルに供給され、モデルはセット内のすべての観測値について推論を実行し、対応する予測を生成します。

モデルの出力（一連の予測）は、次にストレージ システムに書き込まれます。この出力先は、予測の用途に基づいて選択されます。一般的な出力先には、分析のために結果を BigQuery テーブルに読み込む、アプリケーションで迅速に検索するために Cloud SQL データベースに保存する、Cloud Storage にファイルとして保存する、などがあります。

予測データが保存され、準備が整ったので、ダウンストリーム システムで使用できます。ビジネス インテリジェンス ツールは、結果に対してクエリを実行して、予測された顧客行動のダッシュボードを作成する場合があります。ウェブ アプリケーションのバックエンドで、事前に算出されたおすすめ商品を読み込んでユーザーに表示したり、マーケティング自動化プラットフォームで、離脱が予測される顧客のリストを取得して新しいキャンペーンのターゲットにしたりできます。

バッチ推論は、リアルタイムで生成する必要はないものの、予測によって製品やサービスを強化する多くのコア ビジネス プロセスで推奨される方法です。このアプローチは、さまざまな業界で大規模なデータ問題を解決するのに非常に効果的です。

Vertex AI は Google Cloud のマネージド ML プラットフォームであり、バッチ推論のための合理化されたサーバーレス アプローチを提供します。このプロセスでは、ジョブの構成に重点を置き、基盤となるインフラストラクチャはプラットフォームで処理します。

開始するにあたって、次の 3 つが必要です。

• トレーニング済みモデル。Vertex AI Model Registry にアップロードする必要があります。
• モデルで必要な形式でフォーマットされた入力データ。このデータは、Google Cloud Storage（JSON ファイルや CSV ファイルなど）または BigQuery テーブルに保存しておく必要があります。
• 出力の宛先。Cloud Storage バケットまたは BigQuery テーブル。

ジョブは、Google Cloud コンソール、gcloud コマンドライン ツール、Vertex AI SDK のいずれかを使用してプログラムで開始できます。ジョブを作成する際に、次の構成を指定します。

• 使用する Model Registry の特定のモデル
• 入力データのパスと結果を出力する場所
• ジョブに使用するマシンタイプとアクセラレータ（GPU など）。これにより、費用とパフォーマンスのバランスを取ることができます。

ジョブを送信すると、Vertex AI が処理を引き継ぎます。指定したコンピューティング リソースを自動的にプロビジョニングし、入力データをモデルで処理して予測を生成し、指定した出力場所に保存します。ジョブが完了すると、Vertex AI はすべてのリソースを自動的にゼロにスケールダウンするため、使用したコンピューティング時間に対してのみ料金が発生します。ジョブの進行状況をモニタリングでき、Google Cloud コンソールでログを直接確認できます。

ジョブのステータスが「Succeeded」になったら、予測の準備は完了です。Cloud Storage の出力ファイルや BigQuery の新しいテーブルに、ダウンストリーム アプリケーション、分析ツール、BI ダッシュボードからアクセスできるようになります。