AI 推論とは

AI のライフサイクル全体には、データの収集から長期的なモニタリングまでが含まれますが、モデルの作成から実行までの中心的なプロセスは、3 つの主要なステージに分けられます。最初の 2 つは学習に関するもので、最後の 1 つは学習したことを実践するものです。

• AI トレーニングは、基盤となる学習フェーズです。モデルが膨大なデータセットを分析し、パターンや関係性を学習する、計算負荷の高いプロセスです。このフェーズの目的は、正確で知識豊富なモデルを構築することにあります。そのためには、GPU や TPU などの高性能なハードウェア アクセラレータが必要で、完了までに数時間から数週間かかることがあります。
• AI ファインチューニングは、トレーニングの近道です。強力な事前トレーニング済みモデルをベースに、より小規模で専門的なデータセットを使って、特定のタスクに適応させます。これにより、モデルをゼロからトレーニングする場合と比べて、時間とリソースを大幅に節約できます。
• AI 推論は実行フェーズです。トレーニングとファインチューニングが完了したモデルを使って、新しい「未知の」データに対して高速に予測を行います。個々の予測はトレーニングよりも計算負荷がはるかに低いですが、数百万件の予測をリアルタイムで提供するには、高度に最適化されたスケーラブルなインフラストラクチャが必要です。
• AI サービングは、推論のためにモデルをデプロイして管理するプロセスです。通常は、モデルのパッケージ化、API エンドポイントの設定、リクエスト処理のためのインフラストラクチャの管理などが含まれます。

次の表は、主な違いをまとめたものです。

基本的には、AI 推論は、新しいデータを有用な出力に変換する 3 つのステップで構成されています。

写真内のオブジェクトを識別するために構築された AI モデルという簡単な例を使用して、このプロセスを説明します。

1. 入力データの準備: まず、新しいデータが提供されます。たとえば、ユーザーが送信したばかりの写真などです。この写真は、モデル用に即座に準備されます。これは、モデルのトレーニングに使用された正確な寸法にサイズ変更するだけの場合もあります。
2. モデルの実行: 次に、準備された写真を AI モデルが分析します。トレーニング中に学習した内容と一致するパターン（色、形、質感など）を探します。この迅速な分析は「フォワード パス」と呼ばれ、モデルが新しいことを学習せずに知識を適用する読み取り専用のステップです。
3. 出力の生成: モデルが実用的な結果を生成します。写真分析の場合、これは確率スコア（画像に「犬」が含まれている可能性が 95% など）になります。この出力はアプリケーションに送信され、ユーザーに表示されます。

1 回の推論は高速ですが、数百万人のユーザーにリアルタイムでサービスを提供すると、レイテンシと費用が増加するため、最適化されたハードウェアが必要になります。AI 専用の画像処理装置（GPU）とGoogle の Tensor Processing Unit は、Google Kubernetes Engine によるオーケストレーションとともに、これらのタスクを効率的に処理するように設計されており、スループットの向上とレイテンシの短縮に役立ちます。

これは最も一般的なアプローチであり、データセンターの強力なリモートサーバーで推論を実行します。クラウドは、膨大なスケーラビリティとコンピューティング リソースを提供するため、大規模なデータセットや複雑なモデルの処理に最適です。クラウドでは、通常、主な推論のモードが 2 つあります。

• リアルタイム（オンライン）推論: 個々のリクエストが到着すると、多くの場合ミリ秒単位ですぐに処理します。これは、即時のフィードバックが求められるインタラクティブなアプリケーションにとって非常に重要です。
• バッチ（オフライン）推論: 大量のデータを一度に処理します。通常は、即時のレスポンスが不要な場合に使用します。定期的な分析やスケジュールされたタスクに非常に費用対効果の高い方法です。

このアプローチでは、データが生成されるデバイス（スマートフォンや業務用センサーなど）で推論を直接行います。エッジ推論は、クラウドへのラウンドトリップを回避することで、次のような独自の利点を提供します。

• レイテンシの短縮: 応答がほぼ瞬時に行われるため、自動運転車やリアルタイムの製造チェックなどのアプリケーションに不可欠です。
• プライバシーの強化: 機密データ（医療スキャン、個人の写真、動画フィードなど）をクラウドに送信することなく、デバイス上で処理できます。
• 帯域幅コストの削減: データをローカルで処理することで、アップロードとダウンロードが必要なデータ量が大幅に削減されます。
• オフライン機能: アプリケーションはインターネットに接続していなくても動作し続けるため、リモート環境や接続が切断された環境でも継続的に運用できます。

特定のニーズに最適なアプローチを選択できるように、各タイプの AI 推論の主な特徴とユースケースを簡単に比較してみましょう。

AI 推論には、レイテンシの管理、費用の管理、スケーラビリティの確保など、独自の技術的な課題が存在します。Google Cloud では推論のための柔軟なパスを提供しており、モデルの複雑さ、パフォーマンスのニーズ、運用能力に基づいて適切なツールを選択できます。フルマネージド ソリューションから始め、要件の変化に応じてカスタマイズしたインフラストラクチャを段階的に導入していくことが可能です。

このアプローチは、強力な AI 機能を迅速に統合することを検討している、AI 初心者を含むあらゆるスキルレベルのデベロッパーに最適です。モデルやインフラストラクチャを管理する必要はなく、簡単な API 呼び出しを行うだけで済みます。

このオプションは、すでにカスタムモデルを構築しているデベロッパー向けです。Google Cloud のマネージド サービスにデプロイできるため、複雑なサーバー設定やオーケストレーションをユーザーが行う必要はありません。インフラストラクチャの管理ではなく、モデルに集中できます。

デベロッパーや MLOps に、カスタムのコンテナ化された推論サービスをデプロイ、管理、スケーリングするためのきめ細かい制御と柔軟性を提供します。多くの場合、専用ハードウェアを活用し、クラウド環境やハイブリッド環境全体に対応します。

SQL を使用している場合は、データがすでに存在している場所で AI モデルから予測を取得できます。これにより、データを別のプラットフォームに移動する必要がなくなり、ワークフローを簡素化できます。