効果的に最適化を行うには、LLM の推論における 2 つの異なるフェーズを理解する必要があります。

1. 目標を説明する: 最適化されていないモデルのデプロイから始める
2. 量子化を適用する: モデルの重みを減らして（4 ビットなど）、より大きなバッチをメモリに収める
3. アテンションの最適化: FlashAttention または Grouped-Query Attention（GQA）を使用して、メモリ移動の費用を最小限に抑える
4. メモリ管理: PagedAttention を実装して KV キャッシュを非連続ブロックに保存し、断片化を解消する
5. 実行とモニタリング: インフライト バッチングでデプロイし、他のリクエストが完了次第すぐに新しいリクエストを開始する

最適化された推論と従来の「単純な」モデル提供を比較すると、次のようになります。

Google Cloud は、さまざまなスキルレベルやアーキテクチャのニーズに対応する幅広いツールを提供しています。

Model Garden は、Llama、Gemma、Mistral といった主要なオープンソース モデルの最適化バージョンをデプロイするための最も迅速な手段です。

Model Garden に移動し、サポートされている OSS モデルを見つけます。[Deploy] をクリックします。構成で、vLLM や NVIDIA NIM などの最適化されたランタイムを選択します。

モデルの量子化バージョン（4 ビットや 8 ビットなど）を選択して、メモリ使用量を削減します。これにより、同じ GPU でより大きなバッチサイズを処理できるようになり、スループットが直接的に向上します。

サービング コンテナが PagedAttention を使用するように構成されていることを確認します。この手法により、モデルは「メモリ」（Key-Value キャッシュ）を非連続ブロックに保存できるようになるため、メモリの無駄をなくして、より長いコンテキスト ウィンドウを実現できます。

デプロイすると、Vertex AI がインフライト バッチングを自動的に処理し、既存のリクエストでのトークンが完了次第すぐに新しいリクエストを処理します。Vertex AI Model Monitoring を使用してレイテンシを追跡し、出力の「雰囲気」が高品質に保たれるようにします。

オーケストレーションやカスタム推論カーネルをきめ細かく制御する必要があるチームには、業界標準の GKE が最適です。

特殊な GPU ノード（L4 や H100 など）を使用して GKE クラスタをプロビジョニングします。NVIDIA GPU Operator をインストールして、ドライバの管理とパフォーマンスの調整を自動的に行います。

vLLM や Triton Inference Server などのコンテナ化された推論エンジンを使用します。これらのサーバーは、連続的なバッチ処理とテンソル並列処理をサポートしており、大規模なモデルを複数の GPU にシャーディングできます。また、vLLM を使用すると、最小限の追加コーディングで TPU と GPU を切り替えることができます。

ミッション クリティカルなレイテンシのニーズがある場合は、投機的デコーディングを構成します。これは、より小型で高速な「ドラフト」モデルを使用してトークンを予測し、その後、より大規模な「ターゲット」モデルで並行して検証を行うもので、多くの場合、処理速度が 2～3 倍向上します。

GKE Inference Quickstart は、テスト済みの推論スタック構成が事前に設定されたデータベースとして機能します。モデル、レイテンシ要件、費用の優先順位を指定すると、ベスト プラクティスと最新のベンチマークに基づいて、一連の推奨事項が提示されます。これにより、推論固有のパフォーマンス指標をモニタリングし、デプロイを動的にファインチューニングして、常に最適化されたテクノロジーで実行できるようにします。

GKE Inference Gateway の一般提供が開始され、複雑な生成 AI アプリケーションを管理するための高度な機能が 2 つ導入されました。

• プレフィックス対応ルーティング: マルチターン チャットやドキュメント分析などのアプリケーションでは、この機能により、コンテキストがすでにキャッシュされている同じアクセラレータにリクエストがルーティングされ、応答時間が短縮されます。
• 分離型サービング: この手法では、最初の「プレフィル」フェーズ（プロンプト処理）と「デコード」フェーズ（トークン生成）を分離します。ステージごとに必要なリソースが異なるため、別々の最適化されたマシンプールでそれぞれを実行することで、効率を最大化できます。

Anywhere Cache は、既存の Google Cloud Storage（GCS）バケットで動作する、完全な整合性のある新しい読み取りキャッシュです。アクセラレータと同じゾーン内でデータをキャッシュに保存します。読み取りレイテンシを最大 96% 削減し、読み取り負荷が高いワークロードに伴うネットワーク費用を最小限に抑えることができます。

インフラストラクチャ全体をまとめているのが、Google の地球規模のインフラストラクチャ上に構築されたフルマネージドのグローバル ネットワークである Cloud WAN です。Cloud WAN は、さまざまなリージョン、クラウド、オンプレミス環境にわたって AI コンピューティング リソースを接続し、従来の WAN ソリューションと比較して、推論アプリケーションのエクスペリエンスを 40% 向上させ、TCO を 40% 削減します。