このページでは、AI/ML ワークロード用の Google Kubernetes Engine（GKE）の概要について説明します。GKE は、Google が管理する Kubernetes オープンソース コンテナ オーケストレーション プラットフォームです。
Google Kubernetes Engine は、人工知能や ML（AI/ML）アプリケーションなど、すべてのコンテナ化されたワークロードを実行するためのスケーラブルで柔軟かつ費用対効果の高いプラットフォームを提供します。大規模な基盤モデルのトレーニング、大規模な推論リクエストのサービング、包括的な AI プラットフォームの構築など、GKE は必要な制御とパフォーマンスを提供します。
このページは、AI/ML ワークロードを実行するためのスケーラブルで自動化されたマネージド Kubernetes ソリューションをお探しのデータおよび AI スペシャリスト、クラウド アーキテクト、オペレーター、デベロッパーを対象としています。一般的なロールの詳細については、一般的な GKE ユーザー ロールとタスクをご覧ください。
GKE で AI/ML ワークロードを始める
GKE の無料枠を使用すると、クラスタ管理に費用をかけずに Kubernetes を開始できるため、GKE を数分で使い始めることができます。
- 次のクイックスタートを試してください。
- GKE での推論: 事前定義されたアーキテクチャを使用して、推論用に AI 大規模言語モデル（LLM）を GKE にデプロイします。
- GKE でのトレーニング: GKE に AI トレーニング モデルをデプロイし、予測を Cloud Storage に保存します。
- AI/ML ワークロードのアクセラレータ消費オプションについてで、プラットフォームのアクセラレータ（GPU と TPU）の計画と取得に関するガイダンスとリソースをご確認ください。
一般的なユースケース
GKE は、すべての AI ワークロードをサポートできる統合プラットフォームを提供します。
- AI プラットフォームの構築: エンタープライズ プラットフォーム チーム向けに、GKE はさまざまなニーズに対応する標準化されたマルチテナント プラットフォームを柔軟に構築できます。
- 低レイテンシのオンライン サービング: 生成 AI アプリケーションを構築するデベロッパー向けに、GKE と Inference Gateway は、費用を管理しながら応答性の高いユーザー エクスペリエンスを実現するために必要な最適化されたルーティングと自動スケーリングを提供します。
AI/ML ワークロードに適したプラットフォームを選択する
Google Cloud には、フルマネージドから完全に構成可能なものまで、ML への移行をサポートするさまざまな AI インフラストラクチャ プロダクトが用意されています。適切なプラットフォームを選択するかどうかは、制御、柔軟性、管理レベルに関する特定のニーズによって異なります。
高度な制御、移植性、カスタマイズされた高性能 AI プラットフォームを構築する必要がある場合は、GKE を選択します。
- インフラストラクチャの制御と柔軟性: インフラストラクチャを高度に制御する必要がある、カスタム パイプラインを使用する必要がある、カーネルレベルのカスタマイズが必要である。
- 大規模なトレーニングと推論: GKE のスケーリングと高パフォーマンスを使用して、非常に大規模なモデルをトレーニングしたり、最小限のレイテンシでモデルをサービングしたりする場合。
- 大規模な費用対効果: GKE と Spot VM および Flex Start VM の統合を使用して費用を効果的に管理し、費用の最適化を優先します。
- ポータビリティとオープン スタンダード: ベンダーのロックインを回避し、Kubernetes を使用してワークロードをどこでも実行したい。また、既存の Kubernetes の専門知識またはマルチクラウド戦略がある。
次の方法も検討できます。
| Google Cloud サービス | 最適な用途 |
|---|---|
| Vertex AI | 開発を加速し、インフラストラクチャ管理をオフロードするフルマネージドのエンドツーエンド プラットフォーム。MLOps と価値創出までの時間の短縮に重点を置くチームに適しています。詳細については、AI モデルをホストするうえでの自己ホスト型 GKE かマネージド Vertex AI かの選択をご覧ください。 |
| Cloud Run | ゼロまでスケーリングできるコンテナ化された推論ワークロード用のサーバーレス プラットフォーム。イベント ドリブン アプリケーションや、小規模なモデルの費用対効果の高いサービングに適しています。比較の詳細については、GKE と Cloud Run をご覧ください。 |
GKE が AI/ML ワークロードを強化する方法
GKE は、大規模なトレーニングから低レイテンシの推論まで、AI/ML ライフサイクルの各段階を簡素化して高速化する一連の特殊なコンポーネントを提供します。
次の表に、AI/ML ワークロードまたは運用目標をサポートする GKE の機能の概要を示します。
| AI/ML ワークロードまたはオペレーション | GKE がサポートする内容 | 主な機能 |
|---|---|---|
| 推論とサービング | AI モデルを低レイテンシ、高スループット、費用対効果に優れた方法で弾力的に提供するように最適化されています。 |
|
| トレーニングとファインチューニング | 非常に大規模なモデルを効率的にトレーニングし、費用を最小限に抑えるために必要なスケーリング機能とオーケストレーション機能を提供します。 |
|
| 統合された AI/ML 開発 | 分散 Python アプリケーションをスケーリングするためのオープンソース フレームワークである Ray のマネージド サポート。 |
|
次のステップ
- GKE で AI/ML ワークロードを実行するための公式ガイド、チュートリアル、その他のリソースの豊富なコレクションについては、GKE での AI/ML のオーケストレーション ポータルをご覧ください。
- GKE で AI/ML ワークロード用の GPU や TPU などのコンピューティング アクセラレータを取得する手法について学習する。
- GKE での AI/ML モデル推論について学習する。
- Ray on GKE の詳細を確認する。
- GKE を活用して AI / ML イニシアチブを加速するための試験運用版のサンプルを GKE AI Labs で確認する。