デベロッパー

AI ワークロードのコンピューティングを柔軟に選択できるよう Google Cloud ネットワーキングがサポート

2026年10月2日

https://storage.googleapis.com/gweb-cloudblog-publish/images/how-google-cloud-networking-supports-your-.max-2500x2500_8Ik49V3.png

Ammett Williams

Developer Relations Engineer

※この投稿は米国時間 2026 年 9 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。

AI ワークロード用のリソース、特にアクセラレータの可用性は、業界全体で課題となる可能性があります。特定のタイプのアクセラレータを中心に構築されている場合、AI ワークロードのデプロイが遅くなる可能性があります。フルイドコンピューティングというコンセプトにより、ユースケースに適合する利用可能なリソースに基づき、複数のオプションを使用して AI デプロイを設計することが可能になります。

このブログ投稿では、Google Cloud ネットワーキングが AI ワークロードをどのようにサポートしているかを紹介するとともに、アクセラレータ（GPU または TPU）を選択する際の考慮事項について説明します。バックエンドのネットワーキングコンポーネント構成は、それぞれで完全に同じではないためです。

リソースオプション

AI デプロイで実現したいタスクを決定したら、次に重要な要素は、それを実行する実際のハードウェアです。この場合、プライベート LLM の推論を実行する必要があり、ターゲットは A4 VM（a4-highgpu-8g）で利用可能な NVIDIA B200 GPU ファミリーです。

これで、達成したいことと、利用可能なコンピューティングオプションは特定できました。しかし、「本当にそれが利用できるのか」という課題があります。

リソースにアクセスするには、次のような方法があります。

Dynamic Workload Scheduler（Flex Start VM）: 必要なアクセラレータノードがすべて同時に利用可能になるまでワークロードをキューに入れ、それらをまとめてプロビジョニングし、最大 7 日間プリエンプト不可で実行します。
Dynamic Workload Scheduler（カレンダーモード）: 1～90 日前にアクセラレータ容量を予約でき、開始時間と終了時間が保証されるため、スケジュールされた事前トレーニングの実行やベンチマークに最適です。
将来の予約: 将来の特定の日付から、指定したゾーンで確約されたハードウェアへのアクセスを保証します。
フレックス予約: 短期契約により、複数年のロックインなしで、希少なアクセラレータノードを確保できます。
動的なノード自動プロビジョニングと ComputeClasses: Google Kubernetes Engine（GKE）では、ComputeClasses 内にマルチファミリーフォールバックリストを定義することで、プライマリプールがリージョンの制約に直面した場合に、クラスタが代替アクセラレータタイプのプロビジョニングを自動的に試行できます。
Spot VM: フォールトトレラントなチェックポイント付きバッチジョブ向けに、余剰コンピューティングを大幅な割引価格で提供します。

詳しくは、ブログ投稿 コンピューティングリソースの不足を防止する: GKE リソースの入手可能性に関する実践ガイド をご覧ください。

ネットワーキングの選択肢

アクセラレータのネットワーキングコンポーネントは選択内容によって異なるため、標準ネットワーキング、高速 GPU ネットワーキング（TCPX / TCPXO と RoCEv2）、TPU ネットワーキング、Cloud Run の 4 つの構成について説明します。

標準ネットワーキング

サポートされているアクセラレータ: NVIDIA T4（N1 シリーズ）、NVIDIA L4（G2 シリーズ）、NVIDIA A100（A2 マシンシリーズのシングルノードとマルチノード）、Cloud TPU v3、 Cloud TPU v5e（単一ホスト / スタンドアロンスライス）。
アーキテクチャ: ノードは、標準の TCP / IP を介して Google Virtual NIC（gVNIC）を使用し、プライマリ Virtual Private Cloud（VPC）ネットワーク経由で通信します。
ワークロードの適合性: Google Cloud コンピューティング環境間で簡単に移植できます。標準の VPC ルーティングとネットワークポリシーを使用し、分散データの前処理、パイプラインステージの分離、独立した推論レプリカ、コンピュータビジョンワークロードをサポートします。

高速 GPU ネットワーキング（TCPX / TCPXO、RoCEv2）

分散トレーニングとマルチノード推論には、膨大なパラメータ交換と集団通信を処理するための特殊なマルチレールネットワークファブリックが必要です。

GPUDirect-TCPX ファブリックと GPUDirect-TCPXO ファブリック

サポートされているアクセラレータ: NVIDIA H100（4 レールの A3 High VM）と NVIDIA H100 Mega（8 レールの A3 Mega VM）。
アーキテクチャ: カスタムの GPUDirect-TCPX（4 つの専用 VPC）と GPUDirect-TCPXO（8 つの専用 VPC）オフロードエンジンを使用して、ネイティブ RDMA ハードウェアを必要とせずに、標準のイーサネットインフラストラクチャ上で高スループットのマルチレール GPU 通信を実現します。
デプロイブループリント: これらのマルチ VPC トポロジは、Cluster Toolkit の事前構築済みブループリントを使用するなど、さまざまな方法でデプロイできます。

RoCEv2 ファブリック（VM とベアメタル）

サポートされているアクセラレータ: NVIDIA H200（A3 Ultra VM）、NVIDIA B200（A4 VM）、NVIDIA GB200 NVL72（A4X VM）、NVIDIA GB300（A4X Max ベアメタル）。
ゾーンネットワークプロファイル: RoCEv2 は、専用のゾーンネットワークプロファイルに接続された専用の RDMA VPC 上で動作します。VM インスタンス（A3 Ultra、A4、A4X）は ZONE-vpc-roce プロファイルを使用し、ベアメタルインスタンス（A4X Max など）は専用の ZONE-vpc-roce-metal ベアメタルプロファイルを使用します。
レール整列型ファブリック: この専用 VPC は GPU 通信用に厳密に分離されており、アクセラレータ NIC に直接マッピングされたサブネットが含まれています。バックエンドはレール整列型で、ジャンボフレーム（MTU 8896）をサポートし、レール間の干渉を最小限に抑えながら、ノンブロッキングのマルチテラビット帯域幅を実現します。
GKE Dynamic Resource Allocation Network（DRANET）による自動配線: これらの GPU を GKE にデプロイする場合、GKE マネージド DRANET を使用して、追加のネットワークを自動的にプロビジョニングし、RDMA ネットワークインターフェースを GPU にマッピングするドライバを割り当てることができます。これらは、標準の Kubernetes リソースクレームを使用して、ワークロード Pod に直接割り当てて使用できます。
ターンキーデプロイ: RDMA VPC、MTU チューニング、DRA ドライバなど、このエンドツーエンドのスタック全体を、Cluster Toolkit の自動化されたブループリントを使用してデプロイできます。

TPU ネットワーキング

サポートされているアクセラレータ: Cloud TPU v4、Cloud TPU v5p、Cloud TPU v5e（マルチホスト Pod スライス）、Cloud TPU v6e（Trillium）、TPU7x（Ironwood）。
チップ間相互接続（ICI）: TPU Pod またはスライス内では、チップは 2D または 3D トーラスメッシュで構成された専用の超低レイテンシ光リンクを介して直接通信し、従来のネットワークスタックを完全にバイパスします。
光回線スイッチ（OCS）: TPU v4 と TPU v5p の SuperPod では、ソフトウェアで再構成可能な OCS ユニットが物理ネットワークトポロジを動的に変更し、障害のあるトレイを迂回して、手動でケーブルを再接続することなく、カスタムサイズのアクセラレータスライスをプロビジョニングします。
マルチ NIC アーキテクチャ（TPU v6e 以降）: 以前の TPU 世代は、スライス内の ICI とホストトラフィック用の単一 NIC に依存していましたが、Cloud TPU v6e（Trillium）と TPU7x には、ネイティブのマルチ NIC アーキテクチャが導入されています。このアーキテクチャでは、ワーカーノードが標準の Kubernetes 管理トラフィックをプライマリ VPC に分離し、高スループットの TPU データとクロススライス通信用に構成されたセカンダリ専用 VPC を使用します。
TPU デプロイ用の DRANET: これらの TPU を GKE にデプロイする場合、GKE マネージド DRANET を使用して、追加のネットワークを自動的にプロビジョニングし、TPU 通信用にドライバを割り当てることができます。これらは、標準の Kubernetes リソースクレームを使用して、ワークロード Pod に直接割り当てて使用できます。
データセンターネットワーク（DCN）マルチスライス: 個々の TPU スライスを超えてスケールするモデルの場合、Cloud TPU マルチスライスは、これらの専用マルチ NIC パスを利用し、Google の高速 Jupiter データセンターネットワークを介して複数の独立した ICI メッシュを接続します。

Cloud Run

サポートされているアクセラレータ: Cloud Run GPU サービスの NVIDIA L4（G2 シリーズ）と NVIDIA RTX PRO 6000（Blackwell）。
ダイレクト VPC 下り（外向き）: ダイレクト VPC 下り（外向き）を介して 1 分未満で IP を割り当てることで、サーバーレスコンテナをプライベート VPC ネットワークに直接バインドします。これにより、公共のインターネットを経由したり、レガシーコネクタ VM を必要としたりすることなく、内部データレイク、データベース、プライベート API にセキュアかつ低レイテンシでアクセスできます。