ネットワーク帯域幅と GPU

ネットワーク帯域幅が大きいほど、Compute Engine 仮想マシン（VM）インスタンスで実行される分散ワークロードのパフォーマンスが向上します。

概要

Compute Engine で GPU が接続された VM で使用可能な最大ネットワーク帯域幅は次のとおりです。

  • A3 アクセラレータ最適化 VM では、最大 1,800 Gbps のネットワーク帯域幅を使用できます。
  • A2 および G2 アクセラレータ最適化 VM では、マシンタイプに応じて最大 100 Gbps の最大ネットワーク帯域幅を使用できます。
  • P100、P4 GPU が接続された N1 汎用 VM の場合、32 Gbps の最大ネットワーク帯域幅を使用できます。これは、GPU が接続されていない N1 VM で使用できる最大レートと類似しています。ネットワーク帯域幅についての詳細は、下り（外向き）最大データ通信速度を参照してください。
  • T4 および V100 GPU が接続された N1 汎用 VM の場合、GPU と vCPU 数の組み合わせに基づいて、最大 100 Gbps の最大ネットワーク帯域幅を使用できます。

ネットワーク帯域幅と Google Virtual NIC（gVNIC）

GPU VM に高いネットワーク帯域幅レート（50 Gbps 以上）を適用するには、Google Virtual NIC（gVNIC）の使用をおすすめします。gVNIC を使用して GPU VM を作成する方法については、より高い帯域幅を使用する GPU VM の作成をご覧ください。

アクセラレータ最適化 VM

このセクションでは、A3、A2、G2 のアクセラレータ最適化 VM で使用できる最大ネットワーク帯域幅の概要を説明します。

A3 VM

各 A3 マシンタイプには、固定数の NVIDIA H100 80 GB GPU がアタッチされます。また、搭載される vCPU の数とメモリのサイズも決まっています。

A3 VM には、複数の物理ネットワーク インターフェース カード（NIC）もアタッチされます。これらの NIC の最大帯域幅は、それぞれ 200 Gbps です。各 A3 マシンタイプでは、NIC が Peripheral Component Interconnect Express（PCIe）バス上で次のように配置されます。
  • A3 High マシンタイプ: NIC を 4+1 で配置できます。この構成では、4 つの NIC が同じ PCIe バスを共有し、1 つの NIC が別の PCIe バス上に配置されます。
  • A3 Mega マシンタイプ: NIC を 8+1 で配置できます。この構成では、8 つの NIC が同じ PCIe バスを共有し、1 つの NIC が別の PCIe バス上に配置されます。

同じ PCIe バスを共有する NIC のそれぞれに対し、2 つの NVIDIA H100 80 GB GPU の不均一メモリアクセス（NUMA）アライメントが使用されます。これらの NIC は、専用の高帯域幅 GPU 間通信に最適です。他のネットワーク要件には、別の PCIe バス上にある物理 NIC で適切に対応できます。

A3 High

マシンタイプ GPU 数 GPU メモリ*
（GB HBM3）		 vCPU 数† VM メモリ（GB） アタッチされたローカル SSD（GiB） 物理 NIC の数 最大ネットワーク帯域幅（Gbps）‡
a3-highgpu-8g 8 640 208 1,872 6,000 5 1,000

A3 Mega

マシンタイプ GPU 数 GPU メモリ*
（GB HBM3）		 vCPU 数† VM メモリ（GB） アタッチされたローカル SSD（GiB） 物理 NIC の数 最大ネットワーク帯域幅（Gbps）‡
a3-megagpu-8g 8 640 208 1,872 6,000 9 1,800

*GPU メモリは GPU デバイスで利用可能なメモリで、データの一時的な保存に使用できます。これは VM のメモリとは別に存在し、グラフィックを多用するワークロードの帯域幅の需要に対応するように設計されています。
† vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
‡ 最大下り（外向き）帯域幅は許容数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅をご覧ください。

A2 VM

各 A2 マシンタイプには、一定数の NVIDIA A100 40 GB または NVIDIA A100 80 GB GPU が接続されています。各マシンタイプには、一定の数の vCPU と一定のサイズのメモリも搭載されます。

A2 マシンシリーズは次の 2 つのタイプで用意されています。

  • A2 Standard:A100 40 GB GPU がアタッチされるマシンタイプです。
  • A2 Ultra: A100 80 GB GPU とローカル SSD ディスクがアタッチされるマシンタイプです。

A2 Standard

マシンタイプ GPU 数 vCPU 数 VM メモリ（GB） 最大ネットワーク帯域幅（Gbps）
a2-highgpu-1g 1 12 85 24
a2-highgpu-2g 2 24 170 32
a2-highgpu-4g 4 48 340 50
a2-highgpu-8g 8 96 680 100
a2-highgpu-16g 16 96 1,360 100

A2 Ultra

マシンタイプ GPU 数 vCPU 数 VM メモリ（GB） 最大ネットワーク帯域幅（Gbps）
a2-ultragpu-1g 1 12 170 24
a2-ultragpu-2g 2 24 340 32
a2-ultragpu-4g 4 48 680 50
a2-ultragpu-8g 8 96 1,360 100

G2 VM の構成

各 G2 マシンタイプには、固定数の NVIDIA L4 GPU と vCPU がアタッチされます。各 G2 マシンタイプにはデフォルトのメモリとカスタムメモリ範囲もあります。カスタムメモリ範囲はマシンタイプごとに VM に割り当てることができるメモリの量を定義します。カスタムメモリは VM の作成時に指定できます。

マシンタイプ GPU 数 vCPU 数 デフォルトの VM メモリ（GB） カスタム VM メモリ範囲（GB） 最大ネットワーク帯域幅（Gbps）
g2-standard-4 1 4 16 16～32 10
g2-standard-8 1 8 32 32～54 16
g2-standard-12 1 12 48 48～54 16
g2-standard-16 1 16 64 54～64 32
g2-standard-24 2 24 96 96～108 32
g2-standard-32 1 32 128 96～128 32
g2-standard-48 4 48 192 192～216 50
g2-standard-96 8 96 384 384～432 100

N1 GPU VM

T4 および V100 GPU が接続された N1 汎用 VM の場合、GPU と vCPU 数の組み合わせに基づいて、最大 100 Gbps の最大ネットワーク帯域幅を使用できます。他のすべての N1 GPU VM については、概要をご覧ください。

GPU モデル、vCPU、GPU 数に基づいて、T4 VM と V100 VM で使用可能な最大ネットワーク帯域幅を計算するには、次のセクションを確認してください。

vCPU が 5 個以下の場合

vCPU が 5 個以下の T4 および V100 VM の場合、最大 10 Gbps のネットワーク帯域幅を使用できます。

vCPU が 5 個より多い場合

vCPU が 5 個より多い T4 VM および V100 VM の場合、最大ネットワーク帯域幅はその VM の vCPU と GPU 数に基づいて計算されます。

GPU モデル GPU の数 最大ネットワーク帯域幅の計算
NVIDIA V100 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 32)
4 min(vcpu_count * 2, 50)
8 min(vcpu_count * 2, 100)
NVIDIA T4 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 50)
4 min(vcpu_count * 2, 100)

高帯域幅 VM を作成する

より高いネットワーク帯域幅を使用する VM を作成するには、より高いネットワーク帯域幅を使用するをご覧ください。

任意の構成の帯域幅速度をテストまたは検証するには、ベンチマーク テストを使用します。詳細については、ネットワーク帯域幅の確認をご覧ください。

次のステップ