このページでは、前提条件やサポートされている GPU タイプなど、GPU と Dataflow の連携に関する背景情報について説明します。
Dataflow ジョブで GPU を使用すると、一部のデータ処理タスクを高速化できます。GPU では特定の計算を CPU よりも迅速に実行できます。通常、これらの計算は数値または線形代数であり、画像処理や ML のユースケースでよく使用されます。パフォーマンス向上の程度は、ユースケース、計算のタイプ、処理されるデータの量によって異なります。
Dataflow で GPU を使用するための前提条件
- Dataflow ジョブで GPU を使用するには、Runner v2 を使用する必要があります。
- Dataflow は、Docker コンテナ内のワーカー VM でユーザーコードを実行します。これらのワーカー VM は Container-Optimized OS を実行します。Dataflow ジョブで GPU を使用するには、次の前提条件を満たす必要があります。
- GPU ドライバがワーカー VM にインストールされ、Docker コンテナにアクセスできる。詳細については、GPU ドライバをインストールするをご覧ください。
- パイプラインに必要な GPU ライブラリ（NVIDIA CUDA-X ライブラリ、NVIDIA CUDA ツールキットなど）がカスタム コンテナ イメージにインストールされている。詳細については、コンテナ イメージを構成するをご覧ください。
- 通常、GPU コンテナは大きいため、ディスク容量が不足しないように、デフォルトのブートディスク サイズを 50 GB 以上に増やします。
料金
GPU を使用するジョブでは、Dataflow の料金ページで定められた料金が発生します。
対象
Dataflow では、次の GPU タイプがサポートされています。
| GPU のタイプ | worker_accelerator 文字列 |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
パフォーマンス データなど、各 GPU タイプの詳細については、Compute Engine GPU プラットフォームをご覧ください。
GPU で使用可能なリージョンとゾーンについては、Compute Engine ドキュメントの GPU のリージョンとゾーンの可用性をご覧ください。
推奨されるワークロード
次の表に、さまざまなワークロードに対して推奨される GPU の種類を示します。表の例はあくまでも提案です。ワークロードに適した GPU タイプを判断するには、使用する環境でテストする必要があります。
GPU メモリサイズ、機能の可用性、各種 GPU モデルの理想的なワークロード タイプについて詳しくは、GPU プラットフォーム ページの一般的な比較表をご覧ください。
| ワークロード | A100 | L4 | T4 |
|---|---|---|---|
| モデルの微調整 | 推奨 | ||
| 大規模モデルの推論 | 推奨 | 推奨 | |
| 中規模モデルの推論 | 推奨 | 推奨 | |
| 小規模モデルの推論 | 推奨 | 推奨 |
次のステップ
- GPU を使用するパイプラインをビルドするためのデベロッパー ワークフローの例を確認する。
- GPU を使用して Dataflow で Apache Beam パイプラインを実行する方法を確認する。
- GPU を使用した Landsat 衛星画像の処理に取り組む。