Dataflow-Unterstützung für TPUs

Google Cloud TPUs sind speziell entwickelte KI-Beschleuniger von Google, die für das Training und die Verwendung großer KI-Modelle optimiert sind. Sie sind darauf ausgelegt, eine kosteneffiziente Skalierung für eine Vielzahl von KI-Arbeitslasten zu ermöglichen, und bieten die Vielseitigkeit, um Inferenzarbeitslasten in KI-Frameworks wie PyTorch, JAX und TensorFlow zu beschleunigen. Weitere Informationen zu TPUs finden Sie unter Einführung in Google Cloud Platform TPU.

Voraussetzungen für die Verwendung von TPUs in Dataflow

  • Ihre Google Cloud Projekte müssen genehmigt werden, damit Sie dieses GA-Angebot nutzen können.

Beschränkungen

Für dieses Angebot gelten die folgenden Einschränkungen:

  • Nur TPU-Beschleuniger mit einem Host werden unterstützt: Das Dataflow-TPU-Angebot unterstützt nur TPU-Konfigurationen mit einem Host, bei denen jeder Dataflow-Worker ein oder mehrere TPU-Geräte verwaltet, die nicht mit TPUs verbunden sind, die von anderen Workern verwaltet werden.
  • Es werden nur homogene TPU-Worker-Pools unterstützt: Funktionen wie Dataflow Right Fitting und Dataflow Prime unterstützen keine TPU-Arbeitslasten.

Preise

Für Dataflow-Jobs, die TPUs verwenden, werden die verbrauchten TPU-Chipstunden des Workers in Rechnung gestellt. Worker-CPU und -Arbeitsspeicher werden nicht in Rechnung gestellt. Weitere Informationen finden Sie auf der Preisseite zu Dataflow.

Verfügbarkeit

Die folgenden TPU-Beschleuniger und Verarbeitungsregionen sind verfügbar.

Unterstützte TPU-Beschleuniger

Die unterstützten Kombinationen von TPU-Beschleunigern werden durch das Tupel (TPU-Typ, TPU-Topologie) angegeben.

  • TPU-Typ bezieht sich auf das Modell des TPU-Geräts.
  • Die TPU-Topologie bezieht sich auf die Anzahl und physische Anordnung der TPU-Chips in einem Slice.

Mit der Pipeline-Option worker_accelerator im Format type:TPU_TYPE;topology:TPU_TOPOLOGY können Sie den Typ und die Topologie von TPUs für Dataflow-Worker konfigurieren.

Die folgenden TPU-Konfigurationen werden mit Dataflow unterstützt:

TPU-Typ Topologie worker_machine_type ist erforderlich
tpu-v5-lite-podslice 1x1 ct5lp-hightpu-1t
tpu-v5-lite-podslice 2x2 ct5lp-hightpu-4t
tpu-v5-lite-podslice 2x4 ct5lp-hightpu-8t
tpu-v6e-slice 1x1 ct6e-standard-1t
tpu-v6e-slice 2x2 ct6e-standard-4t
tpu-v6e-slice 2x4 ct6e-standard-8t
tpu-v5p-slice 2x2x1 ct5p-hightpu-4t

Regionen

Informationen zu verfügbaren Regionen und Zonen für TPUs finden Sie unter TPU-Regionen und -Zonen in der Cloud TPU-Dokumentation.

Nächste Schritte