TPU에 대한 Dataflow 지원

Google Cloud Platform TPU는 대규모 AI 모델의 학습 및 사용에 최적화된 Google의 맞춤 설계 AI 가속기입니다. 다양한 AI 워크로드에 맞게 비용 효율적으로 확장되도록 설계되었으며 PyTorch, JAX, TensorFlow를 비롯한 AI 프레임워크에서 추론 워크로드를 가속화할 수 있는 다기능성을 제공합니다. TPU에 대한 자세한 내용은 Google Cloud Platform TPU 소개를 참조하세요.

Dataflow에서 TPU를 사용하기 위한 기본 요건

  • 이 GA 서비스를 사용하려면 Google Cloud 프로젝트가 승인되어야 합니다.

제한사항

이 서비스에는 다음과 같은 제한사항이 적용됩니다.

  • 단일 호스트 TPU 가속기만 지원됨: Dataflow TPU는 각 Dataflow 작업자가 다른 작업자가 관리하는 TPU와 상호 연결되지 않은 하나 이상의 TPU 기기를 관리하는 단일 호스트 TPU 구성만 지원합니다.
  • 동종 TPU 작업자 풀만 지원됨: Dataflow 적합 맞춤 및 Dataflow Prime과 같은 기능은 TPU 워크로드를 지원하지 않습니다.

가격 책정

TPU를 사용하는 Dataflow 작업에는 사용된 작업자 TPU 칩 시간 요금이 청구되며 작업자 CPU 및 메모리 요금은 청구되지 않습니다. 자세한 내용은 Dataflow 가격 책정 페이지를 참조하세요.

가용성

다음 TPU 가속기 및 처리 리전을 사용할 수 있습니다.

지원되는 TPU 가속기

지원되는 TPU 가속기 조합은 튜플(TPU 유형, TPU 토폴로지)로 식별됩니다.

  • TPU 유형은 TPU 기기의 모델을 나타냅니다.
  • TPU 토폴로지는 슬라이스에 있는 TPU 칩의 수와 물리적 배열을 나타냅니다.

Dataflow 작업자의 TPU 유형과 토폴로지를 구성하려면 type:TPU_TYPE;topology:TPU_TOPOLOGY 형식으로 지정된 worker_accelerator 파이프라인 옵션을 사용합니다.

Dataflow에서 지원되는 TPU 구성은 다음과 같습니다

TPU 유형 토폴로지 worker_machine_type가 필요함
tpu-v5-lite-podslice 1x1 ct5lp-hightpu-1t
tpu-v5-lite-podslice 2x2 ct5lp-hightpu-4t
tpu-v5-lite-podslice 2x4 ct5lp-hightpu-8t
tpu-v6e-slice 1x1 ct6e-standard-1t
tpu-v6e-slice 2x2 ct6e-standard-4t
tpu-v6e-slice 2x4 ct6e-standard-8t
tpu-v5p-slice 2x2x1 ct5p-hightpu-4t

리전

TPU에 사용할 수 있는 리전과 영역에 대한 자세한 내용은 Cloud TPU 문서의 TPU 리전 및 영역을 참조하세요.

다음 단계