Cloud 텐서 처리 장치(TPU)

LLM을 학습시키는 것은 마치 연금술처럼 느껴질 수 있지만, 모델의 성능을 이해하고 최적화하는 것은 어렵지 않습니다. 이 책은 TPU에서 언어 모델을 확장하는 과학, 즉 TPU가 작동하는 방식과 서로 통신하는 방식, 실제 하드웨어에서 LLM이 실행되는 방식, 대규모로 효율적으로 실행되도록 학습 및 추론 중에 모델을 병렬화하는 방법을 설명합니다.

Cloud TPU로 성능, 효율성, 가치 실현 시간을 극대화하세요. Cloud TPU 멀티슬라이스 학습을 통해 수천 개의 칩으로 확장하세요. ML Goodput Measurement로 대규모 ML 학습 생산성을 측정하고 개선합니다. 대규모 모델 학습을 위한 오픈소스 참조 배포인 MaxText 및 MaxDiffusion을 사용하여 빠르게 시작할 수 있습니다.

사용 사례를 나타내는 자체 학습 데이터를 활용하여 기반 모델을 효율적으로 미세 조정합니다. Cloud TPU v5e는 Cloud TPU v4에 비해 달러당 최대 1.9배 더 높은 LLM 미세 조정 성능을 제공합니다.

Cloud TPU v5e는 최신 LLM 및 생성형 AI 모델 등 다양한 AI 워크로드에 경제적인 고성능 추론을 지원합니다. TPU v5e는 Cloud TPU v4에 비해 달러당 최대 2.5배 더 높은 처리량 성능과 최대 1.7배 빠른 속도를 제공합니다. 각 TPU v5e 칩은 int8 작업을 초당 최대 393조 개까지 제공하므로 복잡한 모델에서 빠르게 예측할 수 있습니다. TPU v5e 포드는 초당 최대 100,000조 int8 작업 또는 100페타옵스의 컴퓨팅 성능을 제공합니다.

강력한 AI/ML 플랫폼은 (i) 대규모 워크로드 학습 및 서빙을 위해 GPU를 지원하는 인프라 조정 (ii) 분산 컴퓨팅 및 데이터 처리 프레임워크와의 유연한 통합 (iii) 동일한 인프라에서 여러 팀을 지원하여 리소스 활용 극대화 등의 레이어를 고려합니다.

Cloud TPU의 성능과 GKE의 유연성과 확장성을 결합하여 이전보다 훨씬 쉽고 빠르게 머신러닝 모델을 빌드 및 배포할 수 있습니다. GKE에서 제공되는 Cloud TPU로 모든 워크로드를 위한 일관된 단일 운영 환경을 이용하여 자동화된 MLOps 파이프라인을 표준화할 수 있습니다.