Cloud 텐서 처리 장치(TPU)

vLLM 및 MaxDiffusion으로 AI 추론을 가속화하세요. vLLM은 대규모 언어 모델(LLM) 추론을 위해 높은 처리량과 짧은 지연 시간을 달성하도록 설계된 인기 있는 오픈소스 추론 엔진입니다. tpu-inference를 기반으로 하는 vLLM은 이제 처리량이 높고 지연 시간이 짧은 LLM 추론을 위한 vLLM TPU를 제공합니다. JAX와 Pytorch를 통합하여 더 넓은 모델 범위(Gemma, Llama, Qwen)와 향상된 기능을 제공합니다. MaxDiffusion은 Cloud TPU에서 확산 모델 추론을 최적화하여 높은 성능을 제공합니다.

Cloud TPU로 성능, 효율성, 가치 실현 시간을 극대화하세요. Cloud TPU 멀티슬라이스 학습을 통해 수천 개의 칩으로 확장하세요. ML Goodput Measurement로 대규모 ML 학습 생산성을 측정하고 개선합니다. 대규모 모델 학습을 위한 오픈소스 참조 배포인 MaxText 및 MaxDiffusion을 사용하여 빠르게 시작할 수 있습니다.

사용 사례를 나타내는 자체 학습 데이터를 활용하여 기반 모델을 효율적으로 미세 조정합니다. Cloud TPU v5e는 Cloud TPU v4에 비해 달러당 최대 1.9배 더 높은 LLM 미세 조정 성능을 제공합니다.

Cloud TPU v5e는 최신 LLM 및 생성형 AI 모델 등 다양한 AI 워크로드에 경제적인 고성능 추론을 지원합니다. TPU v5e는 Cloud TPU v4에 비해 달러당 최대 2.5배 더 높은 처리량 성능과 최대 1.7배 빠른 속도를 제공합니다. 각 TPU v5e 칩은 int8 작업을 초당 최대 393조 개까지 제공하므로 복잡한 모델에서 빠르게 예측할 수 있습니다. TPU v5e 포드는 초당 최대 100,000조 int8 작업 또는 100페타옵스의 컴퓨팅 성능을 제공합니다.

강력한 AI/ML 플랫폼은 (i) 대규모 워크로드 학습 및 서빙을 위해 GPU를 지원하는 인프라 조정 (ii) 분산 컴퓨팅 및 데이터 처리 프레임워크와의 유연한 통합 (iii) 동일한 인프라에서 여러 팀을 지원하여 리소스 활용 극대화 등의 레이어를 고려합니다.

Cloud TPU의 성능과 GKE의 유연성과 확장성을 결합하여 이전보다 훨씬 쉽고 빠르게 머신러닝 모델을 빌드 및 배포할 수 있습니다. GKE에서 제공되는 Cloud TPU로 모든 워크로드를 위한 일관된 단일 운영 환경을 이용하여 자동화된 MLOps 파이프라인을 표준화할 수 있습니다.