비용 효율성, 다목적성, 확장성이 가장 뛰어난 Google의 최신 Cloud TPU인 Cloud TPU v5e 정식 버전이 출시되었습니다.

Cloud 텐서 처리 장치(TPU)

Google Cloud TPU로 AI 개발 가속화

Cloud TPU는 학습에서 추론에 이르기까지 모든 AI 워크로드의 성능과 비용을 최적화합니다. TPU는 세계적 수준의 데이터 센터 인프라를 사용하여 높은 안정성, 가용성, 보안을 제공합니다.
무료로 사용해 보기영업팀에 문의

TPU가 적합한지 잘 모르겠다면 머신러닝 워크로드를 실행하기 위해 Compute Engine 인스턴스에서 GPU 또는 CPU를 사용해야 하는 경우를 알아보세요.

개요

Tensor Processing Unit(TPU)이란 무엇인가요?

Google Cloud TPU는 대규모 AI 모델의 학습과 추론에 최적화된 커스텀 설계된 AI 가속기입니다. 챗봇, 코드 생성, 미디어 콘텐츠 생성, 합성 음성, 비전 서비스, 추천 엔진, 맞춤설정 모델 등 다양한 사용 사례에 적합합니다.

Cloud TPU의 이점은 무엇인가요?

Cloud TPU는 학습, 미세 조정, 추론을 아우르는 다양한 AI 워크로드에 맞게 경제적으로 확장되도록 설계되었습니다. Cloud TPU는 PyTorch, JAX, TensorFlow와 같은 첨단 AI 프레임워크에서 워크로드 가속화를 위해 다기능성을 제공합니다. Google Kubernetes Engine(GKE)에서 Cloud TPU 통합을 통해 대규모 AI 워크로드를 원활하게 조정할 수 있습니다. AI 모델을 개발하는 가장 간단한 방법을 찾는 고객은 완전 관리형 AI 플랫폼인 Vertex AI에서 Cloud TPU를 활용할 수도 있습니다.

Cloud TPU를 사용해야 하는 경우

Cloud TPU는 대규모 언어 모델(LLM) 빌드 등 많은 행렬 계산을 포함한 크고 복잡한 딥 러닝 모델 학습에 최적화되어 있습니다. Cloud TPU에는 추천 모델에 있는 임베딩을 사용하여 모델을 가속화하는 Dataflow 프로세서인 SparseCore도 있습니다. 다른 사용 사례로는 단백질 접힘 모델링 및 신약 개발과 같은 의료도 포함됩니다.

Cloud TPU와 GPU의 차이점은 무엇인가요?

GPU는 원래 컴퓨터 그래픽을 조작할 수 있도록 설계된 특수 프로세서입니다. 병렬 구조 덕분에 AI 워크로드에서 흔히 발견되는 대규모 데이터 블록을 처리하는 알고리즘에 적합합니다. 자세히 알아보기

TPU는 Google이 신경망에 맞게 설계한 애플리케이션 특정 통합 회로(ASIC)입니다. TPU에는 행렬 곱셈 단위(MXU) 및 독점 상호 연결 토폴로지와 같은 특수 기능이 있어 AI 학습 및 추론 속도를 높이는 데 적합합니다.

Cloud TPU 버전

Cloud TPU 버전설명사용 가능 여부

Cloud TPU v5e

비용 효율성, 다기능성, 확장성이 가장 뛰어난 Cloud TPU입니다.

Cloud TPU v5e는 북미(미국 서부/동부 지역)에서 정식 버전으로 제공됩니다.

Cloud TPU v4

AI 모델을 학습시킬 수 있는 가장 강력한 Cloud TPU입니다.

Cloud TPUv4는 us-central2 리전에서 사용 가능합니다.

Cloud TPU v5e는 북미(us-east5 및 us-west4)에서 정식 버전으로 제공됩니다.

Cloud TPU v5e

비용 효율성, 다기능성, 확장성이 가장 뛰어난 Cloud TPU입니다.

Cloud TPU v5e는 북미(미국 서부/동부 지역)에서 정식 버전으로 제공됩니다.

Cloud TPU v4

AI 모델을 학습시킬 수 있는 가장 강력한 Cloud TPU입니다.

Cloud TPUv4는 us-central2 리전에서 사용 가능합니다.

Cloud TPU v5e는 북미(us-east5 및 us-west4)에서 정식 버전으로 제공됩니다.

작동 방식

Google Cloud TPU의 놀라운 기능을 자세히 살펴보고, 모든 작업이 이루어지는 데이터 센터까지 들여다볼 수 있는 기회를 놓치지 마세요. 고객은 Cloud TPU를 사용하여 세계 최대 규모의 AI 워크로드 일부를 실행하며 이 성능은 단순한 칩 이상에서 비롯됩니다. 이 동영상에서 데이터 센터 네트워킹, 광학 회로 스위치, 수냉 시스템, 생체 인식 보안 인증 등 TPU 시스템의 구성요소를 살펴봅니다.

TPU 동영상으로 교체!

일반적인 용도

대규모 AI 학습 워크로드 실행

Cloud TPU Multislice를 사용한 비용 효율적인 확장

Cloud TPU 멀티슬라이스 학습은 수만 개의 TPU 칩에서 빠르고 쉬우며 안정적인 대규모 AI 모델 학습을 지원하는 풀 스택 기술입니다.

멀티슬라이스 학습을 통해 수만 개의 칩으로 선형에 가까운 확장

Cloud TPU Multislice를 사용한 비용 효율적인 확장

Cloud TPU 멀티슬라이스 학습은 수만 개의 TPU 칩에서 빠르고 쉬우며 안정적인 대규모 AI 모델 학습을 지원하는 풀 스택 기술입니다.

멀티슬라이스 학습을 통해 수만 개의 칩으로 선형에 가까운 확장

기본 AI 모델 미세 조정

Pytorch/XLA를 사용하여 애플리케이션에 맞게 LLM 조정

사용 사례를 나타내는 자체 학습 데이터를 활용하여 기반 모델을 효율적으로 미세 조정합니다. Cloud TPU v5e는 Cloud TPU v4에 비해 달러당 최대 1.9배 더 높은 LLM 미세 조정 성능을 제공합니다.

비용 대비 Cloud TPU LLM 미세 조정 성능

    Pytorch/XLA를 사용하여 애플리케이션에 맞게 LLM 조정

    사용 사례를 나타내는 자체 학습 데이터를 활용하여 기반 모델을 효율적으로 미세 조정합니다. Cloud TPU v5e는 Cloud TPU v4에 비해 달러당 최대 1.9배 더 높은 LLM 미세 조정 성능을 제공합니다.

    비용 대비 Cloud TPU LLM 미세 조정 성능

      대규모 AI 추론 워크로드 제공

      확장 가능한 AI 인프라로 비용 대비 성능 극대화

      Cloud TPU v5e는 최신 LLM 및 생성형 AI 모델 등 다양한 AI 워크로드에 경제적인 고성능 추론을 지원합니다. TPU v5e는 Cloud TPU v4에 비해 달러당 최대 2.5배 더 높은 처리량 성능과 최대 1.7배 빠른 속도를 제공합니다. 각 TPU v5e 칩은 int8 작업을