Cloud TPU

Google에서 커스텀 개발한 하드웨어 가속기로 머신러닝 워크로드 속도를 높이세요.

Google 슈퍼컴퓨터로 머신러닝 모델 가속화

Cloud TPU를 사용하면 비즈니스에서 자연어 처리(NLP), 순위 및 권장사항, 컴퓨터 비전을 포함한 머신러닝 모델의 속도를 높일 수 있습니다. 개발자, 연구자, 기업은 Google의 검색, YouTube, LaMDA AI 모델에 사용되는 것과 동일한 커스텀 설계 머신러닝 ASIC(애플리케이션별 집적 회로)를 활용할 수 있습니다.

머신러닝 모델을 빠르게 학습 및 반복

Cloud TPU는 복잡한 대규모 신경망 모델을 학습시킬 때 정확성 실현 시간을 최소화합니다. 다른 하드웨어에서 학습하는 데 몇 주가 걸리는 모델

유연한 방식으로 대규모 워크로드 처리

TPU는 특히 행렬 연산이 포함된 모델과 대규모 유효 배치 크기가 있는 대규모 모델에 맞게 설계되었습니다. TPU VM을 사용하면 인기 ML 프레임워크를 쉽게 사용할 수 있습니다.

비용 절감 및 지속 가능성 향상

Cloud TPU는 다양한 ML 워크로드에 비용 효율적인 성능을 규모에 맞게 제공합니다. 이제 Cloud TPU v4는 Cloud TPU v3에 비해 1달러당 최대 FLOPS가 2.2배~1.4배 더 높습니다.

모든 워크로드 및 예산에 맞는 Cloud TPU

Cloud TPU는 Google Cloud에서 AI 서비스를 사용하여 최첨단 머신러닝 모델을 실행하도록 설계되었습니다. 커스텀 고속 네트워크로 단일 포드에서 100페타플롭이 넘는 성능을 제공하며 이는 기업의 혁신이나 새로운 학문적 돌파구를 마련하는 데 충분한 컴퓨팅 성능입니다.

완전한 하위 호환성

Cloud TPU v4 포드는 Google의 최신 커스텀 ML 가속기이며 현재 정식 버전으로 사용할 수 있습니다. Cloud TPU v2 및 v3와의 하위 호환성을 유지하지만 Cloud TPU v3에 비해 칩당 원시 컴퓨팅 성능에서 2배 이상 높습니다. 각 TPU v4 칩에는 단일 논리 코어도 포함되어 있어 한 프로그램에서 32GiB의 전체 메모리를 활용할 수 있습니다(v2의 경우 8GiB, v3의 경우 16GiB). 고유한 프로젝트 요구사항에 가장 적합한 Cloud TPU 제품을 알아보세요.

많이 사용되는 ML 프레임워크 실행

TensorFlow, Pytorch, JAX와 같은 머신러닝 프레임워크를 사용하여 Cloud TPU에서 머신러닝 워크로드를 실행합니다. 빠른 시작에서는 Cloud TPU VM 작업에 관한 간략한 소개와 Cloud TPU VM에서 ML 프레임워크를 설치하고 샘플 애플리케이션을 실행하는 방법을 설명합니다.

선점형 Cloud TPU를 사용하여 비용 절감

체크포인트를 사용해 장기간 진행하는 학습, 대규모 데이터 세트 기반의 일괄 예측 등 내결함성 머신러닝 워크로드에 선점형 Cloud TPU를 활용하여 비용을 절감할 수 있습니다. 선점형 Cloud TPU는 온디맨드 인스턴스보다 70% 저렴하므로 첫 번째 실험부터 대규모 초매개변수 검색까지 모든 작업을 그 어느 때보다 합리적인 비용으로 처리할 수 있습니다. 가격 책정 페이지를 방문하여 Cloud TPU로 머신러닝 워크로드를 비용 효율적으로 처리하는 방법을 알아보세요.

TPU v4가 고객을 지원하는 방식 알아보기

co:here

“Cohere에서는 언어 생성, 분류, 검색을 위한 API를 포함하여 최첨단 자연어 처리(NLP) 서비스를 구축합니다. 이러한 도구는 Cohere가 JAX를 사용하여 Cloud TPU로 처음부터 학습시키는 일련의 언어 모델을 기반으로 합니다. Cloud TPU v3 포드에서 Cloud TPU v4 포드로 전환한 결과, 초대형 모델의 학습 시간이 70% 개선되어 연구원들이 반복 작업을 빠르게 수행하고 고객에게 더 높은 품질의 결과를 제공할 수 있게 되었습니다. 극히 적은 탄소 발자국 또한 Cloud TPU v4 포드에 대한 만족도를 높인 또 다른 주요 요인이었습니다.”

에이단 고메즈, CEO 겸 공동 설립자

LG AI 연구

“LG AI연구원은 전략적 연구 파트너로서 Google의 최신 머신러닝 슈퍼 컴퓨터인 TPU v4가 상용화되기 전에 테스트에 참여해 3,000억 개 매개변수 규모의 초거대 AI인 LG EXAONE을 학습시켰습니다. 멀티모달 기능을 갖춘 LG EXAONE은 TPU v4와 6,000억 개 이상의 텍스트 코퍼스 및 2억 5,000만 개가 넘는 이미지로 구성된 방대한 데이터를 사용해 학습하여 커뮤니케이션, 생산성, 창의성 등의 측면에서 인간 전문가를 뛰어넘는 것을 목표로 하고 있습니다.TPU v4의 성능이 동급 최고의 컴퓨팅 아키텍처를 능가할 뿐만 아니라 고객 중심 지원도 기대 이상이었습니다. Google과 협력하게 된 것을 매우 기쁘게 생각하며 더 나은 삶을 위해 AI를 발전시킨다는 궁극적인 비전을 달성할 수 있도록 전략적 파트너십을 굳건히 이어갈 것입니다.”

배경훈 박사, LG AI연구원 원장

Salesforce

“TPU v4 사전 체험판을 사용한 덕분에 간단한 영어 프롬프트를 실행 가능한 코드로 전환하는 160억 개의 매개변수를 갖춘 자동 회귀 언어 모델인 CodeGen 프로젝트의 대화형 AI 프로그래밍에 혁신을 가져올 수 있었습니다. 학습 샘플 수에 비례하도록 모델 매개변수의 수를 조정하면 모델 성능이 뚜렷하게 향상된다는 경험적 관찰을 토대로 이 모델을 거대한 크기로 만들었습니다. 이러한 현상은 '눈금 바꿈 법칙'으로 알려져 있습니다. TPU v4는 이러한 유형의 수평 확장 ML 학습을 위한 탁월한 플랫폼으로서 다른 유사 AI 하드웨어 대안에 비해 상당한 성능상의 이점을 제공합니다.”

에릭 네이캄프, Salesforce 연구 과학자