대규모 가속기 Fleet을 위한 분산형 ML 런타임, Cloud Pathways 정식 출시

Shaurya Gupta
Software Engineer
Monica Song
Product Manager
*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.
오늘 Google Cloud AI 하이퍼컴퓨터의 핵심 런타임 요소인 Google Kubernetes Engine(GKE) 기반 Cloud Pathways(Pathways on Cloud)의 정식 버전(GA) 출시 소식을 발표하게 되어 기쁩니다.
Pathways는 원래 Google DeepMind가 Gemini를 비롯한 Google의 프런티어 모델을 학습시키고 서빙하기 위해 개발한 기술로, 대규모 이기종 가속기 Fleet을 위해 설계된 분산형 머신러닝 런타임입니다. 실제로 지난 90일 동안 선도적인 AI 기업과 글로벌 엔터프라이즈는 GKE 기반 Pathways를 사용하여 다양한 세대의 TPU에 걸쳐 1억 3천만 Cloud TPU 칩 시간 이상의 워크로드를 처리했습니다.
Cloud Pathways를 사용하는 모든 Google Cloud 고객은 Google의 최대 규모 AI 워크로드를 지원하는 단일 컨트롤러 런타임, 코로케이션된 Python 사이드카, 탄력적인 내결함성을 활용할 수 있는 셈입니다. 아울러 Cloud Pathways를 Slurm 클러스터로 확장하여 통합된 멀티 슬라이스 JAX 실행, 탄력적 학습, 대화형 노트북을 지원하는 Cluster Director와의 통합 기능 프리뷰 출시 소식도 전해드립니다.


Cloud Pathways란?
멀티 슬라이스 사전 학습부터 분리형 추론, 다중 프로그램 강화 학습(RL) 루프에 이르기까지 AI 워크로드가 수천 개의 가속기 규모로 확장됨에 따라 기존의 다중 컨트롤러 환경은 프로그래밍과 관리가 점점 더 어려워지고 있습니다. 기본 다중 컨트롤러 JAX 환경에서는 모든 TPU 호스트가 연결된 기기에 대한 제한적인 정보만 가진 별도의 Python 인터프리터를 실행하고 동일한 SPMD 프로그램을 동기화된 방식으로 실행하기 때문에 이기종 MPMD 워크플로와 슬라이스 간 리소스 관리가 복잡해지고 오류에 취약해집니다.
Cloud Pathways는 오픈소스 Interim Framework Runtime(IFRT)를 기반으로 하는 통합 단일 컨트롤러 아키텍처로 다중 컨트롤러 관리 방식을 대체합니다. pathwaysutils를 포함해 JAX_PLATFORMS=proxy를 설정하면 단일 JAX 클라이언트 프로세스에서 수천 개의 TPU 칩에 걸친 여러 개의 대규모 TPU 슬라이스를 모두 로컬에 연결된 것처럼 확인하고 조정할 수 있습니다.
Pathways에 관한 자세한 내용은 최신 심층 분석 블로그(여기)에서 확인하세요.
핵심 아키텍처 혁신
Cloud Pathways는 다음과 같은 기능을 제공합니다.
-
단일 컨트롤러 조정: Cloud Pathways에서는 단일 컨트롤러가 TPU 슬라이스 전반의 그래프 평가, 영구 Cloud Storage 컴파일 캐싱, 비동기 XLA HLO 디스패치를 관리합니다.
-
코로케이션된 Python 사이드카: 공유 메모리를 지원하는 클라이언트 측 Python 사이드카 컨테이너를 코로케이션하여 분산 데이터 로딩 및 체크포인트 저장과 같이 컴퓨팅 집약적인 Python 로직을 TPU 호스트에서 직접 실행할 수 있습니다.
-
복원력과 탄력성을 갖춘 학습: Cloud Pathways는 호스트-메모리 스냅샷을 사용하는 탄력적 학습 기능(
pathwaysutils)을 통해 개별 슬라이스 중단이 전체 작업의 지속 여부에 영향을 미치지 않도록 합니다. 하드웨어 장애가 발생하면 클라이언트가 비정상 종료되지 않은 상태에서 학습 작업을 N-1개의 슬라이스로 동적으로 재샤딩할 수 있습니다. -
대화형 모드 및 Shared Pathways Service: 대화형 모드를 사용하면 노트북이나 터미널에서 JAX 워크로드를 대화형으로 실행, 검사, 디버깅할 수 있습니다. 또한 Shared Pathways Service를 통해 장시간 실행되는 Cloud TPU 슬라이스 풀을 여러 사용자와 작업 간의 필요에 따라 공유할 수 있습니다.


입증된 엔터프라이즈 성과와 고객 도입 확대
최첨단 AI 연구소, 양적 조사 기업, 글로벌 소비자 플랫폼에서 다음과 같이 Cloud Pathways를 도입하여 GKE에서 미션 크리티컬한 프로덕션 워크로드를 실행하고 있습니다.
-
하이퍼스케일 멀티 호스트 추론: 세계 최대 규모의 소비자 기술 기업 중 한 곳은 수만 개의 TPU v5p, Trillium(v6e), Ironwood(TPU7x) 칩에 걸쳐 Cloud Pathways에서 프로덕션 배치 추론과 강화 학습(RL) 추론을 실행하고 있습니다. 이 기업은 분기당 1억 시간이 넘는 칩 사용 시간을 소모하고 있으며, 사전 학습으로 영역을 확장하기 위해 Google과 함께 탄력성 관련 기본 기능을 공동 설계했습니다.
-
과학 파운데이션 모델을 위한 탄력적인 사전 학습 및 멀티 호스트 RL: Google Cloud 고객인 ZenteiQ는 Cluster Toolkit(
gcluster), 코로케이션된 Python 사이드카, 호스트 스냅샷과 함께 GKE 기반 Cloud Pathways를 사용하고 있으며, 이를 통해 과학 파운데이션 모델을 위한 멀티 슬라이스 Trillium(v6e) 클러스터 전반에서 탄력적인 사전 학습(MaxText)과 단일 컨트롤러 강화 학습(MaxText+Tunix)을 확장하고 있습니다.
"고비용 가속기에서 며칠씩 이어지는 사전 학습 및 사후 학습 작업을 수행할 때는 예기치 않은 하드웨어 장애나 예정된 유지보수 기간에도 작업을 중단 없이 안정적으로 이어나가는 것이 무엇보다 중요합니다. ZenteiQ는 Google Cloud AI 하이퍼컴퓨터 스택 기반의 Cloud Pathways로 Cloud TPU와 MaxText를 실행한 덕분에 검증된 컨트롤러를 활용하고 있습니다. 이 컨트롤러는 TPU 토폴로지를 모니터링하다가 칩이나 슬라이스가 오프라인 상태가 되면 워크로드의 메시 구성을 동적으로 재구성하고 크기를 조정합니다. 프로덕션 환경에서 Pathways와 호스트 스냅샷 기능을 함께 활용하자 장애 발생 시 복구 시간이 최소화되었고 작업 중단 시간을 매우 짧게 유지하면서 사용 가능한 TPU 용량을 최대한 활용할 수 있었습니다. 이제 ZenteiQ의 ML 엔지니어들은 작업 상태를 모니터링하거나 수동 재시작을 관리하는 데 시간을 쏟지 않고 연구 워크로드에 집중할 수 있습니다." - Sashikumaar Ganesan 교수, ZenteiQ 설립자
Cloud Pathways 시작하기
Cloud Pathways는 현재 GKE에서 Cloud TPU v5e, TPU v5p, Trillium(TPU v6e), Ironwood(TPU 7x)를 지원하는 모든 Google Cloud 리전에서 정식 버전으로 제공됩니다. 버전이 지정된 컨테이너 이미지(us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways)는 JAX 0.10.1+ 이상을 지원합니다. 또한 Cluster Director의 Slurm TPU 클러스터에서도 Cloud Pathways를 프리뷰 버전으로 사용할 수 있습니다.
Cloud Pathways를 사용하여 개발을 시작하려면 다음 단계를 따르세요.
-
개요 읽기: AI 하이퍼컴퓨터 문서에서 Cloud의 Pathways 소개를 살펴보세요.
-
클러스터 배포하기:
-
GKE: 단계별 안내에 따라 Cluster Toolkit(
gcluster) 또는gcloudCLI를 사용하여 Pathways가 구성된 GKE 클러스터를 만듭니다. -
Slurm: 단계별 안내에 따라 Cluster Director를 통해 Pathways를 배포합니다.
-
워크로드 실행하기: 일괄 워크로드, 대화형 노트북 모드, 복원력과 탄력성을 갖춘 학습, 멀티호스트 추론, JAX 워크로드 포팅, 문제 해결에 대한 프로덕션 가이드를 살펴보세요.



