Cloud TPU에서 PyTorch/XLA를 정식 버전으로 제공

* 본 아티클의 원문은 2020년 9월 30일 Google Cloud 블로그(영문)에 게재되었습니다. 

우수한 유연성과 사용 편의성 덕분에 머신러닝(ML) 커뮤니티에서 널리 사용되는 PyTorch 머신러닝 프레임워크가 이제 Google Cloud 전반에서 지원됩니다. 오늘 Google은 Cloud TPU에서 PyTorch/XLA 지원이 이제 정식 버전으로 제공된다는 소식을 전해드립니다. 이에 따라 PyTorch 사용자는 안정적이고 우수한 지원을 받는 PyTorch 통합을 사용하여 저비용의 대규모Cloud TPU 하드웨어 가속에 액세스할 수 있습니다.

PyTorch/XLA는 PyTorch의 직관적인 API에 XLA 선형 대수 컴파일러의 장점을 더해 CPU, GPU와 더불어 Cloud TPU Pod를 포함한 Cloud TPU를 타겟팅할 수 있습니다. PyTorch/XLA는 대부분의 표준 PyTorch 프로그램을 거의 수정 없이 실행하고 아직 TPU에서 지원되지 않는 작업을 실행할 때는 CPU로 돌아갑니다. PyTorch 사용자는 PyTorch/XLA에서 생성하는 상세 보고서를 활용하여 병목 현상을 찾고 프로그램이 Cloud TPU에서 프로그램을 보다 효율적으로 실행되도록 조정할 수 있습니다.

매사추세츠공과대학교(MIT)에서 박사 과정을 밟고 있는 조나단 프랭클은 “PyTorch/XLA 덕분에 PyTorch 워크플로를 거의 수정하지 않고도 Cloud TPU에서 수천 건의 실험을 실행할 수 있었습니다. PyTorch의 용이성과 TPU의 속도 및 비용 효율성이라는 장점을 모두 누릴 수 있습니다”라고 말했습니다. 프랭클은 ICLR 2019에서 최우수 논문상을 수상한 획기적인 연구인 '복권 가설 : 훈련 가능한 희소 신경망 찾기'와 관련된 최신 연구를 PyTorch/XLA를 사용하여확장했습니다. 

앨런 AI 연구소(AI2)는 최근 여러 프로젝트에서 Cloud TPU에 PyTorch/XLA를 사용했습니다. AI2의 연구 과학자인 매튜 피터스는 최첨단 언어 모델에 시각적 구성요소를 추가하여 언어 이해 능력을 향상시키는 방법을 조사하기 위해 현재 PyTorch/XLA를 사용하고 있습니다. "PyTorch/XLA는 여전히 신기술이지만 머신러닝 모델 학습을 위해 이미 PyTorch에 투자한 조직에 큰 가능성을 약속하는 새로운 플랫폼을 제공합니다”라고 피터스는 말했습니다. 

Google Cloud는 PyTorch/XLA를 시작하는 데 도움이 되도록 널리 사용되는 딥 러닝 모델과 관련 가이드의 오픈소스 구현 집합을 점점 더 많이 지원하고 있습니다. ResNet-50, Fairseq Transformer, Fairseq RoBERTa와 더불어 이제 DLRM 가이드도 제공됩니다. 또한 Google은 ML 모델의 지속적인 테스트를 지원하는 오픈소스 도구를 개발 중이며 PyTorch Lightning 및 Hugging Face팀이 이 프레임워크를 사용하여 Cloud TPU에서 자체 테스트를 진행할 수 있도록 도왔습니다. (PyTorch Lightning팀의 관련 블로그 게시물을 확인해 보세요.)

위의 가이드 링크를 확인하고, Colab을 통해 내 브라우저에서 PyTorch/XLA를 실험하고, PyTorch/XLA GitHub 저장소에 문제 및 pull 요청을 게시하세요. 또한 PyTorch 1.6과 함께 PyTorch/XLA가 사전 설치된 새로운 딥 러닝 VM(DLVM) 이미지가 출시되었습니다. 새 DLVM 이미지를 빠르게 시작하는 방법에 대한 안내를 확인해 보세요.