Cloud TPU에서 PyTorch를 사용하여 Resnet50 학습

---

이 튜토리얼에서는 Cloud TPU 기기에서 PyTorch를 사용하여 ResNet-50 모델을 학습시키는 방법을 보여줍니다. PyTorch 및 ImageNet 데이터 세트를 사용하는 다른 TPU 최적화 이미지 분류 모델에 같은 패턴을 적용할 수 있습니다.

이 모델은 최초로 레지듀얼 네트워크(ResNet) 아키텍처를 도입한 이미지 인식을 위한 딥 레지듀얼 학습을 바탕으로 합니다. 이 튜토리얼에서는 50 레이어 변형판 ResNet-50을 사용하며 PyTorch/XLA를 통한 모델 학습을 보여줍니다.

경고: 이 튜토리얼은 제3자 데이터 세트를 사용합니다. Google은 이 데이터 세트의 유효성을 비롯하여 어떠한 특성에 대해서도 진술, 보증 또는 기타 보장을 제공하지 않습니다.

목표

• 데이터 세트를 준비합니다.
• 학습 작업을 실행합니다.
• 출력 결과 확인

비용

이 문서에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

• Compute Engine
• Cloud TPU

프로젝트 사용량을 기준으로 예상 비용을 산출하려면 가격 계산기를 사용하세요. Google Cloud를 처음 사용하는 사용자는 무료 체험판을 사용할 수 있습니다.

시작하기 전에

이 튜토리얼을 시작하기 전에 Google Cloud 프로젝트가 올바르게 설정되었는지 확인하세요.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

이 둘러보기에서는 비용이 청구될 수 있는 Google Cloud 구성요소를 사용합니다. 예상 비용은 Cloud TPU 가격 책정 페이지에서 확인하세요. 리소스 사용을 마쳤으면 불필요한 비용이 청구되지 않도록 생성한 리소스를 삭제하세요.

TPU VM 만들기

1. Cloud Shell 창을 엽니다.

   Cloud Shell 열기

2. TPU VM을 만듭니다.

   gcloud compute tpus tpu-vm create your-tpu-name \
   --accelerator-type=v4-8 \
   --version=tpu-ubuntu2204-base \
   --zone=us-central2-b \
   --project=your-project

   참고: 새 Cloud Shell VM에서 명령어를 처음 실행하면 Authorize Cloud Shell 페이지가 표시됩니다. 페이지 하단에 있는 Authorize를 클릭하여 gcloud에서 사용자 인증 정보로 Google Cloud API를 호출하도록 허용합니다.

3. SSH를 사용하여 TPU VM에 연결합니다.

   gcloud compute tpus tpu-vm ssh  your-tpu-name --zone=us-central2-b

4. TPU VM에 PyTorch/XLA를 설치합니다.

   (vm)$ pip install torch~=2.4.0 torch_xla[tpu]~=2.4.0 torchvision -f https://storage.googleapis.com/libtpu-releases/index.html

5. PyTorch/XLA GitHub 저장소를 클론합니다.

   (vm)$ git clone --depth=1 --branch r2.4 https://github.com/pytorch/xla.git

6. 허위 데이터로 학습 스크립트를 실행합니다.

   (vm) $ PJRT_DEVICE=TPU python3 xla/test/test_train_mp_imagenet.py --fake_data --batch_size=256 --num_epochs=1

허위 데이터를 사용하여 모델을 학습시킬 수 있으면 ImageNet과 같은 실제 데이터에서 학습을 시도할 수 있습니다. ImageNet 다운로드에 대한 안내는 ImageNet 다운로드를 참조하세요. 학습 스크립트 명령어에서 --datadir 플래그는 학습시킬 데이터 세트의 위치를 지정합니다. 다음 명령어는 ImageNet 데이터 세트가 ~/imagenet에 있다고 가정합니다.

   (vm) $ PJRT_DEVICE=TPU python3 xla/test/test_train_mp_imagenet.py  --datadir=~/imagenet --batch_size=256 --num_epochs=1
   

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

1. TPU VM에서 연결을 해제합니다.

   (vm) $ exit

   프롬프트가 username@projectname으로 바뀌면 Cloud Shell에 있는 것입니다.

2. TPU VM을 삭제합니다.

   $ gcloud compute tpus tpu-vm delete resnet50-tutorial \
      --zone=us-central2-b

다음 단계

• PyTorch를 사용한 분산 모델 학습
• TPU에서 PyTorch 문제 해결
• PyTorch/XLA 문서