Cloud TPU에서 학습(TF 2.x)

이 튜토리얼에서는 tf.distribute.TPUStrategy를 사용하여 Cloud TPU에서 Keras ResNet-RS 모델을 학습시키는 방법을 설명합니다. ResNet-RS에 대한 자세한 내용은 ResNet 방문: 개선된 학습 및 확장 전략을 참조하세요.

Cloud TPU에 익숙하지 않은 경우 빠른 시작을 참조하여 TPU와 Compute Engine VM을 만드는 방법을 알아보는 것이 좋습니다.

목표

  • 데이터 세트와 모델 출력을 저장할 Cloud Storage 버킷 만들기
  • ImageNet 데이터 세트와 비슷한 fake/imagenet 데이터 세트 준비
  • 학습 작업 실행
  • 출력 결과 확인

비용

이 문서에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

프로젝트 사용량을 기준으로 예상 비용을 산출하려면 가격 계산기를 사용하세요. Google Cloud를 처음 사용하는 사용자는 무료 체험판을 사용할 수 있습니다.

시작하기 전에

이 튜토리얼을 시작하기 전에 Google Cloud 프로젝트가 올바르게 설정되었는지 확인하세요.

  1. Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

  2. Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

    프로젝트 선택기로 이동

  3. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  4. Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

    프로젝트 선택기로 이동

  5. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

    6. 이 둘러보기에서는 비용이 청구될 수 있는 Google Cloud 구성요소를 사용합니다. 예상 비용은 Cloud TPU 가격 책정 페이지에서 확인하세요. 리소스 사용을 마쳤으면 불필요한 비용이 청구되지 않도록 생성한 리소스를 삭제하세요.

리소스 설정

이 섹션에서는 튜토리얼에 사용할 Cloud Storage 버킷, VM, Cloud TPU 리소스를 설정하는 방법을 설명합니다.

  1. Cloud Shell 창을 엽니다.

    Cloud Shell 열기

  2. 프로젝트 ID의 변수를 만듭니다.

    export PROJECT_ID=project-id

  3. Cloud TPU를 만들려는 위치의 프로젝트가 사용되도록 Google Cloud CLI를 구성합니다.

    gcloud config set project ${PROJECT_ID}

    새 Cloud Shell VM에서 이 명령어를 처음 실행하면 Authorize Cloud Shell 페이지가 표시됩니다. 페이지 하단에 있는 Authorize를 클릭하여 gcloud에서 사용자 인증 정보로 Google Cloud API를 호출하도록 허용합니다.

  4. Cloud TPU 프로젝트의 서비스 계정을 만듭니다.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

    이 명령어는 다음 형식의 Cloud TPU 서비스 계정을 반환합니다. 

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com

  5. 다음 명령어를 사용하여 Cloud Storage 버킷을 만듭니다.

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name

    이 Cloud Storage 버킷은 사용자가 모델 및 학습 결과를 학습시키기 위해 사용하는 데이터를 저장합니다. 이 튜토리얼에서 사용하는 gcloud compute tpus execution-groups 도구는 이전 단계에서 설정한 Cloud TPU 서비스 계정에 대한 기본 권한을 설정합니다. 권한을 더 세분화해야 하는 경우 액세스 수준 권한을 참조하세요.

    버킷 위치는 Compute Engine(VM) 및 Cloud TPU 노드와 동일한 리전에 있어야 합니다.

  6. gcloud 명령어를 사용하여 Compute Engine VM을 실행합니다.

    $ gcloud compute tpus execution-groups create \
 --vm-only \
 --name=resnet-rs-tutorial \
 --zone=europe-west4-a \
 --disk-size=300 \
 --machine-type=n1-standard-16 \
 --tf-version=2.12.0

    명령어 플래그 설명

    vm-only
    VM만 만들고 TPU를 만들지 않습니다.
    name
    만들 TPU의 이름입니다.
    zone
    Cloud TPU를 만들 영역입니다.
    disk-size
    gcloud compute tpus execution-groups 명령어로 생성한 VM의 하드 디스크 크기(GB)입니다.
    machine-type
    생성할 Compute Engine VM의 머신 유형입니다.

    gcloud 명령어에 대한 자세한 내용은 gcloud 참조를 확인하세요.

  7. 프롬프트가 표시되면 y를 눌러서 Cloud TPU 리소스를 만듭니다.

    gcloud compute tpus execution-groups 명령어 실행이 끝나면 셸 프롬프트가 username@projectname에서 username@vm-name으로 변경되었는지 확인합니다. 변경되었다면 Compute Engine VM에 로그인되었다는 의미입니다.

    gcloud compute ssh resnet-rs-tutorial --zone=europe-west4-a

    이 안내에 따라 계속 진행하면서 (vm)$로 시작하는 각 명령어를 Compute Engine 인스턴스에서 실행합니다.

  8. 필요한 패키지를 설치합니다.

    $ pip3 install tensorflow-text==2.8.1 --no-deps

Cloud Storage 버킷 변수 설정

bucket-name을 Cloud Storage 버킷 이름으로 바꿔 다음 환경 변수를 설정합니다.

(vm)$ export STORAGE_BUCKET=gs://bucket-name

(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/resnet-rs-2x
(vm)$ export IMAGENET_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
(vm)$ export PYTHONPATH=/usr/share/models
(vm)$ export TPU_NAME=resnet-rs-tutorial

학습 애플리케이션을 사용하려면 Cloud Storage에서 학습 데이터에 액세스할 수 있어야 합니다. 학습 애플리케이션 역시 학습 도중 Cloud Storage 버킷을 사용하여 체크포인트를 저장합니다.

Cloud TPU 단일 기기 학습 및 평가

ImageNet은 이미지 데이터베이스입니다. 이 데이터베이스의 이미지는 계층 구조로 구성되며, 계층 구조의 각 노드는 수백 또는 수천 개의 이미지로 표현됩니다.

이 가이드에서는 fake_imagenet이라는 전체 ImageNet 데이터 세트의 데모 버전을 사용합니다. 이 데모 버전을 사용하여 가이드를 테스트하면 전체 ImageNet 데이터 세트에 모델을 실행할 때 일반적으로 요구되는 스토리지 및 실행 시간을 줄일 수 있습니다.

fake_imagenet 데이터 세트는 Cloud Storage의 다음 위치에 있습니다.

gs://cloud-tpu-test-datasets/fake_imagenet

fake_imagenet 데이터 세트는 Cloud TPU 사용 방법을 이해하고 엔드 투 엔드 성능을 검증하는 용도로만 사용됩니다. 정확성 숫자와 저장된 모델은 의미가 없습니다.

전체 ImageNet 데이터 세트를 다운로드하고 처리하는 방법은 ImageNet 데이터 세트 다운로드, 사전 처리, 업로드를 참조하세요.

  1. gcloud 명령어를 사용하여 Cloud TPU를 생성합니다.

    $ gcloud compute tpus execution-groups create \
 --tpu-only \
 --accelerator-type=v3-8  \
 --name=resnet-rs-tutorial \
 --zone=europe-west4-a \
 --tf-version=2.12.0

    명령어 플래그 설명

    tpu-only
    TPU만 만들고 VM을 만들지 않습니다.
    accelerator-type
    만들 Cloud TPU의 유형입니다.
    name
    만들 TPU의 이름입니다.
    zone
    Cloud TPU를 만들 영역입니다.
    tf-version
    VM에 설치된 TensorFlow 버전입니다.

  2. TPU_NAME 이름 변수를 설정합니다.

    (vm)$ export TPU_NAME=resnet-rs-tutorial

  3. 학습 스크립트를 실행합니다.

    (vm)$ python3 /usr/share/models/official/vision/beta/train.py \
--experiment=resnet_rs_imagenet \
--mode=train_and_eval \
--model_dir=$MODEL_DIR \
--tpu=$TPU_NAME \
--config_file=/usr/share/models/official/vision/beta/configs/experiments/image_classification/imagenet_resnetrs50_i160.yaml \
--params_override="task.train_data.input_path=$IMAGENET_DIR/train*, task.validation_data.input_path=$IMAGENET_DIR/valid*, trainer.train_steps=100"

    명령어 플래그 설명

    experiment
    실행할 실험의 이름입니다.
    mode
    스크립트를 실행할 모드입니다. 유효한 값은 `train`, `eval` 또는 `train_and_eval`입니다.
    model_dir
    학습 중에 체크포인트와 요약이 저장되는 Cloud Storage 버킷입니다. 기존 폴더를 사용하면 크기와 TensorFlow 버전이 동일한 TPU에서 이전에 생성된 체크포인트를 로드할 수 있습니다.
    tpu
    사용할 TPU의 이름입니다.
    config_file
    스크립트 구성 파일의 경로입니다.
    params_override
    스크립트 구성 파일에 설정된 설정을 재정의합니다.

이렇게 하면 학습 단계 100개에 ResNet-RS를 학습시키고 v3-8 TPU 노드에서 5분 이내에 완료됩니다. 학습 스크립트 출력에는 다음과 같은 텍스트가 포함되어야 합니다.

{
  'train_loss': 1.435225,
  'train_accuracy': 0.00084427913
}

또한 학습 스크립트는 평가도 수행합니다. 평가 결과에는 다음과 같은 텍스트가 포함되어야 합니다.

Run stats:
{
  'eval_loss': 0.861013,
  'eval_acc': 0.001,
  'train_loss': 1.435225,
  'train_acc': 0.00084427913,
  'step_timestamp_log': [
    'BatchTimestamp<batch_index: 0,
    timestamp: 1606330585.7613473>',
    'BatchTimestamp<batch_index: 500,
    timestamp: 1606330883.8486104>',
    'BatchTimestamp<batch_index: 1000,
    timestamp: 1606331119.515312>',
    'BatchTimestamp<batch_index: 1251,
    timestamp: 1606331240.7516596>'
  ],
  'train_finish_time': 1606331296.395158,
  'avg_exp_per_second': 1951.6983246161021
}

ResNet-RS 모델이 수렴되도록 학습시키려면 다음 스크립트와 같이 trainer.train_steps=100 인수를 생략합니다. 학습과 평가는 함께 수행됩니다.

(vm)$ python3 /usr/share/models/official/vision/beta/train.py \
  --experiment=resnet_rs_imagenet \
  --mode=train_and_eval \
  --model_dir=$MODEL_DIR \
  --tpu=$TPU_NAME \
  --config_file=/usr/share/models/official/vision/beta/configs/experiments/image_classification/imagenet_resnetrs50_i160.yaml \
  --params_override="task.train_data.input_path=$IMAGENET_DIR/train*, task.validation_data.input_path=$IMAGENET_DIR/valid*"

명령어 플래그 설명

experiment
실행할 실험의 이름입니다.
mode
스크립트를 실행할 모드입니다. 유효한 값은 `train`, `eval` 또는 `train_and_eval`입니다.
model_dir
학습 중에 체크포인트와 요약이 저장되는 Cloud Storage 버킷입니다. 기존 폴더를 사용하면 크기와 TensorFlow 버전이 동일한 TPU에서 이전에 생성된 체크포인트를 로드할 수 있습니다.
tpu
사용할 TPU의 이름입니다.
config_file
스크립트 구성 파일의 경로입니다.
params_override
스크립트 구성 파일에 설정된 설정을 재정의합니다.

학습 및 평가가 fake_imagenet 데이터 세트를 통해 이루어지므로 출력 결과에는 실제 데이터 세트에서 수행된 학습 및 평가 결과의 실제 출력이 반영되지 않습니다.

여기에서는 이 튜토리얼을 마무리하고 Google Cloud 리소스를 삭제하거나 Cloud TPU Pod에서 모델 실행을 더 살펴볼 수 있습니다.

더 큰 모델 사용

ResNet-RS는 크기가 다양한 더 큰 모델의 모델군을 제공하며 일반적으로 컴퓨팅 비용이 높을수록 정확도가 높아집니다. 자세한 내용은 ResNets 다시 방문: 개선된 학습 및 확장 전략을 참조하세요.

다음 명령어에서 config_file을 변경하면 학습시킬 모델의 크기를 선택할 수 있습니다.

(vm)$ python3 /usr/share/models/official/vision/beta/train.py \
  --experiment=resnet_rs_imagenet \
  --mode=train_and_eval \
  --model_dir=$MODEL_DIR \
  --tpu=$TPU_NAME \
  --config_file=/usr/share/models/official/vision/beta/configs/experiments/image_classification/imagenet_resnetrs200_i256.yaml \
  --params_override="task.train_data.input_path=$IMAGENET_DIR/train*, task.validation_data.input_path=$IMAGENET_DIR/valid*"

사용 가능한 구성은 VM의 /usr/share/models/official/vision/beta/configs/experiments/에 있습니다.

Cloud TPU Pod로 모델 확장

Cloud TPU Pod에서 모델을 학습시키려면 학습 스크립트를 변경해야 할 수 있습니다. 자세한 내용은 TPU Pod에서 학습을 참조하세요.

Cloud TPU Pod로 모델을 확장하여 결과를 더 빠르게 얻을 수 있습니다. 완전히 지원되는 ResNet-RS-50 모델은 다음 포드 슬라이스에서 작동할 수 있습니다.

  • v2-32
  • v3-32

Cloud TPU Pod에서 학습 및 평가는 함께 수행됩니다.

Cloud TPU Pod로 학습

  1. 단일 기기에서 모델 학습을 위해 만든 Cloud TPU 리소스를 삭제합니다.

    (vm)$ gcloud compute tpus execution-groups delete resnet-rs-tutorial \
  --zone=europe-west4-a \
  --tpu-only

  2. 새 포드용 Cloud TPU 리소스를 만들고 accelerator-type 매개변수를 사용하여 사용할 포드 슬라이스를 지정합니다. 예를 들어 다음 명령어에서는 v3-32 포드 슬라이스를 사용합니다.

    (vm)$ gcloud compute tpus execution-groups  create --name=resnet-rs-tutorial \
  --accelerator-type=v3-32  \
  --zone=europe-west4-a \
  --tf-version=2.12.0 \
  --tpu-only

    명령어 플래그 설명

    name
    생성할 Cloud TPU의 이름입니다.
    accelerator-type
    생성할 Cloud TPU의 유형입니다.
    zone
    Cloud TPU를 만들려는 영역입니다.
    tf-version
    Tensorflow gcloud 버전이 VM에 설치됩니다.
    tpu-only
    Cloud TPU만 생성합니다. 기본적으로 gcloud 명령어는 VM과 Cloud TPU를 생성합니다.

  3. 학습 스크립트를 실행합니다.

    (vm)$ python3 /usr/share/models/official/vision/beta/train.py \
--experiment=resnet_rs_imagenet \
--mode=train_and_eval \
--model_dir=$MODEL_DIR \
--tpu=$TPU_NAME \
--config_file=/usr/share/models/official/vision/beta/configs/experiments/image_classification/imagenet_resnetrs50_i160.yaml \
--params_override="task.train_data.input_path=$IMAGENET_DIR/train*, task.validation_data.input_path=$IMAGENET_DIR/valid*, trainer.train_steps=100"

    명령어 플래그 설명

    experiment
    실행할 실험의 이름입니다.
    mode
    스크립트를 실행할 모드입니다. 유효한 값은 `train`, `eval` 또는 `train_and_eval`입니다.
    model_dir
    학습 중에 체크포인트와 요약이 저장되는 Cloud Storage 버킷입니다. 기존 폴더를 사용하면 동일한 크기 및 TensorFlow 버전의 TPU에 생성되어 있는 이전에 생성된 체크포인트를 로드할 수 있습니다.
    tpu
    사용할 TPU의 이름입니다.
    config_file
    스크립트 구성 파일의 경로입니다.
    params_override
    스크립트 구성 파일에 설정된 설정을 재정의합니다.

이렇게 하면 학습 단계 100개에 ResNet-RS를 학습시키고 v3-8 TPU 노드에서 5분 이내에 완료됩니다. 학습 스크립트 출력에는 다음과 같은 텍스트가 포함되어야 합니다.

{
  'train_loss': 1.435225,
  'train_accuracy': 0.00084427913
}

또한 학습 스크립트는 평가도 수행합니다. 평가 결과에는 다음과 같은 텍스트가 포함되어야 합니다.

Run stats:
{
  'eval_loss': 0.861013,
  'eval_acc': 0.001,
  'train_loss': 1.435225,
  'train_acc': 0.00084427913,
  'step_timestamp_log': [
    'BatchTimestamp<batch_index: 0,
    timestamp: 1606330585.7613473>',
    'BatchTimestamp<batch_index: 500,
    timestamp: 1606330883.8486104>',
    'BatchTimestamp<batch_index: 1000,
    timestamp: 1606331119.515312>',
    'BatchTimestamp<batch_index: 1251,
    timestamp: 1606331240.7516596>'
  ],
  'train_finish_time': 1606331296.395158,
  'avg_exp_per_second': 1951.6983246161021
}

학습과 평가는 함께 수행됩니다. 각 세대에는 학습 단계 총 112,590개와 평가 단계 48개에 대한 단계 1,251개가 포함됩니다.

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

  1. Compute Engine 인스턴스에서 연결을 해제합니다.

    (vm)$ exit

    프롬프트가 username@projectname으로 바뀌면 Cloud Shell에 있는 것입니다.

  2. Cloud Shell에서 다음 명령어를 사용하여 Compute Engine VM 및 Cloud TPU를 삭제합니다.

    $ gcloud compute tpus execution-groups delete resnet-rs-tutorial \
  --zone=europe-west4-a

  3. gcloud compute tpus execution-groups list를 실행하여 리소스가 삭제되었는지 확인합니다. 삭제하는 데 몇 분 정도 걸릴 수 있습니다. 다음과 같은 응답이 나타나면 인스턴스가 성공적으로 삭제되었다는 의미입니다.

    $ gcloud compute tpus execution-groups list \
 --zone=europe-west4-a

    다음과 같은 빈 TPU 목록이 표시되어야 합니다.

       NAME             STATUS

  4. 아래와 같이 gsutil을 사용하여 Cloud Storage 버킷을 삭제합니다. bucket-name을 Cloud Storage 버킷 이름으로 바꿉니다.

    $ gsutil rm -r gs://bucket-name

다음 단계

일반적으로 TensorFlow Cloud TPU 튜토리얼에서는 샘플 데이터 세트를 사용하여 모델을 학습시킵니다. 이 학습 결과는 추론에 사용될 수 없습니다. 모델을 추론에 사용하려면 일반에게 공개된 데이터 세트나 자체 데이터 세트에서 데이터를 학습시키면 됩니다. 일반적으로 Cloud TPU에서 학습된 TensorFlow 모델에는 TFRecord 형식의 데이터 세트가 필요합니다.

데이터 세트 변환 도구 샘플을 사용하여 이미지 분류 데이터 세트를 TFRecord 형식으로 변환할 수 있습니다. 이미지 분류 모델을 사용하지 않는 경우에는 데이터 세트를 직접 TFRecord 형식으로 변환해야 합니다. 자세한 내용은 TFRecord 및 tf.Example을 참조하세요.

초매개변수 조정

데이터 세트로 모델 성능을 개선하려면 모델 초매개변수를 조정하면 됩니다. GitHub에서 모든 TPU 지원 모델에 공통된 초매개변수에 대한 정보를 확인할 수 있습니다. 모델별 초매개변수에 대한 정보를 각 모델의 소스 코드에서 확인할 수 있습니다. 초매개변수 조정 방법에 대한 자세한 내용은 초매개변수 조정 개요 및 초매개변수 조정을 참조하세요.

추론

일단 모델을 학습시키면 추론(예측이라고도 함)에 사용할 수 있습니다. Cloud TPU 추론 변환기 도구를 사용하여 Cloud TPU v5e에서 추론을 위한 TensorFlow 모델을 준비하고 최적화할 수 있습니다. Cloud TPU v5e에서 추론에 대한 자세한 내용은 Cloud TPU v5e 추론 소개를 참조하세요.