Cloud TPU에서 AmoebaNet-D 학습

AmoebaNet-D 모델은 진화형 AutoML을 사용하여 발견한 이미지 분류기 아키텍처 중 하나입니다. 이 모델은 AmoebaNet 논문(레알, E., 애거월, A., 후앙, Y., 르, Q.V., 2018, Regularized Evolution for Image Classifier Architecture Search, arXiv 견본인쇄 arXiv:1802.01548)을 기반으로 합니다.

이 모델은 Cloud TPU에서 머신러닝 모델을 빌드하고 실행하는 데 권장되는 TPUEstimator(높은 수준의 TensorFlow API)를 사용합니다.

API는 낮은 수준의 구현체를 대부분 숨기는 방식으로 모델 개발 프로세스를 간소화합니다. 이로써 GPU나 CPU와 같은 다른 플랫폼과 TPU 간의 전환이 쉬워집니다.

목표

  • 데이터 세트와 모델 출력을 저장할 Cloud Storage 버킷 만들기
  • fake_imagenet 데이터 세트라는 ImageNet 데이터 세트의 테스트 버전 준비
  • 학습 작업 실행
  • 출력 결과 확인

비용

이 가이드에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

가격 계산기를 사용하면 예상 사용량을 기준으로 예상 비용을 산출할 수 있습니다. Google Cloud를 처음 사용하는 사용자는 무료 체험판을 사용할 수 있습니다.

시작하기 전에

이 가이드를 시작하기 전에 Google Cloud 프로젝트가 올바르게 설정되었는지 확인하세요.

  1. Google 계정으로 로그인합니다.

    아직 계정이 없으면 새 계정을 등록하세요.

  2. Cloud Console의 프로젝트 선택기 페이지에서 Cloud 프로젝트를 선택하거나 만듭니다.

    프로젝트 선택기 페이지로 이동

  3. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다. 프로젝트에 결제가 사용 설정되어 있는지 확인하는 방법을 알아보세요.

  4. 이 둘러보기에서는 비용이 청구될 수 있는 Google Cloud 구성요소를 사용합니다. 예상 비용은 Cloud TPU 가격 책정 페이지에서 확인하세요. 리소스 사용을 마쳤으면 불필요한 비용이 청구되지 않도록 생성한 리소스를 삭제하세요.

리소스 설정

이 섹션에서는 가이드에 사용할 Cloud Storage 버킷, VM, Cloud TPU 리소스를 설정하는 방법을 설명합니다.

  1. Cloud Shell 창을 엽니다.

    Cloud Shell 열기

  2. 프로젝트 ID의 변수를 만듭니다.

    export PROJECT_ID=project-id
    
  3. Cloud TPU를 만들려는 프로젝트를 사용하도록 gcloud 명령줄 도구를 구성합니다.

    gcloud config set project ${PROJECT_ID}
    
  4. 다음 명령어를 사용하여 Cloud Storage 버킷을 만듭니다.

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
    

    이 Cloud Storage 버킷은 사용자가 모델 및 학습 결과를 학습시키기 위해 사용하는 데이터를 저장합니다. 이 가이드에서 사용하는 ctpu up 도구는 Cloud TPU 서비스 계정에 대한 기본 권한을 설정합니다. 권한을 더 세분화해야 하는 경우 액세스 수준 권한을 참조하세요.

    버킷 위치는 가상 머신(VM) 및 TPU 노드와 동일한 리전에 있어야 합니다. VM 및 TPU 노드는 리전 내 구획인 특정 영역에 있습니다.

  5. ctpu up 명령어를 사용하여 여기에 필요한 Compute Engine 및 Cloud TPU 리소스를 시작합니다.

    ctpu up --zone=europe-west4-a \
     --vm-only \
     --disk-size-gb=300 \
     --machine-type=n1-standard-8 \
     --tf-version=1.15.3 \
     --name=amoebanet-tutorial

    CTPU 유틸리티에 대한 자세한 내용은 CTPU 참조를 확인하세요.

  6. 프롬프트가 표시되면 y를 눌러서 Cloud TPU 리소스를 만듭니다.

ctpu up 명령어 실행이 끝나면 셸 프롬프트가 username@projectname에서 username@vm-name으로 변경되었는지 확인합니다. 변경되었다면 Compute Engine VM에 로그인되었다는 의미입니다. Compute Engine 인스턴스에 연결되어 있지 않으면 다음 명령어를 실행하여 수행할 수 있습니다.

gcloud compute ssh amoebanet-tutorial --zone=europe-west4-a

여기에서 (vm)$ 프리픽스는 Compute Engine VM 인스턴스에서 명령어를 실행해야 한다는 의미입니다.

데이터 준비

학습 애플리케이션을 사용하려면 Cloud Storage에서 학습 데이터에 액세스할 수 있어야 합니다. 학습 애플리케이션 역시 학습 도중 Cloud Storage 버킷을 사용하여 체크포인트를 저장합니다.

fake_imagenet을 사용하여 AmoebaNet-D 모델 학습 및 평가

ImageNet은 이미지 데이터베이스입니다. 이 데이터베이스의 이미지는 계층 구조로 구성되며, 계층 구조의 각 노드는 수백 또는 수천 개의 이미지로 표현됩니다.

이 가이드에서는 fake_imagenet이라는 전체 ImageNet 데이터 세트의 데모 버전을 사용합니다. 이 데모 버전을 사용하여 가이드를 테스트하면 전체 ImageNet 데이터 세트에 모델을 실행할 때 일반적으로 요구되는 스토리지 및 실행 시간을 줄일 수 있습니다.

fake_imagenet 데이터 세트는 Cloud TPU 사용 방법을 이해하고 엔드 투 엔드 성능을 검증하는 용도로만 사용됩니다. 정확성 숫자와 저장된 모델은 의미가 없습니다.

전체 ImageNet 데이터 세트를 다운로드하고 처리하는 방법은 ImageNet 데이터 세트 다운로드, 사전 처리, 업로드를 참조하세요.

다음 단계에서 (vm)$ 프리픽스는 Compute Engine VM에서 명령어를 실행해야 한다는 의미입니다.

  1. ctpu 유틸리티를 사용하여 Cloud TPU 리소스를 시작합니다.

    (vm)$ ctpu up --tpu-only \
     --name=amoebanet-tutorial \
     --tf-version=1.15.3
    
  2. bucket-name을 Cloud Storage 버킷 이름으로 바꿔 다음 환경 변수를 설정합니다.

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/amoebanet
    (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/tpu/models"
    
    (vm)$ export TPU_NAME=amoebanet-tutorial
    
  3. 디렉터리로 이동합니다.

    (vm)$ cd /usr/share/tpu/models/official/amoeba_net/
    
  4. 학습 스크립트를 실행합니다.

    (vm)$ python3 amoeba_net.py \
       --tpu=${TPU_NAME} \
       --data_dir=${DATA_DIR} \
       --model_dir=${MODEL_DIR} \
       --num_epochs=1
    
    매개변수 설명
    tpu Cloud TPU의 이름을 지정합니다. ctpu는 이 이름을 Compute Engine VM에 환경 변수(TPU_NAME)로 전달합니다.
    data_dir 학습 입력을 위한 Cloud Storage 경로를 지정합니다. 이 예시에서는 fake_imagenet 데이터 세트로 설정됩니다.
    model_dir 모델 학습 중에 체크포인트와 요약이 저장되는 디렉터리를 지정합니다. 폴더가 없는 경우에는 프로그램이 폴더를 만듭니다. Cloud TPU를 사용할 때 model_dir은 Cloud Storage 경로(`gs://...`)여야 합니다. 이전 체크포인트가 동일한 크기 및 TensorFlow 버전의 TPU를 사용하여 생성되어 있는 한 기존 폴더를 다시 사용하여 현재 체크포인트 데이터를 로드하고 추가 체크포인트를 저장할 수 있습니다.

단일 Cloud TPU 기기의 경우 이 절차는 AmoebaNet-D 모델을 1세대 동안 학습시키고 고정된 단계 수마다 평가합니다. 지정된 플래그를 사용하면 모델이 v3-8 Cloud TPU에서 약 30분 내에 학습됩니다. 수렴 단계까지 학습시키려면 약 90세대와 약 10시간이 걸립니다.

학습 및 평가가 fake_imagenet 데이터 세트를 통해 이루어지므로 출력 결과에는 실제 데이터 세트에서 수행된 학습 및 평가 결과의 실제 출력이 반영되지 않습니다.

여기에서는 이 가이드를 마무리하고 GCP 리소스를 삭제하거나 Cloud TPU Pod에서 모델 실행을 더 살펴볼 수 있습니다.

Cloud TPU Pod로 모델 확장

Cloud TPU Pod로 모델을 확장하여 결과를 더 빠르게 얻을 수 있습니다. 완전히 지원되는 AmoebaNet 모델은 다음 Pod 슬라이스에서 작동할 수 있습니다.

  • v2-32
  • v3-32

Cloud TPU Pod를 사용할 때는 먼저 pod를 사용하여 모델을 학습시키고, 단일 Cloud TPU 기기를 사용하여 모델을 평가합니다.

Cloud TPU Pod로 학습

  1. 단일 기기에서 모델 학습을 위해 만든 Cloud TPU 리소스를 삭제합니다.

    (vm)$ ctpu delete --tpu-only \
     --name=amoebanet-tutorial \
     --zone=europe-west4-a
  2. ctpu up 명령어를 실행하고 tpu-size 매개변수로 사용하려는 Pod 슬라이스를 지정합니다. 예를 들어 다음 명령어는 v2-32 Pod 슬라이스를 사용합니다.

    (vm)$ ctpu up --tpu-only \
    --tf-version=1.15.3 \
    --tpu-size=v2-32 \
    --name=amoebanet-tutorial-pod \
    --zone=europe-west4-a
    
  3. 학습 데이터를 저장하도록 MODEL_BUCKET 디렉터리를 업데이트합니다.

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/amoebanet-tutorial-pod
    (vm)$ export TPU_NAME=amoebanet-tutorial-pod
    
  4. Compute Engine VM에서 다음 플래그를 사용하여 모델을 학습시킵니다.

    (vm)$ python3 amoeba_net.py \
       --tpu=${TPU_NAME} \
       --data_dir=${DATA_DIR} \
       --model_dir=${MODEL_DIR} \
       --num_cells=6 \
       --image_size=224 \
       --num_epochs=1 \
       --train_batch_size=4096 \
       --eval_batch_size=1000 \
       --lr=10.24 \
       --lr_decay_value=0.88 \
       --num_shards=32 \
       --lr_warmup_epochs=0.35 \
       --mode=train \
       --iterations_per_loop=1000
    
    매개변수 설명
    tpu Cloud TPU의 이름을 지정합니다. ctpu는 이 이름을 Compute Engine VM에 환경 변수(TPU_NAME)로 전달합니다.
    data_dir 학습 입력을 위한 Cloud Storage 경로를 지정합니다. 이 예시에서는 fake_imagenet 데이터 세트로 설정됩니다.
    model_dir 모델 학습 중에 체크포인트와 요약이 저장되는 디렉터리를 지정합니다. 폴더가 없는 경우에는 프로그램이 폴더를 만듭니다. Cloud TPU를 사용할 때 `model_dir`은 Cloud Storage 경로(`gs://...`)여야 합니다. 이전 체크포인트가 동일한 크기 및 TensorFlow 버전의 TPU를 사용하여 생성되어 있는 한 기존 폴더를 다시 사용하여 현재 체크포인트 데이터를 로드하고 추가 체크포인트를 저장할 수 있습니다.

이 절차는 fake_imagnet 데이터 세트로 AmoebaNet-D 모델을 1세대 동안 학습시킵니다. 이 학습은 v2-32 Cloud TPU에서 10분 정도 걸립니다. 약 35세대 내에 수렴 단계까지 학습시킵니다.

모델 평가

평가는 단일 Cloud TPU 기기에서 실행되어야 하므로 Pod TPU를 삭제하고 새로운 단일 Cloud TPU 기기를 만들어야 합니다. 그런 다음 이 Cloud TPU를 사용하여 fake_imagenet 검증 데이터에 위의 학습된 모델을 평가합니다.

  1. 단일 기기에서 모델 학습을 위해 만든 Cloud TPU 리소스를 삭제합니다.

    (vm)$ ctpu delete --tpu-only \
     --name=amoebanet-tutorial-pod \
     --zone=europe-west4-a
  2. 사용할 Cloud TPU를 지정하기 위해 tpu-size 매개 변수를 사용하여 ctpu up 명령어를 실행합니다. 예를 들어, 다음 명령은 v3-8 TPU 유형을 사용합니다.

    (vm)$ ctpu up --tpu-only \
    --tf-version=1.15.3 \
    --tpu-size=v3-8 \
    --name=amoebanet-tutorial-eval \
    --zone=europe-west4-a
    
  3. Pod 학습 데이터를 가리키도록 MODEL_BUCKET 디렉터리를 업데이트합니다.

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/amoebanet-tutorial-pod
    (vm)$ export TPU_NAME=amoebanet-tutorial-eval
    
  4. 다음 플래그를 사용하여 모델 평가를 실행합니다.

    (vm)$ python3 amoeba_net.py \
    --tpu=${TPU_NAME} \
    --data_dir=${DATA_DIR} \
    --model_dir=${MODEL_DIR} \
    --num_cells=6 \
    --image_size=224 \
    --train_batch_size=4096 \
    --eval_batch_size=1000 \
    --mode=eval \
    --iterations_per_loop=1000
    

그러면 다음과 비슷한 출력이 생성됩니다.

Evaluation results: {'loss': 6.908725, 'top_1_accuracy': 0.001, 'global_step': 10955, 'top_5_accuracy': 0.005}

학습 및 평가가 fake_imagenet 데이터 세트를 통해 이루어지므로 출력 결과에는 실제 데이터 세트에서 수행된 학습 및 평가 결과의 실제 출력이 반영되지 않습니다.

더 큰 Cloud TPU Pod 슬라이스 사용

더 큰 Cloud TPU Pod 슬라이스를 사용하여 모델을 시험해 볼 수도 있습니다. 다음 표에는 이러한 슬라이스에 대한 권장 값이 나와 있습니다.

매개변수 설명 코어 128개 코어 256개
num_cells 총 셀 수 6 6
image_size 이미지 높이와 너비를 고려한 이미지의 크기 224 224
num_epochs 학습에 사용할 단계 수 60 90
train_batch_size 학습에 사용할 전역(샤드 기준이 아님) 배치 크기 8192 16384
lr 학습률 20.48 40.96
lr_decay_value 학습률 조정에 사용된 지수 감소 비율 0.91 0.94
num_shards 샤드 수(TPU 코어 수) 128 256

삭제

이 가이드에서 사용한 리소스 비용이 Google Cloud Platform 계정에 청구되지 않도록 하려면 다음 안내를 따르세요.:

  1. Cloud TPU를 삭제합니다.

    $ ctpu delete --tpu-only \
      --name=amoebanet-tutorial-eval \
      --zone=europe-west4-a
    
  2. Compute Engine 인스턴스에서 연결을 해제합니다.

    (vm)$ exit
    

    프롬프트가 username@projectname으로 바뀌면 Cloud Shell에 있는 것입니다.

  3. Cloud Shell에서 Cloud TPU를 설정할 때 사용한 --zone 플래그로 ctpu delete를 실행하여 Compute Engine VM과 Cloud TPU를 삭제합니다.

    $ ctpu delete --vm-only --name=amoebanet-tutorial --zone=europe-west4-a
    
  4. TPU 사용에 대한 불필요한 요금 청구를 방지하기 위해 ctpu status를 실행하여 할당된 인스턴스가 없는지 확인합니다. 삭제하는 데 몇 분 정도 걸릴 수 있습니다. 다음과 같은 응답이 나타나면 더 이상 할당된 인스턴스가 없다는 의미입니다.

    2018/04/28 16:16:23 WARNING: Setting zone to "europe-west4-a"
    No instances currently exist.
            Compute Engine VM:     --
            Cloud TPU:             --
    
  5. 아래와 같이 gsutil을 실행하여 bucket-name을 이 가이드에서 만든 Cloud Storage 버킷 이름으로 바꿉니다.

    $ gsutil rm -r gs://bucket-name
    

다음 단계

이 가이드에서는 샘플 데이터 세트를 사용하여 AmoebaNet-D 모델을 학습시켰습니다. 이 학습 결과는 (대부분의 경우) 추론에 사용할 수 없습니다. 추론에 모델을 사용하려면 일반에 공개된 데이터 세트 또는 자체 데이터 세트에서 데이터를 학습시킵니다. Cloud TPU에서 학습된 모델은 데이터 세트가 TFRecord 형식이어야 합니다.

데이터 세트 변환 도구 샘플을 사용하여 이미지 분류 데이터 세트를 TFRecord 형식으로 변환할 수 있습니다. 이미지 분류 모델을 사용하지 않는 경우 데이터 세트를 직접 TFRecord 형식으로 변환해야 합니다. 자세한 내용은 TFRecord 및 tf.Example을 참조하세요.

초매개변수 조정

데이터 세트로 모델의 성능을 개선하려면 모델의 초매개변수를 조정하면 됩니다. GitHub에서 모든 TPU 지원 모델에 공통된 초매개변수에 대한 정보를 확인할 수 있습니다. 모델별 초매개변수에 대한 정보는 각 모델의 소스 코드에서 확인할 수 있습니다. 초매개변수 조정에 대한 자세한 내용은 초매개변수 조정 개요, 초매개변수 조정 서비스 사용, 초매개변수 조정을 참조하세요.

추론

일단 모델을 학습시키면 추론(예측이라고도 함)에 사용할 수 있습니다. AI Platform은 머신러닝 모델을 개발, 학습, 배포하기 위한 클라우드 기반 솔루션입니다. 모델이 배포되면 AI Platform Prediction 서비스를 사용할 수 있습니다.