Cloud TPU에서 MNIST 실행(TF 2.x)

이 가이드에는 MNIST 모델에 관한 대략적인 설명, MNIST 텐서플로우 TPU 코드 샘플을 다운로드하는 안내, Cloud TPU에서 코드를 실행하는 방법이 나와 있습니다.

면책조항

이 가이드는 제3자 데이터세트를 사용합니다. Google은 이 데이터세트의 유효성을 비롯한 그 어떤 특성에 대한 진술, 보증 또는 기타 보장을 제공하지 않습니다.

모델 설명

MNIST 데이터세트에는 0에서 9 사이의 숫자 필기 이미지 다수와 각 이미지의 숫자를 식별하는 라벨이 포함되어 있습니다.

이 가이드는 MNIST 데이터세트를 기반으로 이미지를 식별하도록 머신러닝 모델을 학습시킵니다. 학습된 모델은 MNIST 데이터세트를 통해 필기 이미지에 대해 학습한 내용을 바탕으로 입력되는 이미지를 10개의 카테고리(0~9)로 분류합니다. 그런 다음 모델에 새로운 이미지를 전송하면 모델은 학습한 내용을 기반으로 이미지의 숫자를 식별합니다.

MNIST 데이터 세트는 세 개의 파트로 나뉩니다.

  • 학습 데이터 예시 60,000개
  • 테스트 데이터 예시 10,000개
  • 검증 데이터 예시 5,000개

MNIST 데이터베이스 사이트에서 데이터세트에 관해 자세히 알아보세요.

이 모델은 다음과 같은 7가지 레이어의 조합으로 이루어져 있습니다.

  • 합성곱 2개
  • 최대 풀링 2개
  • 밀집 2개(완전 연결형)
  • 드롭아웃 1개

손실은 범주형 교차 엔트로피를 통해 계산됩니다.

이 버전의 MNIST 모델은 Cloud TPU에서 머신러닝 모델을 빌드하고 실행하는 데 권장되는 Keras API를 사용합니다.

Keras는 낮은 수준의 구현체를 대부분 숨기는 방식으로 모델 개발 프로세스를 간소화합니다. 이로써 GPU나 CPU와 같은 다른 테스트 플랫폼과 TPU 간의 전환이 쉬워집니다.

목표

  • 데이터 세트와 모델 출력을 저장할 Cloud Storage 버킷 만들기
  • 학습 작업 실행
  • 출력 결과를 확인합니다.

비용

이 가이드에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

가격 계산기를 사용하여 예상 사용량을 기준으로 예상 비용을 산출합니다. Google Cloud를 처음 사용하는 사용자는 무료 체험판을 사용할 수 있습니다.

시작하기 전에

이 섹션에서는 Cloud Storage 버킷 및 Compute Engine VM 설정에 대한 정보를 제공합니다.

  1. Cloud Shell 창을 엽니다.

    Cloud Shell 열기

  2. 프로젝트 ID의 변수를 만듭니다.

    export PROJECT_ID=project-id
    
  3. Cloud TPU를 만들려는 프로젝트를 사용하도록 gcloud 명령줄 도구를 구성합니다.

    gcloud config set project ${PROJECT_ID}
    
  4. Cloud TPU 프로젝트의 서비스 계정을 만듭니다.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    이 명령어는 다음 형식의 Cloud TPU 서비스 계정을 반환합니다.

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. 다음 명령어를 사용하여 Cloud Storage 버킷을 만듭니다.

    gsutil mb -p ${PROJECT_ID} -c standard -l us-central1 -b on gs://bucket-name
    

    이 Cloud Storage 버킷은 사용자가 모델 및 학습 결과를 학습시키기 위해 사용하는 데이터를 저장합니다. 이 가이드에서 사용하는 ctpu up 도구는 이전 단계에서 설정한 Cloud TPU 서비스 계정에 대한 기본 권한을 설정합니다. 권한을 더 세분화해야 하는 경우 액세스 수준 권한을 참조하세요.

  6. Compute Engine VM 및 Cloud TPU를 실행하려면 ctpu up 명령어를 사용합니다.

    $ ctpu up --zone=us-central1-b \
     --tf-version=2.3.1 \
     --name=mnist-tutorial
    

    명령어 플래그 설명

    zone
    Cloud TPU를 생성하려는 영역입니다.
    tf-version
    Tensorflow ctpu 버전이 VM에 설치됩니다.
    name
    생성할 Cloud TPU의 이름입니다.

    CTPU 유틸리티에 대한 자세한 내용은 CTPU 참조를 확인하세요.

  7. 설정한 구성이 표시됩니다. 승인하려면 y를, 취소하려면 n을 누릅니다.

  8. ctpu up 명령어 실행이 끝나면 셸 프롬프트가 username@projectname에서 username@vm-name으로 변경되었는지 확인합니다. 변경되었다면 Compute Engine VM에 로그인되었다는 의미입니다.

    gcloud compute ssh mnist-tutorial --zone=us-central1-b
    

    이 안내에 따라 계속 진행하면서 (vm)$로 시작하는 각 명령을 VM 세션 창에서 실행합니다.

  9. TPU 이름의 환경 변수를 만듭니다.

    (vm)$ export TPU_NAME=mnist-tutorial
    
  10. 추가 패키지를 설치합니다.

    MNIST 학습 애플리케이션에는 추가 패키지가 필요합니다. 지금 설치합니다.

    (vm)$ sudo pip3 install tensorflow-model-optimization>=0.1.3
    

단일 Cloud TPU 기기 학습

MNIST TPU 모델의 소스 코드는 GitHub에서 이용할 수 있습니다.

  1. 다음 변수를 설정합니다. 여기에서 bucket-name을 내 버킷 이름으로 바꿉니다.

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mnist
    (vm)$ export DATA_DIR=${STORAGE_BUCKET}/data
    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
    
  2. 모델을 저장하는 디렉터리로 변경합니다.

    (vm)$ cd /usr/share/models/official/vision/image_classification
    
  3. MNIST 학습 스크립트를 실행합니다.

    (vm)$ python3 mnist_main.py \
      --tpu=${TPU_NAME} \
      --model_dir=${MODEL_DIR} \
      --data_dir=${DATA_DIR} \
      --train_epochs=10 \
      --distribution_strategy=tpu \
      --download
    

    명령어 플래그 설명

    tpu
    Cloud TPU의 이름입니다. Compute Engine VM 및 Cloud TPU를 설정할 때 지정하지 않은 경우 기본값은 사용자 이름입니다.
    model_dir
    모델 파일이 있는 디렉터리입니다. 이 가이드에서는 Cloud Storage 버킷 내 폴더를 사용합니다. 이 폴더를 미리 만들 필요는 없습니다. 폴더가 아직 없으면 스크립트가 폴더를 만듭니다.
    data_dir
    학습 입력의 Cloud Storage 경로입니다. 이 예시에서는 fake_imagenet 데이터 세트로 설정됩니다.
    train_epochs
    전체 데이터 세트를 사용하여 모델을 학습시키는 횟수입니다.
    distribution_strategy
    Cloud TPU에서 ResNet 모델을 학습시키려면 distribution_strategytpu로 설정합니다.
    download
    true로 설정하면 아직 다운로드하지 않은 경우 스크립트가 MNIST 데이터 세트를 다운로드하고 사전 처리합니다.

학습 스크립트는 v3-8 Cloud TPU에서 5분 이내에 실행되며 다음과 비슷한 출력을 표시합니다.

I1203 03:43:15.936553 140096948798912 mnist_main.py:165]
Run stats: {'loss': 0.11427700750786683, 'training_accuracy_top_1': 0.9657697677612305,
'accuracy_top_1': 0.9730902910232544, 'eval_loss': 0.08600160645114051}

삭제

이 가이드에서 사용한 리소스 비용이 Google Cloud Platform 계정에 청구되지 않도록 하려면 다음 안내를 따르세요.

  1. Compute Engine 인스턴스에서 연결을 해제합니다.

    (vm)$ exit
    

    프롬프트가 username@projectname으로 바뀌면 Cloud Shell에 있는 것입니다.

  2. Cloud Shell에서 Compute Engine VM 및 Cloud TPU를 설정할 때 사용한 --name--zone 플래그로 ctpu delete를 실행합니다. 이렇게 하면 VM 및 Cloud TPU가 모두 삭제됩니다.

    $ ctpu delete --name=mnist-tutorial --zone=us-central1-b
    
  3. TPU 사용에 대한 불필요한 요금 청구를 방지하기 위해 ctpu status를 실행하여 할당된 인스턴스가 없는지 확인합니다. 삭제하는 데 몇 분 정도 걸릴 수 있습니다. 다음과 같은 응답이 나타나면 더 이상 할당된 인스턴스가 없다는 의미입니다.

    $ ctpu status --name=mnist-tutorial --zone=us-central1-b
    
    2018/04/28 16:16:23 WARNING: Setting zone to "us-central1-b"
    No instances currently exist.
        Compute Engine VM:     --
        Cloud TPU:             --
    
  4. 아래와 같이 gsutil을 실행하여 bucket-name을 이 가이드에서 만든 Cloud Storage 버킷 이름으로 바꿉니다.

    $ gsutil rm -r gs://bucket-name
    

다음 단계

이 가이드에서는 샘플 데이터 세트를 사용하여 MNIST 모델을 학습시켰습니다. 이 학습 결과는 (대부분의 경우) 추론에 사용할 수 없습니다. 추론에 모델을 사용하려면 일반에 공개된 데이터 세트 또는 자체 데이터 세트에서 데이터를 학습시킵니다. Cloud TPU에서 학습된 모델은 데이터 세트가 TFRecord 형식이어야 합니다.

데이터 세트 변환 도구 샘플을 사용하여 이미지 분류 데이터 세트를 TFRecord 형식으로 변환할 수 있습니다. 이미지 분류 모델을 사용하지 않는 경우 데이터 세트를 직접 TFRecord 형식으로 변환해야 합니다. 자세한 내용은 TFRecord 및 tf.Example을 참조하세요.

초매개변수 조정

데이터 세트로 모델의 성능을 개선하려면 모델의 초매개변수를 조정하면 됩니다. GitHub에서 모든 TPU 지원 모델에 공통된 초매개변수에 대한 정보를 확인할 수 있습니다. 모델별 초매개변수에 대한 정보는 각 모델의 소스 코드에서 확인할 수 있습니다. 초매개변수 조정에 대한 자세한 내용은 초매개변수 조정 개요, 초매개변수 조정 서비스 사용, 초매개변수 조정을 참조하세요.

추론

일단 모델을 학습시키면 추론(예측이라고도 함)에 사용할 수 있습니다. AI Platform은 머신러닝 모델을 개발, 학습, 배포하기 위한 클라우드 기반 솔루션입니다. 모델이 배포되면 AI Platform Prediction 서비스를 사용할 수 있습니다.