Cloud TPU에서 MnasNet 학습

이 가이드에서는 Cloud TPU 기기 또는 Cloud TPU Pod 슬라이스(여러 TPU 기기)를 사용하여 Tensorflow MnasNet 모델을 학습시키는 방법을 보여줍니다. TensorFlow 및 ImageNet 데이터 세트를 사용하는 다른 TPU 최적화 이미지 분류 모델에 같은 패턴을 적용할 수 있습니다.

모델 설명

이 가이드의 모델은 AutoML 모바일 신경망(MnasNet) 아키텍처를 최초로 소개한 MnasNet: Platform-Aware Neural Architecture Search for Mobile 문서에 기초를 둡니다. 이 튜토리얼에서는 최신 변형판인 'mnasnet-a1'을 사용하며 TPUEstimator를 통한 모델 학습을 보여줍니다.

경고: 이 가이드에서는 TensorFlow 1.x에서만 지원되는 TPUEstimator API를 사용합니다. TensorFlow 2.x로 모델을 작성하는 경우 Keras를 대신 사용하세요.

주의: 이 튜토리얼에서는 제3자 데이터 세트를 사용합니다. Google에서는 이 데이터 세트의 유효성을 비롯하여 어떠한 특성도 진술, 보증 또는 기타 보장을 제공하지 않습니다.

Pod 슬라이스로 학습시킬 때 특별히 고려해야 할 사항(v2-32/v3-32 이상)

TPU Pod 슬라이스로 학습시키려면 Pod 슬라이스 학습 시 특별히 고려해야 할 사항을 설명하는 이 문서를 읽어보세요.

목표

• 데이터 세트와 모델 출력을 저장할 Cloud Storage 버킷 만들기
• 학습 작업 실행
• 출력 결과를 확인합니다.

비용

이 가이드에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

• Compute Engine
• Cloud TPU
• Cloud Storage

프로젝트 사용량을 기준으로 예상 비용을 산출하려면 가격 계산기를 사용하세요. Google Cloud를 처음 사용하는 사용자는 무료 체험판을 사용할 수 있습니다.

시작하기 전에

이 튜토리얼을 시작하기 전에 Google Cloud 프로젝트가 올바르게 설정되었는지 확인하세요.

1. Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

2. Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

   참고: 이 절차에서 생성한 리소스를 유지하지 않으려면 기존 프로젝트를 선택하지 말고 프로젝트를 새로 만드세요. 작업이 끝나면 프로젝트를 삭제하여 프로젝트와 관련된 모든 리소스를 삭제할 수 있습니다.

   프로젝트 선택기로 이동

3. Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다. 프로젝트에 결제가 사용 설정되어 있는지 확인하는 방법을 알아보세요.

4. Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

   참고: 이 절차에서 생성한 리소스를 유지하지 않으려면 기존 프로젝트를 선택하지 말고 프로젝트를 새로 만드세요. 작업이 끝나면 프로젝트를 삭제하여 프로젝트와 관련된 모든 리소스를 삭제할 수 있습니다.

   프로젝트 선택기로 이동

5. Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다. 프로젝트에 결제가 사용 설정되어 있는지 확인하는 방법을 알아보세요.

이 둘러보기에서는 비용이 청구될 수 있는 Google Cloud 구성요소를 사용합니다. 예상 비용은 Cloud TPU 가격 책정 페이지에서 확인하세요. 리소스 사용을 마쳤으면 불필요한 비용이 청구되지 않도록 생성한 리소스를 삭제하세요.

리소스 설정

이 섹션에서는 가이드에 사용할 Cloud Storage, VM, Cloud TPU 리소스를 설정하는 방법을 설명합니다.

중요: 네트워크 지연 시간 및 네트워크 비용을 줄이려면 모든 리소스를 동일한 리전/영역에 설정하세요.

1. Cloud Shell 창을 엽니다.

   Cloud Shell 열기

2. 프로젝트 ID의 변수를 만듭니다.

   export PROJECT_ID=project-id
   

3. Cloud TPU를 만들려는 위치의 프로젝트가 사용되도록 Google Cloud CLI를 구성합니다.

   gcloud config set project ${PROJECT_ID}
   

   새 Cloud Shell VM에서 이 명령어를 처음 실행하면 Authorize Cloud Shell 페이지가 표시됩니다. 페이지 하단에서 Authorize를 클릭하여 gcloud가 사용자 인증 정보로 GCP API 호출을 수행하도록 허용합니다.

4. Cloud TPU 프로젝트의 서비스 계정을 만듭니다.

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   이 명령어는 다음 형식의 Cloud TPU 서비스 계정을 반환합니다.

   [e-mail]
   

5. 다음 명령어를 사용하여 Cloud Storage 버킷을 만듭니다. bucket-name을 버킷 이름으로 바꿉니다.

   gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
   

   이 Cloud Storage 버킷은 사용자가 모델 및 학습 결과를 학습시키기 위해 사용하는 데이터를 저장합니다. 이 튜토리얼에서 사용하는 gcloud compute tpus execution-groups 도구는 Cloud TPU 서비스 계정에 대한 기본 권한을 설정합니다. 권한을 더 세분화해야 하는 경우 액세스 수준 권한을 참조하세요.

   버킷 위치는 가상 머신(VM) 및 TPU 노드와 동일한 리전에 있어야 합니다. VM 및 TPU 노드는 리전 내 구획인 특정 영역에 있습니다.

6. gcloud compute tpus execution-groups 명령어를 사용하여 이 튜토리얼에 필요한 Compute Engine 및 Cloud TPU 리소스를 시작합니다.

   참고: 이 튜토리얼에서는 Debian 10 이미지를 기반으로 하며 Python 3.6으로 기본 설정되는 TensorFlow 1.15.5를 사용합니다. TensorFlow 1.15.x의 이전 버전은 Debian 9를 기반으로 했으며 Python 3.5로 기본 설정됩니다.

   gcloud compute tpus execution-groups create \
    --vm-only \
    --name=mnasnet-tutorial \
    --zone=europe-west4-a \
    --disk-size=300 \
    --machine-type=n1-standard-8 \
    --tf-version=1.15.5
   

   명령어 플래그 설명

   vm-only

   Compute Engine VM만 만들고 Cloud TPU를 만들지 않습니다.

   name

   생성할 Cloud TPU의 이름입니다.

   zone

   Cloud TPU를 만들려는 영역입니다.

   disk-size

   gcloud 명령어로 생성한 VM의 하드 디스크 크기(GB)입니다.

   machine-type

   생성할 Compute Engine VM의 머신 유형입니다.

   tf-version

   gcloud로 VM에 설치되는 Tensorflow 버전입니다.

   gcloud 명령어에 대한 자세한 내용은 gcloud 참조를 확인하세요.

7. 프롬프트가 표시되면 y를 눌러서 Cloud TPU 리소스를 만듭니다.

   참고: 프로젝트에서 gcloud compute tpus execution-groups를 처음 실행할 때는 SSH 키 전파, API 활성화 등의 시작 태스크를 수행하는 데 5분 정도 걸립니다.

   gcloud compute tpus execution-groups 명령어 실행이 끝나면 셸 프롬프트가 username@projectname에서 username@vm-name으로 변경되었는지 확인합니다. 변경되었다면 Compute Engine VM에 로그인되었다는 의미입니다. Compute Engine 인스턴스에 연결되어 있지 않으면 다음 명령어를 실행하여 수행할 수 있습니다.

   gcloud compute ssh mnasnet-tutorial --zone=europe-west4-a
   

   여기에서 (vm)$ 프리픽스는 Compute Engine VM 인스턴스에서 명령어를 실행해야 한다는 의미입니다.

8. 저장소 버킷의 환경 변수를 만듭니다. bucket-name을 Cloud Storage 버킷 이름으로 바꿉니다.

   (vm)$ export STORAGE_BUCKET=gs://bucket-name
   

9. 모델 디렉터리의 환경 변수를 만듭니다.

   (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mnasnet
   

10. 다음 명령어로 Python 경로에 최상위 /models 폴더를 추가합니다.

    (vm)$ export PYTHONPATH=${PYTHONPATH}:/usr/share/tpu/models:/usr/share/tpu/models/official/efficientnet
    

데이터 찾기

ImageNet은 이미지 데이터베이스입니다. 데이터베이스의 이미지는 계층 구조로 구성되며 계층 구조의 각 노드에는 수백, 수천 개의 이미지가 포함됩니다.

이 가이드에서는 fake_imagenet이라는 전체 ImageNet 데이터 세트의 데모 버전을 사용합니다. 이 데모 버전을 사용하여 가이드를 테스트하면 전체 ImageNet 데이터 세트에 모델을 실행할 때 일반적으로 요구되는 스토리지 및 실행 시간을 줄일 수 있습니다.

fake_imagenet 데이터 세트는 Cloud Storage의 다음 위치에 있습니다.

gs://cloud-tpu-test-datasets/fake_imagenet

1. 데이터 디렉터리의 환경 변수를 만듭니다.

   (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
   

fake_imagenet 데이터 세트는 Cloud TPU 사용 방법을 이해하고 엔드 투 엔드 성능을 검증하는 용도로만 사용됩니다. 정확성 숫자와 저장된 모델은 의미가 없습니다.

전체 ImageNet 데이터 세트를 다운로드하고 처리하는 방법은 ImageNet 데이터 세트 다운로드, 사전 처리, 업로드를 참조하세요.

주의: 이 가이드에서 STORAGE_BUCKET 환경 변수를 fake_imagenet 데이터 세트 경로로 설정하지 마세요. gs://cloud-tpu-test-datasets에서 읽을 수 있지만 쓸 수는 없습니다. 결과적으로 학습 로그를 작성하는 데 사용할 수는 없습니다. 위와 같이 STORAGE_BUCKET 환경 변수가 자체 Cloud Storage 버킷으로 설정되어 있는지 확인하세요.

fake_imagenet으로 MnasNet 모델 학습

다음 디렉터리의 Compute Engine VM에 Mnasnet TPU 모델이 사전 설치되어 있습니다.

/usr/share/tpu/models/official/mnasnet/

참고: 모델의 출력과 성능을 모니터링하려면 가이드를 따라 텐서보드를 설정합니다.

1. 다음 명령어를 실행하여 Cloud TPU를 만듭니다.

   (vm)$ gcloud compute tpus execution-groups create \
    --tpu-only \
    --accelerator-type=v3-8 \
    --name=mnasnet-tutorial \
    --zone=europe-west4-a \
    --tf-version=1.15.5
   

   명령어 플래그 설명

   tpu-only

   Cloud TPU만 만들고 Compute Engine은 만들지 않습니다.

   accelerator-type

   생성할 Cloud TPU의 유형입니다.

   name

   생성할 Cloud TPU의 이름입니다.

   zone

   Cloud TPU를 만들려는 영역입니다.

   tf-version

   gcloud로 VM에 설치되는 Tensorflow 버전입니다.

2. Cloud TPU 이름의 환경 변수를 만듭니다.

   (vm)$ export TPU_NAME=mnasnet-tutorial
   

3. 모델 디렉터리로 이동합니다.

   (vm)$ cd /usr/share/tpu/models/official/mnasnet/
   

4. 학습 스크립트를 실행합니다.

   (vm)$ python3 mnasnet_main.py \
     --tpu=${TPU_NAME} \
     --data_dir=${DATA_DIR} \
     --model_dir=${MODEL_DIR} \
     --model_name="mnasnet-a1" \
     --skip_host_call=true \
     --train_steps=109474 \
     --train_batch_size=4096

   명령어 플래그 설명

   tpu

   학습 또는 평가를 실행할 Cloud TPU의 이름입니다.

   data_dir

   학습 입력을 위한 Cloud Storage 경로를 지정합니다. 이 예시에서는 fake_imagenet 데이터 세트로 설정됩니다.

   model_dir

   모델 학습 중에 체크포인트와 요약이 저장되는 Cloud Storage 경로입니다. 이전 체크포인트가 동일한 크기 및 TensorFlow 버전의 Cloud TPU를 사용하여 생성되어 있는 한 기존 폴더를 다시 사용하여 이전에 생성된 체크포인트를 로드하고 추가 체크포인트를 저장할 수 있습니다.

   model_name

   학습시킬 모델의 이름입니다. 예를 들면 mnasnet-a1입니다.

   skip_host_call

   스크립트에 모든 학습 단계를 실행하는 host_call을 건너뛰도록 안내하려면 true로 설정합니다. 이는 일반적으로 학습 요약(학습 손실, 학습률 등)을 생성하는 데 사용됩니다. skip_host_call=false인 경우 host_call 함수가 느려져서 TPU 측 계산을 따라잡지 못하면 성능이 저하될 수 있습니다.

   train_steps

   학습에 사용할 단계 수입니다. 기본값은 218,949이며, 이는 배치 크기가 2048의 경우 약 350세대입니다. 이 플래그는 train_batch_size 값에 따라 조정되어야 합니다.

   train_batch_size

   학습 배치 크기입니다.

   단일 Cloud TPU 기기의 경우 이 절차는 MnasNet 모델('mnasnet-a1' 변형)을 350세대 동안 학습시키고 고정된 단계 수마다 평가합니다. 지정된 플래그를 사용하면 모델이 약 23시간 만에 학습됩니다. 실제 imagenet 데이터를 사용할 때 이 설정은 최신 연구 결과를 재현하며, 사용자는 학습 속도를 더욱 개선할 수 있습니다.

Cloud TPU Pod로 모델 확장

Cloud TPU Pod로 모델을 확장하여 결과를 더 빠르게 얻을 수 있습니다. 완전히 지원되는 Mnasnet 모델은 다음 Pod 슬라이스에서 작동할 수 있습니다.

• v2-32
• v2-128
• v2-256
• v2-512
• v3-32
• v3-128
• v3-256
• v3-512
• v3-1024
• v3-2048

Cloud TPU Pod를 사용할 때는 먼저 Pod를 사용하여 모델을 학습시키고, 단일 Cloud TPU 기기를 사용하여 모델을 평가합니다.

Cloud TPU Pod로 학습

참고: Compute Engine 인스턴스를 이미 삭제한 경우 리소스 설정의 단계에 따라 새 인스턴스를 만듭니다.

1. 단일 기기에서 모델 학습을 위해 만든 Cloud TPU 리소스를 삭제합니다.

   (vm)$ gcloud compute tpus execution-groups delete mnasnet-tutorial \
   --tpu-only \
   --zone=europe-west4-a

2. 새 Cloud TPU Pod를 만듭니다.

   (vm)$ gcloud compute tpus execution-groups create --tpu-only \
     --accelerator-type=v2-32 \
     --zone=europe-west4-a \
     --name=mnasnet-tutorial \
     --tf-version=1.15.5
   

   명령어 플래그 설명

   tpu-only

   Cloud TPU만 생성합니다. 기본적으로 gcloud 명령어는 VM과 Cloud TPU를 생성합니다.

   accelerator-type

   생성할 Cloud TPU의 유형입니다.

   zone

   Cloud TPU를 만들려는 영역입니다.

   name

   생성할 Cloud TPU의 이름입니다.

   tf-version

   gcloud로 VM에 설치되는 Tensorflow 버전입니다.

3. TPU_NAME 환경 변수를 업데이트합니다.

   (vm)$ export TPU_NAME=Cloud TPU
   

4. 학습 데이터를 저장하도록 MODEL_DIR 디렉터리를 업데이트합니다.

   (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mnasnet-tutorial
   

5. 다음 스크립트를 실행하여 모델을 학습시킵니다.

   스크립트는 fake_imagnet 데이터 세트의 모델을 35세대 동안 학습시킵니다. 이 학습은 v3-128 Cloud TPU에서 실행되는 데 약 90분 걸립니다.

   (vm)$ python3 mnasnet_main.py \
     --tpu=${TPU_NAME} \
     --data_dir=${DATA_DIR} \
     --model_dir=${MODEL_DIR} \
     --model_name="mnasnet-a1" \
     --skip_host_call=true \
     --train_steps=109474 \
     --train_batch_size=4096
   

   명령어 플래그 설명

   tpu

   Cloud TPU의 이름입니다.

   data_dir

   학습 입력을 위한 Cloud Storage 경로를 지정합니다. 이 예시에서는 fake_imagenet 데이터 세트로 설정됩니다.

   model_dir

   모델 학습 중에 체크포인트와 요약이 저장되는 Cloud Storage 경로입니다. 이전 체크포인트가 동일한 크기 및 TensorFlow 버전의 Cloud TPU를 사용하여 생성되어 있는 한 기존 폴더를 다시 사용하여 이전에 생성된 체크포인트를 로드하고 추가 체크포인트를 저장할 수 있습니다.

   model_name

   학습시킬 모델의 이름입니다. 예를 들면 efficientnet입니다.

   skip_host_call

   스크립트에 모든 학습 단계를 실행하는 host_call을 건너뛰도록 안내하려면 true로 설정합니다. 이는 일반적으로 학습 요약(학습 손실, 학습률 등)을 생성하는 데 사용됩니다. skip_host_call=false인 경우 host_call 함수가 느려져서 TPU 측 계산을 따라잡지 못하면 성능이 저하될 수 있습니다.

   train_steps

   학습에 사용할 단계 수입니다. 기본값은 218,949단계이며, 이는 배치 크기가 2048의 경우 약 350세대입니다. 이 플래그는 train_batch_size 값에 따라 조정되어야 합니다.

   train_batch_size

   학습 배치 크기입니다.

   이 절차는 fake_imagent 데이터 세트로 MnasNet 모델('mnasnet-a1' 변형)을 350세대 동안 학습시킵니다. 완료까지는 약 5시간이 걸립니다.

모델 평가

이 단계 집합에서는 Cloud TPU를 사용하여 fake_imagenet 검증 데이터에 위의 학습된 모델을 평가합니다.

1. Pod에서 모델을 학습시키기 위해 만든 Cloud TPU 리소스를 삭제합니다.

   (vm)$ gcloud compute tpus execution-groups delete mnasnet-tutorial \
     --tpu-only \
     --zone=europe-west4-a
   

2. v2-8 Cloud TPU를 시작합니다. 여전히 실행 중인 Compute Engine VM에 사용했던 이름과 동일한 이름을 사용합니다.

   (vm)$ gcloud compute tpus execution-groups create --tpu-only \
     --accelerator-type=v3-8 \
     --zone=europe-west4-a \
     --name=mnasnet-tutorial \
     --tf-version=1.15.5
   

   명령어 플래그 설명

   tpu-only

   Cloud TPU만 생성합니다. 기본적으로 gcloud 명령어는 VM과 Cloud TPU를 생성합니다.

   accelerator-type

   생성할 Cloud TPU의 유형입니다.

   zone

   Cloud TPU를 만들려는 영역입니다.

   name

   생성할 Cloud TPU의 이름입니다.

   tf-version

   gcloud로 VM에 설치되는 Tensorflow 버전입니다.

3. 가속기 유형의 환경 변수를 만듭니다.

   (vm)$ export ACCELERATOR_TYPE=v3-8
   

4. 모델 평가를 실행합니다. 이번에는 mode 플래그를 추가하고 이를 eval로 설정합니다.

   (vm)$ python3 mnasnet_main.py \
     --tpu=${TPU_NAME} \
     --data_dir=${DATA_DIR} \
     --model_dir=${MODEL_DIR} \
     --mode=eval \
     --config_file=configs/cloud/${ACCELERATOR_TYPE}.yaml
   

   명령어 플래그 설명

   tpu

   Cloud TPU의 이름입니다.

   data_dir

   학습 입력을 위한 Cloud Storage 경로를 지정합니다. 이 예시에서는 fake_imagenet 데이터 세트로 설정됩니다.

   model_dir

   모델 학습 중에 체크포인트와 요약이 저장되는 Cloud Storage 경로입니다. 이전 체크포인트가 동일한 크기 및 TensorFlow 버전의 Cloud TPU를 사용하여 생성되어 있는 한 기존 폴더를 다시 사용하여 이전에 생성된 체크포인트를 로드하고 추가 체크포인트를 저장할 수 있습니다.

   mode

   train_and_eval, train, eval 중 하나입니다. train_and_eval은 모델을 학습시키고 평가합니다. train은 모델을 학습시킵니다. eval은 모델을 평가합니다.

   config_file

   학습/평가 스크립트에서 사용하는 구성 파일입니다.

   그러면 다음과 비슷한 출력이 생성됩니다.

   Eval results: {
   'loss': 7.532023,
   'top_1_accuracy': 0.0010172526,
   'global_step': 100,
   'top_5_accuracy': 0.005065918
   }
   Elapsed seconds: 88

정리

이 항목에서 사용한 리소스 비용이 GCP 계정에 청구되지 않도록 다음을 수행합니다.

1. Compute Engine VM의 연결을 해제합니다.

   (vm)$ exit
   

   프롬프트가 user@projectname으로 바뀌면 Cloud Shell에 있는 것입니다.

2. Cloud TPU 및 Compute Engine 리소스를 삭제합니다.

   $ gcloud compute tpus execution-groups delete mnasnet-tutorial \
     --zone=europe-west4-a
   

3. gcloud compute tpus execution-groups list를 실행하여 리소스가 삭제되었는지 확인합니다. 삭제하는 데 몇 분 정도 걸릴 수 있습니다. 다음과 같은 응답이 나타나면 인스턴스가 성공적으로 삭제되었다는 의미입니다.

   $ gcloud compute tpus execution-groups list \
     --zone=europe-west4-a
   

      NAME             STATUS
   

4. 아래와 같이 gsutil을 사용하여 Cloud Storage 버킷을 삭제합니다. bucket-name을 Cloud Storage 버킷 이름으로 바꿉니다.

   $ gsutil rm -r gs://bucket-name
   

참고: 무료 스토리지 한도 및 기타 가격 정보는 Cloud Storage 가격 책정 가이드를 참조하세요.

다음 단계

일반적으로 TensorFlow Cloud TPU 튜토리얼에서는 샘플 데이터 세트를 사용하여 모델을 학습시킵니다. 이 학습 결과는 추론에 사용할 수 없습니다. 추론에 모델을 사용하려면 일반에 공개된 데이터 세트 또는 자체 데이터 세트에서 데이터를 학습시킵니다. 일반적으로 Cloud TPU에서 학습된 TensorFlow 모델에는 TFRecord 형식의 데이터 세트가 필요합니다.

데이터 세트 변환 도구 샘플을 사용하여 이미지 분류 데이터 세트를 TFRecord 형식으로 변환할 수 있습니다. 이미지 분류 모델을 사용하지 않는 경우 데이터 세트를 직접 TFRecord 형식으로 변환해야 합니다. 자세한 내용은 TFRecord 및 tf.Example을 참조하세요.

초매개변수 조정

데이터 세트로 모델 성능을 개선하려면 모델 초매개변수를 조정하면 됩니다. GitHub에서 모든 TPU 지원 모델에 공통된 초매개변수에 대한 정보를 확인할 수 있습니다. 모델별 초매개변수에 대한 정보를 각 모델의 소스 코드에서 확인할 수 있습니다. 초매개변수 조정에 대한 자세한 내용은 초매개변수 조정 개요, 초매개변수 조정 서비스 사용, 초매개변수 조정을 참조하세요.

추론

일단 모델을 학습시키면 추론(예측이라고도 함)에 사용할 수 있습니다. AI Platform은 머신러닝 모델을 개발, 학습, 배포할 수 있는 클라우드 기반 솔루션입니다. 모델이 배포되면 AI Platform Prediction 서비스를 사용할 수 있습니다.

• 텐서보드의 TPU 도구 살펴보기