컨테이너 개요

AI Platform의 컨테이너는 Docker 이미지 내에서 애플리케이션을 실행할 수 있게 해주는 기능입니다. 머신러닝 프레임워크와 버전은 물론, AI Platform에서는 달리 지원되지 않는 머신러닝 외의 종속 항목, 라이브러리, 바이너리를 사용하여 자체 커스텀 컨테이너를 빌드해 AI Platform에서 작업을 실행할 수 있습니다.

컨테이너로 학습하는 방법

선택한 ML 프레임워크로 구현된 학습 애플리케이션은 학습 프로세스의 핵심 요소입니다.

  1. 선택한 ML 프레임워크를 사용하여 모델을 학습하는 애플리케이션을 만듭니다.
  2. 커스텀 컨테이너를 사용할 지 여부를 결정합니다. 이미 종속 항목을 지원하는 런타임 버전이 있을 수 있습니다. 그렇지 않으면 학습 작업을 위한 커스텀 컨테이너를 빌드해야 합니다. 커스텀 컨테이너에서 학습 애플리케이션과 모든 종속 항목을 학습 작업을 실행하는 데 사용할 이미지에 사전 설치합니다.
  3. AI Platform이 액세스할 수 있는 소스에 학습 및 확인 데이터를 저장합니다. 일반적으로는 Cloud Storage, Cloud Bigtable 또는 AI Platform에서 사용하는 동일한 GCP 프로젝트와 연결된 다른 Google Cloud Platform 스토리지 서비스로 가져오는 것을 의미합니다.
  4. 애플리케이션을 실행할 수 있게 되면 Docker 이미지를 빌드하여 Container Registry로 내보내야 합니다. 이때 AI Platform 서비스가 레지스트리에 액세스할 수 있는지 확인합니다.
  5. gcloud beta ai-platform jobs submit training을 사용해 config.yaml 파일의 인수 또는 해당하는 gcloud 플래그를 지정하여 작업을 제출합니다.
  6. AI Platform 학습 서비스는 작업에 필요한 리소스를 설정합니다. 작업 구성을 기반으로 가상 머신(학습 인스턴스라고 함)을 하나 이상 할당합니다. 학습 작업 제출 시 TrainingInput 객체의 일부로 지정한 커스텀 컨테이너를 사용하여 학습 인스턴스를 설정합니다.
  7. 학습 서비스는 학습 작업 생성 시 지정한 명령줄 인수를 통해 Docker 이미지를 실행합니다.
  8. 다음과 같은 방법으로 실행 중인 작업에 대한 정보를 가져올 수 있습니다.
  9. 학습 작업이 성공하거나 복구할 수 없는 오류가 발생하는 경우 AI Platform은 모든 작업 프로세스를 중지하고 리소스를 삭제합니다.

커스텀 컨테이너의 이점

커스텀 컨테이너를 사용하면 애플리케이션에 필요한 모든 종속 항목을 지정하여 사전에 설치할 수 있습니다.

  • 더욱 빨라진 구동 시간. 종속 항목이 사전 설치되어 있는 커스텀 컨테이너를 사용하는 경우, 시작 시 종속 항목을 설치하기 위해 학습 애플리케이션이 필요로 하는 시간을 절약할 수 있습니다.
  • 원하는 ML 프레임워크 사용. 사용하려는 머신러닝 프레임워크를 지원하는 AI Platform 런타임 버전을 찾을 수 없다면 선택한 프레임워크를 설치하는 커스텀 컨테이너를 빌드한 후 이를 사용해 AI Platform에서 작업을 실행하면 됩니다. 예를 들어, PyTorch로 학습시킬 수 있습니다.
  • 분산 학습에 대한 지원 확대. 커스텀 컨테이너를 사용하면 ML 프레임워크를 사용하여 분산 학습을 수행할 수 있습니다.
  • 최신 버전 사용. ML 프레임워크의 최신 빌드 또는 부 버전을 사용할 수도 있습니다. 예를 들어, tf-nightly로 학습시키거나 TensorFlow 2.0을 미리 볼 수 있는 커스텀 컨테이너를 빌드할 수 있습니다.

커스텀 컨테이너로 초매개변수 미세 조정

AI Platform에서 초매개변수 미세 조정을 수행하려면 목표 측정항목과 이를 최소화 또는 최대화할지 지정합니다. 예를 들어 모델 정확성을 최대화하거나 모델 손실을 최소화하려 할 수 있습니다. 또한 각 초매개변수에 대한 목표 값과 함께 조정하려는 초매개변수를 나열합니다. AI Platform에서 학습 애플리케이션에 대한 여러 가지 시도를 진행하며 각 시도가 끝날 때마다 초매개변수를 추적하고 조정합니다. 초매개변수 조정 작업이 완료되면 AI Platform은 가장 효과적인 초매개변수 구성 값과 각 시도 결과의 요약을 보고합니다.

커스텀 컨테이너로 초매개변수를 미세 조정하려면 다음과 같은 조정이 필요합니다.

  • Dockerfile에서 cloudml-hypertune을 설치합니다.
  • 학습 코드에서 다음을 수행합니다.
    • cloudml-hypertune을 사용하고 도우미 함수 report_hyperparameter_tuning_metric을 호출하여 각 시도 결과를 보고합니다.
    • 각 초매개변수에 대한 명령줄 인수를 추가하고 인수 파싱을 argparse와 같은 인수 파서로 처리합니다.
  • 작업 요청에서 HyperparameterSpecTrainingInput 객체에 추가합니다.

초매개변수 미세 조정을 사용한 커스텀 컨테이너 학습의 예를 참조하거나 AI Platform의 초매개변수 미세 조정 작동 방식에 대해 자세히 알아보세요.

커스텀 컨테이너와 함께 GPU 사용

GPU 학습을 위해서는 커스텀 컨테이너가 몇 가지 특수한 요구사항을 충족해야 합니다. CPU를 사용한 학습에 사용하는 Docker 이미지와 다른 Docker 이미지를 빌드해야 합니다.

  • Docker 이미지에 CUDA 도구와 cuDNN을 사전에 설치합니다. 이를 처리하는 권장 방법은 nvidia/cuda 이미지를 기본 이미지로 사용하는 것입니다. 이 이미지는 사전 설치된 CUDA 도구 및 cuDNN과 일치하는 버전을 포함하며, 관련 환경 변수를 올바르게 설정할 수 있도록 도와줍니다.
  • Docker 이미지에 필요한 ML 프레임워크 및 기타 종속 항목과 함께 학습 애플리케이션을 설치합니다.

GPU를 사용한 학습을 위한 Dockerfile 예를 참조하세요.

다음 단계

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...