Vertex AI 신경망 아키텍처 검색 정보

Vertex AI 신경망 아키텍처 검색을 사용하면 정확도, 지연 시간, 메모리, 이러한 요소의 조합 또는 커스텀 측정항목 측면에서 최적의 신경망 아키텍처를 검색할 수 있습니다.

Vertex AI 신경망 아키텍처 검색이 나에게 가장 적합한 도구인지 확인

Vertex AI 신경망 아키텍처 검색은 지연 시간, 메모리 또는 커스텀 측정항목과 같은 제약조건에 관계없이 정확도 측면에서 최상의 신경망 아키텍처를 찾는 데 사용되는 고급 최적화 도구입니다. 가능한 신경망 아키텍처를 선택할 수 있는 검색 공간은 최대 10^20까지 가능합니다. 이 기술은 지난 몇 년 동안 Nasnet, MNasnet., EfficientNet, NAS-FPN, SpineNet 등 최고의 컴퓨터 비전 모델을 성공적으로 생성한 기술을 기반으로 합니다
신경망 아키텍처 검색은 실험 없이 데이터를 가져와 우수한 결과를 기대할 수 있는 솔루션이 아닙니다. 이 도구는 실험용 도구입니다.
신경망 아키텍처 검색은 학습률 또는 옵티마이저 설정 조정과 같은 초매개변수 조정용이 아닙니다. 아키텍처 검색 전용입니다. 초매개변수 조정을 신경망 아키텍처 검색과 결합하면 안 됩니다.
제한된 학습 데이터 또는 일부 클래스가 매우 드물게 발생하는 불균형 데이터 세트에는 신경망 아키텍처 검색이 권장되지 않습니다. 데이터 부족으로 인해 기준 학습에 이미 증강을 과도하게 사용하고 있다면 신경망 아키텍처 검색은 권장되지 않습니다.
먼저 초매개변수 조정과 같은 기존의 다른 머신러닝 방법과 기법을 사용해야 합니다. 이러한 기존 방법으로 성능 향상이 없는 경우에만 신경망 아키텍처 검색을 사용해야 합니다.
수정 및 시도를 위해 아키텍처 매개변수에 대한 몇 가지 기본 아이디어를 제공하는 모델 조정을 위한 사내 팀이 있어야 합니다. 이러한 아키텍처 매개변수에는 커널 크기, 채널 수, 기타 여러 연결 등이 포함될 수 있습니다. 살펴볼 검색 공간이 있다면 신경망 아키텍처 검색이 매우 유용하며 대규모 검색 공간(최대 10^20 아키텍처 옵션)을 탐색하는 데 약 6개월 이상의 엔지니어링 시간을 줄일 수 있습니다.
신경망 아키텍처 검색은 실험에 수천 달러를 소비할 수 있는 기업 고객을 대상으로 합니다.
신경망 아키텍처 검색은 비전 전용 사용 사례로 제한되지 않습니다. 현재는 비전 기반의 사전 빌드된 검색 공간과 사전 빌드된 트레이너만 제공되지만 고객이 비전 외의 자체 검색 공간과 트레이너도 가져올 수 있습니다.
신경망 아키텍처 검색에서는 슈퍼넷(oneshot-NAS 또는 가중치 공유 NAS) 접근 방법을 사용하여 자체 데이터를 가져와 솔루션으로 사용합니다. 슈퍼넷을 맞춤설정하는 것은 몇 개월이 소요되는 까다로운 작업입니다. 슈퍼넷과 달리 신경망 아키텍처 검색은 커스텀 검색 공간 및 리워드를 정의하도록 맞춤설정할 수 있습니다. 맞춤설정은 약 1~2일 내에 수행할 수 있습니다.
신경망 아키텍처 검색은 전 세계 8개 리전에서 지원됩니다. 리전의 가용성을 확인합니다.

신경망 아키텍처 검색을 사용하기 전에 예상 비용, 결과 획득, GPU 할당량 요구사항에 대한 다음 섹션도 참조해야 합니다.

예상 비용, 결과 획득, GPU 할당량 요구사항

이 그림은 일반적인 신경망 아키텍처 검색 곡선을 보여줍니다. Y-axis는 시도 리워드를 나타내고 X-axis는 실행된 시도 수를 보여줍니다. 시도 수가 증가함에 따라 컨트롤러가 더 나은 모델을 찾기 시작합니다. 따라서 리워드가 증가하기 시작하고 이후 리워드 편차 및 리워드 성장 감소가 시작되고 수렴이 나타납니다. 수렴 지점까지 시도 수는 검색-공간 크기에 따라 달라지지만 약 2,000회 정도에 해당합니다. 각 시행은 2개의 Nvidia V100 GPU에서 약 1~2시간 동안 실행되는 proxy-task라는 전체 학습의 더 작은 버전으로 설계되었습니다. 고객은 언제든지 검색을 수동으로 중지할 수 있으며, 수렴 지점이 발생하기 전에 기준과 비교하여 더 높은 리워드 모델을 찾을 수 있습니다. 수렴 지점이 발생할 때까지 기다린 후에 더 나은 결과를 선택하는 것이 더 나을 수 있습니다. 검색 후 다음 단계는 상위 10개 시도(모델)를 선택하고 여기에서 전체 학습을 실행하는 것입니다.

(선택사항) 사전 빌드된 MNasNet 검색 공간 및 트레이너의 시험 사용

이 모드에서는 검색 곡선 또는 몇 가지 시도(약 25개)를 관찰하고 사전 빌드된 MNasNet 검색 공간 및 트레이너의 시험 사용을 진행합니다.

그림에서 최적의 stage-1 리워드는 trial-1에서 ~0.30부터 trial-17에서 ~0.37로 증가하기 시작합니다. 무작위 샘플링으로 인해 정확한 실행이 약간 다르게 표시될 수 있지만 최상의 리워드가 약간 증가합니다. 이는 여전히 모의 실행이며 개념 증명 또는 공개 벤치마크 검증을 나타내지 않습니다.

이 실행의 비용은 다음과 같이 책정됩니다.

Stage-1:
- 시도 횟수: 25
- 시도당 GPU 수: 2
- GPU 유형: TESLA_T4
- 시도당 CPU 수: 1
- CPU 유형: n1-highmem-16
- 평균 단일 시도 학습 시간: 3시간
- 병렬 시도 횟수: 6
- 사용된 GPU 할당량: (시도당 CPU 수 * 병렬 시도 횟수) = GPU 12개 동일한 리전에서 테스트 드라이브와 호스트 학습 데이터에 us-central1 리전을 사용합니다. 추가 할당량이 필요하지 않습니다.
- 실행 시간: (시도 횟수 * 시도당 학습 시간)/(병렬 시도 횟수) = 12시간
- GPU 시간: (시도 횟수 * 시도당 학습 시간 * 시도당 GPU 수) = 150 T4 GPU 시간
- CPU 시간: (시도 횟수 * 시도당 학습 시간 * 시도당 CPU 수) = 75 n1-highmem-16시간
- 비용: 약 $185 비용을 줄이기 위해 작업을 더 일찍 중지할 수 있습니다. 정확한 가격을 계산하려면 가격 책정 페이지를 참조하세요.

모의 실행이므로 stage-1의 모델에 대해 전체 stage-2 학습을 실행할 필요가 없습니다. stage-2 실행에 대한 자세한 내용은 튜토리얼 3을 참조하세요.

이 실행에는 MnasNet 노트북이 사용됩니다.

(선택사항) 사전 빌드된 MNasNet 검색 공간 및 트레이너의 개념 증명(POC) 실행

게시된 MNasnet 결과를 거의 복제하려는 경우 이 모드를 사용할 수 있습니다. 논문에 따르면, MnasNet은 Pixel 휴대전화에서 지연 시간이 78ms로 75.2%의 top-1 정확도를 달성하며, 이는 0.5% 높은 정확도로 MobileNetV2보다 1.8배, 1.2% 높은 정확도로 NASNet보다 2.3배 더 빠릅니다. 그러나 이 예시에서는 학습에 TPU 대신 GPU를 사용하고 Cloud-CPU(n1-highmem-8)를 사용하여 지연 시간을 평가합니다. 이 예시에서 MNasNet의 Stage2 top-1 정확성은 75.2%이고, cloud-CPU(n1-highmem-8)에서 지연 시간이 50ms입니다.

이 실행의 비용은 다음과 같이 책정됩니다.

Stage-1 검색:
- 시도 횟수: 2,000
- 시도당 GPU 수: 2
- GPU 유형: TESLA_T4
- 평균 단일 시도 학습 시간: 3시간
- 병렬 시도 횟수: 10
- 사용된 GPU 할당량: (시도당 GPU 수 * 병렬 시도 횟수) = 20 T4 GPU 이 숫자는 기본 할당량을 초과하므로 프로젝트 UI에서 할당량 요청을 만듭니다. 자세한 내용은 setting_up_path를 참조하세요.
- 실행 시간: (시도 횟수 * 시도당 학습 시간)/(병렬 시도 횟수)/24 = 25일 참고: 작업은 14일 후에 종료됩니다. 이후에는 다음 14일 동안 명령어 하나로 쉽게 검색 작업을 재개할 수 있습니다. GPU 할당량이 더 높으면 런타임이 이에 비례하여 감소합니다.
- GPU 시간: (시도 횟수 * 시도당 학습 시간 * 시도당 GPU 수) = 12,000 T4 GPU 시간
- 비용: 최대 $15,000
상위 10개 모델을 사용한 Stage-2 전체 학습:
- 시도 횟수: 10
- 시도당 GPU 수: 4개
- GPU 유형: TESLA_T4
- 평균 단일 시도 학습 시간: 최대 9일
- 병렬 시도 횟수: 10
- 사용된 GPU 할당량: (시도당 GPU 수 * 병렬 시도 횟수) = 40 T4 GPU 이 숫자는 기본 할당량을 초과하므로 프로젝트 UI에서 할당량 요청을 만듭니다. 자세한 내용은 setting_up_path를 참조하세요. 10개 전체를 동시에 실행하는 대신 한 번에 5개의 모델로 작업을 2번 실행하면 20개의 T4 GPU로 작업을 실행할 수도 있습니다.
- 실행 시간: (시도 횟수 * 시도당 학습 시간)/(병렬 시도 횟수)/24 = 최대 9일
- GPU 시간: (시도 횟수 * 시도당 학습 시간 * 시도당 GPU 수) = 8,960 T4 GPU 시간
- 비용: 최대 $8,000

총 비용: 약 $23,000 정확한 가격을 계산하려면 가격 책정 페이지를 참조하세요. 참고: 이 예시는 일반적인 정기 학습 작업이 아닙니다. 전체 학습은 4개의 TESLA_T4 GPU에서 약 9일 동안 실행됩니다.

이 실행에는 MnasNet 노트북이 사용됩니다.

검색 공간 및 트레이너 사용

평균 커스텀 사용자에게는 대략적인 비용이 제공됩니다. 요구사항은 학습 작업, 사용된 GPU, CPU에 따라 달라질 수 있습니다. 여기에 나온 설명대로 엔드 투 엔드 실행을 위해 최소 20개의 GPU 할당량이 필요합니다. 참고: 성능 개선은 전적으로 태스크에 따라 달라집니다. MNasnet과 같은 예시는 성능 향상을 위해 참조된 예시로만 제공할 수 있습니다.

이 가상 커스텀 실행의 비용은 다음과 같습니다.

Stage-1 검색:
- 시도 횟수: 2,000
- 시도당 GPU 수: 2
- GPU 유형: TESLA_T4
- 평균 단일 시도 학습 시간: 1.5시간
- 병렬 시도 횟수: 10
- 사용된 GPU 할당량: (시도당 GPU 수 * 병렬 시도 횟수) = 20 T4 GPU 이 숫자는 기본 할당량을 초과하므로 프로젝트 UI에서 할당량 요청을 만들어야 합니다. 자세한 내용은 프로젝트에 대해 추가 기기 할당량 요청을 참조하세요.
- 실행 시간: (총 시도 * 시도당 학습 시간)/(병렬 시도 횟수)/24 = 12.5일
- GPU 시간: (총 시도 * 시도당 학습 시간 * 시도당 GPU 수) = 6,000 T4 GPU 시간
- 비용: 약 $7,400
상위 10개 모델이 포함된 Stage-2 전체 학습:
- 시도 횟수: 10
- 시도당 GPU 수: 2
- GPU 유형: TESLA_T4
- 평균 단일 시도 학습 시간: 약 4일
- 병렬 시도 횟수: 10
- 사용된 GPU 할당량: (시도당 GPU 수 * 병렬 시도 횟수) = 20 T4 GPU **이 숫자는 기본 할당량을 초과하므로 프로젝트 UI에서 할당량 요청을 만들어야 합니다. 자세한 내용은 프로젝트에 대해 추가 기기 할당량 요청을 참조하세요. 커스텀 할당량 요구사항은 동일한 문서를 참조하세요.
- 실행 시간: (총 시도 * 시도당 학습 시간)/(병렬 시도 횟수)/24 = 약 4일
- GPU 시간: (총 시도 * 시도당 학습 시간 * 시도당 GPU 수) = 1,920 T4 GPU 시간
- 비용: 약 $2,400
프록시 태스크 설계 비용에 대한 자세한 내용은 프록시 태스크 설계를 참조하세요. 비용은 12개 모델 학습과 비슷합니다(그림의 stage-2에서는 10개 모델 사용).
- 사용된 GPU 할당량: 그림에서 stage-2 실행과 같습니다.
- 비용: (12/10) * stage-2-cost-for-10-models = 최대 $2,880

총 비용: 약 $12,680 정확한 가격을 계산하려면 가격 책정 페이지를 참조하세요.

이러한 stage-1 검색 비용은 수렴 지점에 도달할 때까지의 검색 및 최대 성능 향상을 위한 것입니다. 하지만 검색이 수렴될 때까지 기다리지 마세요. 검색 리워드 곡선이 증가하기 시작한 경우 지금까지 최적의 모델로 stage-2 전체 학습을 실행하면 검색 비용이 더 적지만 성능 향상이 낮아집니다. 예를 들어 앞에 표시된 검색 플롯의 경우 수렴에 도달하도록 2,000회 시도까지 기다리지 마세요. 700회 또는 1,200회 시도에서 더 나은 모델을 발견하고 여기에 stage-2 전체 학습을 실행할 수 있습니다. 언제든지 검색을 중단하여 비용을 줄일 수 있습니다. 검색이 실행되는 동안 stage-2 전체 학습을 수행할 수도 있지만 추가 병렬 작업을 지원할 GPU 할당량이 있는지 확인합니다.

성능 및 비용 요약

다음 표는 다양한 사용 사례와 관련 성능 및 비용을 보여주는 몇 가지 데이터 포인트를 요약합니다.

사용 사례 및 기능

신경망 아키텍처 검색 기능은 유연하고 사용이 간편합니다. 초보 사용자는 추가 단계 없이 사전 빌드된 검색 공간, 사전 빌드된 트레이너, 노트북을 사용하여 자신의 데이터 세트에 대한 Vertex AI 신경망 아키텍처 검색을 탐색할 수 있습니다. 동시에 전문 사용자는 자신의 커스텀 트레이너, 커스텀 검색 공간, 커스텀 추론 기기와 함께 신경망 아키텍처 검색을 사용하고 논비전 사용 사례를 위해 아키텍처 검색을 확장할 수도 있습니다.

신경망 아키텍처 검색에서는 다음 사용 사례를 위해 GPU에서 실행할 사전 빌드된 트레이너 및 검색 공간을 제공합니다.

공개 데이터 세트 기반 결과가 노트북에 게시된 TensorFlow 트레이너
- 엔드 투 엔드(SpineNet) 검색 공간을 사용하는 이미지 객체 감지
- 사전 빌드된 백본(MnasNet) 검색 공간을 사용하는 분류
- 사전 빌드된 엔드 투 엔드 검색 공간을 사용하는 LiDAR 3D Point Cloud 객체 감지
- 대상 기기에 대한 지연 시간 및 메모리 제약 검색
튜토리얼 예시로만 사용할 수 있는 PyTorch 트레이너
- PyTorch 3D 의료 이미지 분할 검색 공간 예시
- PyTorch 기반 MNasNet 분류
- 대상 기기에 대한 지연 시간 및 메모리 제약 검색
코드가 포함된 추가 Tensorflow 기반 사전 빌드된 최신 검색 공간
- 모델 확장
- 데이터 증강

신경망 아키텍처 검색이 제공하는 기능의 전체 집합은 맞춤설정된 아키텍처 및 사용 사례에도 쉽게 사용될 수 있습니다.

사용 가능한 신경망 아키텍처를 통해 커스텀 검색 공간을 정의하고 이 검색 공간을 커스텀 트레이너 코드와 통합하는 신경망 아키텍처 검색 언어
코드가 포함된 바로 사용할 수 있는 사전 빌드된 최신 검색 공간
GPU에서 실행되는 코드가 포함된 바로 사용할 수 있는 사전 빌드된 트레이너
다음을 포함하는 아키텍처 검색을 위한 관리형 서비스
- 최상의 아키텍처를 찾도록 검색 공간을 샘플링하는 신경망 아키텍처 검색 컨트롤러
- 커스텀 하드웨어에서 지연 시간/FLOP/메모리를 계산하도록 코드가 포함된 사전 빌드된 docker/라이브러리
NAS 사용법을 안내하는 튜토리얼입니다.
프록시 태스크를 설계할 수 있는 도구 모음입니다.
Vertex AI를 사용한 효율적인 PyTorch 학습에 대한 안내 및 예시입니다.
커스텀 측정항목 보고 및 분석을 위한 라이브러리 지원
작업 모니터링 및 관리를 위한 Google Cloud Console UI
검색을 빠르게 시작할 수 있는 쉽게 사용 가능한 노트북
프로젝트별 또는 작업별 수준 세분성별 GPU/CPU 리소스 사용량 관리를 위한 라이브러리 지원
Python 기반 Nas-client를 사용하여 Docker를 빌드하고, NAS 작업을 실행하고, 이전 검색 작업을 재개할 수 있습니다.
Google Cloud 콘솔 UI 기반 고객지원

배경

신경망 아키텍처 검색은 신경망 설계를 자동화하기 위한 기술입니다. 이 기술은 지난 몇 년 동안 다음과 같은 몇 가지 최상의 컴퓨터 비전 모델을 성공적으로 생성했습니다.

이러한 결과 모델은 이미지 분류, 객체 검색, 세분화라는 컴퓨터 비전 문제의 3가지 주요 분야에서 모두 선두를 달리고 있습니다.

신경망 아키텍처 검색을 사용하면 엔지니어가 동일한 시도로 정확도, 지연 시간, 메모리 측면에서 모델을 최적화하고 모델 배포에 필요한 시간을 줄일 수 있습니다. 신경망 아키텍처 검색에는 다양한 유형의 모델이 사용됩니다. 컨트롤러는 ML 모델을 제안한 후 모델을 학습 및 평가하며 이를 1,000회 이상 반복하여 대상 기기의 지연 시간 또는 메모리 제약조건에 맞는 최상의 솔루션을 찾습니다. 다음 그림에서는 아키텍처 검색 프레임워크의 주요 구성요소를 보여줍니다.

모델: 작업과 연결이 포함된 신경망 아키텍처
검색 공간: 설계 및 최적화될 수 있는 사용 가능한 모델의 공간(작업 및 연결)
트레이너 docker: 모델 학습 및 평가와 모델의 정확도 계산을 위한 사용자 맞춤설정이 가능한 트레이너 코드
추론 기기: 모델 지연 시간 및 메모리 사용이 계산되는 CPU/GPU와 같은 하드웨어 기기
리워드: 모델의 성능 평가에 사용되는 정확도, 지연 시간, 메모리와 같은 모델 측정항목의 조합
신경망 아키텍처 검색 컨트롤러: (a) 검색 공간에서 모델을 샘플링하고 (b) 모델 리워드를 수신하고 (c) 다음 모델 제안 집합을 제공하여 최상의 모델을 찾도록 평가를 수행하는 조정 알고리즘

사용자 설정 태스크

신경망 아키텍처 검색은 추가 설정 없이 제공된 노트북에서 쉽게 사용될 수 있도록 사전 빌드된 검색 공간과 통합된 사전 빌드된 트레이너를 제공합니다.

그러나 대부분의 사용자는 자신의 커스텀 트레이너, 커스텀 검색 공간, 커스텀 측정항목(예: 메모리, 지연 시간, 학습 시간), 커스텀 보상(정확도 및 지연 시간과 같은 조합)을 사용해야 합니다. 이를 위해서는 다음이 필요합니다.

제공된 신경망 아키텍처 검색 언어를 사용하여 커스텀 검색 공간을 정의합니다.
검색 공간 정의를 트레이너 코드에 통합합니다.
트레이너 코드에 커스텀 측정항목 보고를 추가합니다.
트레이너 코드에 커스텀 리워드를 추가합니다.
학습 컨테이너를 빌드하고 이를 사용하여 Neural Architecture Search 작업을 시작합니다.

다음 다이어그램은 이를 보여줍니다.

Neural Architecture Search 서비스 작업

사용할 학습 컨테이너를 설정하면 신경망 아키텍처 검색 서비스는 여러 GPU 기기에서 학습 컨테이너 여러 개를 병렬로 실행합니다. 학습에 병렬로 사용할 시도 수와 실행할 총 시도 수를 제어할 수 있습니다. 각 학습 컨테이너에는 검색 공간에서 제안된 아키텍처가 제공됩니다. 학습 컨테이너는 제안된 모델을 빌드하고, 학습/평가를 수행한 후 리워드를 다시 Neural Architecture Search 서비스에 보고합니다. 이 프로세스가 진행됨에 따라 Neural Architecture Search 서비스는 리워드 피드백을 사용하여 점점 더 나은 모델 아키텍처를 찾습니다. 검색 후에는 추가 분석을 위해 보고된 측정항목에 액세스할 수 있습니다.

신경망 아키텍처 검색의 사용자 경험 개요

신경망 아키텍처 검색 환경을 수행하기 위한 대략적인 단계는 다음과 같습니다.

설정 및 정의:
- 라벨이 지정된 데이터 세트를 식별하고 태스크 유형(예: 감지 또는 세분화)을 지정합니다.
- 트레이너 코드 맞춤설정:
  - 사전 빌드된 검색 공간을 사용하거나 신경망 아키텍처 검색 언어를 사용하여 커스텀 검색 공간을 정의합니다.
  - 검색 공간 정의를 트레이너 코드에 통합합니다.
  - 트레이너 코드에 커스텀 측정항목 보고를 추가합니다.
  - 트레이너 코드에 커스텀 리워드를 추가합니다.
- 트레이너 컨테이너를 빌드합니다.
- 부분 학습(프록시 태스크)에 대한 검색 시도 매개변수를 설정합니다. 검색 학습은 모델을 부분적으로 학습하여 이상적으로 빠르게 완료됩니다(예: 30~60분).
  - 샘플링된 모델에서 리워드를 수집하는 데 필요한 최소 에포크(최소 에포크는 모델 수렴을 보장할 필요 없음)
  - 초매개변수(예: 학습률)
로컬로 검색을 실행하여 검색 공간 통합 컨테이너가 올바르게 실행되는지 확인합니다.
테스트 시도 5개로 Google Cloud 검색(stage-1) 작업을 시작하고 검색 시도가 런타임 목표와 정확도 목표를 충족하는지 확인합니다.
1,000회 이상 시도로 Google Cloud Search(stage-1) 작업을 시작합니다.
- 검색의 일부로 상위 N개 모델을 학습(stage-2)하는 일정한 간격도 설정합니다.
  - 초매개변수와 초매개변수 검색의 알고리즘입니다. 일반적으로 stage-2에서는 stage-1과 유사한 구성을 사용하지만 학습 단계/에포크, 채널 수와 같은 특정 매개변수의 더 높은 설정을 사용합니다.
  - 중지 기준(에포크 수)
보고된 측정항목을 분석하거나 통계를 얻기 위해 아키텍처를 시각화합니다.

아키텍처 검색 실험 다음에는 확장 검색 실험이 수행되고 그 다음에는 증강 검색 실험이 수행될 수 있습니다.

문서 읽기 순서

(필수) 환경 설정하기
(필수) 튜토리얼
(PyTorch 고객에게만 필요) 클라우드 데이터를 사용한 효율적인 PyTorch 학습
(필수) 권장사항 및 추천 워크플로
(필수) 프록시 태스크 설계
(사전 빌드된 트레이너를 사용할 때만 필요) 사전 빌드된 검색 공간 및 사전 빌드된 트레이너를 사용하는 방법