Vertex AI 실험은 여러 다른 모델 아키텍처, 초매개변수, 학습 환경을 추적하고 분석하여, 실험 실행의 단계, 입력, 출력을 추적할 수 있게 해주는 도구입니다. Vertex AI 실험은 또한 테스트 데이터 세트를 기준으로 학습 실행 중 모델의 전반적인 성능을 평가할 수 있습니다. 그런 후 이 정보를 사용해서 특정 사용 사례에 적합한 모델을 선택할 수 있습니다.
실험 실행에는 추가 요금이 발생하지 않습니다. Vertex AI 가격 책정에 설명된 대로 실험 중에 사용하는 리소스의 요금만 청구됩니다.
| 수행할 작업은 무엇인가? | 노트북 샘플 확인 |
|---|---|
| 측정항목 및 매개변수 추적 | 모델 비교 |
| 실험 계보 추적 | 모델 학습 |
| 파이프라인 실행 추적 | 파이프라인 실행 비교 |
단계, 입력, 출력 추적
Vertex AI 실험으로 추적할 수 있는 항목은 다음과 같습니다.
- 실험 실행 단계(예: 전처리, 학습)
- 입력(예: 알고리즘, 매개변수, 데이터 세트)
- 이러한 단계의 출력(예: 모델, 체크포인트, 측정항목)
이를 통해 효과가 있었던 방식과 그렇지 않았던 방식을 파악하고, 추가 실험 방법을 식별할 수 있습니다.
사용자 여정 예시는 다음을 참조하세요.
모델 성능 분석
Vertex AI 실험을 사용하면 테스트 데이터 세트를 기준으로 학습 실행 중에 모델 성능을 집계하여 추적 및 평가할 수 있습니다. 이 기능은 모델의 성능 특성, 즉 특정 모델의 전반적인 효과와 모델이 실패하거나 우수한 성능을 보이는 부분을 이해하는 데 도움이 됩니다.
사용자 여정 예시는 다음을 참조하세요.
모델 성능 비교
Vertex AI 실험을 사용하면 실험 실행에서 여러 모델을 그룹화하고 비교할 수 있습니다. 각 모델에는 자체 지정된 매개변수, 모델링 기술, 아키텍처, 입력이 포함됩니다. 이 접근 방법은 최상의 모델을 선택하는 데 도움이 됩니다.
사용자 여정 예시는 다음을 참조하세요.
실험 검색
Google Cloud Console은 중앙 집중식 실험 보기, 실험 실행의 교차 섹션 보기, 각 실행의 세부정보를 제공합니다. Python용 Vertex AI SDK는 실험, 실험 실행, 실험 실행 매개변수, 측정항목, 아티팩트 사용을 위한 API를 제공합니다.
Vertex AI 실험은 Vertex ML Metadata와 함께 실험에서 추적한 아티팩트를 찾는 방법을 제공하여 아티팩트 계보와 실행 단계에서 사용 및 생성된 아티팩트를 빠르게 확인할 수 있습니다.
지원 범위
Vertex AI 실험은 대부분의 ML Framework에서 Vertex AI 커스텀 학습, Vertex AI Workbench 노트북, Notebooks, 모든 Python ML 프레임워크를 사용하는 모델 개발을 지원합니다. TensorFlow와 같은 일부 ML 프레임워크의 경우 Vertex AI 실험이 사용자 환경을 자동으로 만드는 프레임워크에 긴밀하게 통합됩니다. 다른 ML 프레임워크의 경우, Vertex AI 실험에서 사용 가능한 Python용 프레임워크 중립적 Vertex AI SDK를 제공합니다. TensorFlow, scikit-learn, PyTorch, XGBoost를 위한 사전 빌드된 컨테이너를 참조하세요.
데이터 모델 및 개념
Vertex AI 실험은 실험에 n개의 실험 실행과 n개의 파이프라인 실행이 포함될 수 있는 Vertex ML Metadata의 컨텍스트입니다. 실험 실행은 매개변수, 요약 측정항목, 시계열 측정항목, PipelineJob, Artifact,
Execution Vertex AI 리소스로 구성됩니다.
오픈소스 텐서보드의 관리형 버전인 Vertex AI 텐서보드가 시계열 측정항목 스토리지에 사용됩니다. 실행 및 파이프라인 실행의 아티팩트는 Google Cloud 콘솔에서 볼 수 있습니다.
Vertex AI 실험 용어
실험, 실험 실행, 파이프라인 실행
실험
- 실험은 사용자가 입력 아티팩트 또는 초매개변수와 같은 다른 구성을 그룹으로 조사할 수 있는 파이프라인 실행에 더하여 n개의 실험 실행 집합을 포함할 수 있는 컨텍스트입니다.
실험 실행
- 실험 실행에는 사용자 정의 측정항목, 매개변수, 실행, 아티팩트, Vertex 리소스(예: PipelineJob)가 포함될 수 있습니다.
파이프라인 실행
- 하나 이상의 Vertex PipelineJob이 각 파이프라인이 단일 실행으로 표시되는 실험과 연결될 수 있습니다. 이 컨텍스트에서 실행 매개변수는 PipelineJob의 매개변수에 의해 추론됩니다. 측정항목은 해당 PipelineJob에서 생성된 system.Metric 아티팩트에서 추론됩니다. 실행 아티팩트는 해당 PipelineJob에서 생성된 아티팩트에서 추론됩니다.
PipelineJob 리소스가 ExperimentRun 리소스와 연결될 수 있습니다.
이 컨텍스트에서 매개변수, 측정항목, 아티팩트는 추론되지 않습니다.
파이프라인을 실험과 연결을 참조하세요.
매개변수 및 측정항목
매개변수
- 매개변수는 실행을 구성하고, 실행 동작을 조정하고, 실행 결과에 영향을 주는 키가 지정된 입력 값입니다. 예를 들어 학습률, 드롭아웃 비율, 학습 단계 수가 있습니다.
로그 매개변수를 참조하세요.
요약 측정항목
- 요약 측정항목은 실험 실행의 각 측정항목 키에 대한 단일 값입니다. 예를 들어 실험의 테스트 정확도는 학습 종료 시점에 테스트 데이터 세트를 기준으로 계산된 정확도로서 단일 값 요약 측정항목으로 캡처될 수 있습니다.
로그 요약 측정항목을 참조하세요.
시계열 측정항목
- 시계열 측정항목은 세로 측정항목 값이며, 각 값은 실행의 학습 루틴 부분에서 단계를 나타냅니다. 시계열 측정항목은 Vertex AI 텐서보드에 저장됩니다. Vertex AI 실험은 Vertex TensorBoard 리소스에 대한 참조를 저장합니다.
로그 시계열 측정항목을 참조하세요.
리소스 유형
파이프라인 작업
- 파이프라인 작업 또는 파이프라인 실행은 Vertex AI API의 PipelineJob 리소스에 해당합니다. 입력-출력 종속 항목으로 상호 연결된 ML 태스크 집합으로 정의되는 ML 파이프라인 정의의 실행 인스턴스입니다.
아티팩트
- 아티팩트는 머신러닝 워크플로에 의해 만들어지고 사용되는 개별 항목 또는 데이터입니다. 아티팩트의 예로는 데이터 세트, 모델, 입력 파일, 학습 로그가 포함됩니다.
Vertex AI Experiments를 사용하면 스키마를 사용하여 아티팩트 유형을 정의할 수 있습니다. 예를 들어 지원되는 스키마 유형에는 system.Dataset, system.Model, system.Artifact가 있습니다. 자세한 내용은 시스템 스키마를 참조하세요.