실험 실행에 데이터 자동 로깅

자동 로깅은 모델 학습 실행의 매개변수 및 측정항목을 Vertex AI 실험에 자동으로 로깅하는 Vertex AI SDK의 기능입니다. 이 기능을 사용하면 이 데이터를 수동으로 로깅할 필요가 없으므로 시간과 노력을 절약할 수 있습니다. 현재 자동 로깅은 매개변수 및 측정항목 로깅만 지원합니다.

데이터 자동 로깅

Vertex AI 실험에 데이터를 자동 로깅하는 데에는 두 가지 옵션이 있습니다.

  1. Vertex AI SDK는 사용자를 위해 ExperimentRun 리소스를 자동으로 만듭니다.
  2. 자동 로깅된 매개변수 및 측정항목을 기록할 ExperimentRun 리소스를 지정하세요.

자동 생성됨

Python용 Vertex AI SDK는 사용자를 위해 ExperimentRun 리소스 만들기를 처리합니다. 자동으로 생성된 ExperimentRun 리소스의 실행 이름은 {ml-framework-name}-{timestamp}-{uid} 형식으로 지정됩니다. 예를 들면 'tensorflow-2023-01-04-16-09-20-86a88'입니다.

다음 샘플은 aiplatform 패키지 함수에서 init 메서드를 사용합니다.

Python

def autologging_with_auto_run_creation_sample(
    experiment_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    # Your model training code goes here

    aiplatform.autolog(disable=True)
  • experiment_name: 실험 이름을 입력합니다. 섹션 탐색 메뉴에서 실험을 선택하면 Google Cloud 콘솔에서 실험 목록을 찾을 수 있습니다.
  • experiment_tensorboard: (선택사항) Vertex AI 텐서보드 인스턴스의 이름을 제공합니다.
  • project: 프로젝트 ID 이러한 프로젝트 ID는 Google Cloud 콘솔 시작 페이지에서 찾을 수 있습니다.
  • location: 사용 가능한 위치 목록을 참조하세요.

사용자 지정

자체 ExperimentRun 이름을 제공하고 동일한 ExperimentRun에 로깅된 여러 모델 학습 실행으로부터 가져온 측정항목 및 매개변수를 사용합니다. aiplatform.end_run()이 호출될 때까지 aiplatform.start_run("your-run-name")을 호출하여 설정된 모델에서 현재 실행까지의 모든 측정항목을 사용할 수 있습니다.

다음 샘플은 aiplatform 패키지 함수에서 init 메서드를 사용합니다.

Python

def autologging_with_manual_run_creation_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    aiplatform.start_run(run=run_name)

    # Your model training code goes here

    aiplatform.end_run()

    aiplatform.autolog(disable=True)
  • experiment_name: 실험 이름을 입력합니다.
  • run_name: 실험 실행의 이름을 입력합니다. 섹션 탐색 메뉴에서 실험을 선택하면 Google Cloud 콘솔에서 실험 목록을 찾을 수 있습니다.
  • project: 프로젝트 ID 이러한 프로젝트 ID는 Google Cloud 콘솔 시작 페이지에서 찾을 수 있습니다.
  • location: 사용 가능한 위치 목록을 참조하세요.
  • experiment_tensorboard: (선택사항) Vertex AI 텐서보드 인스턴스의 이름을 제공합니다.

Vertex AI SDK 자동 로깅은 해당 구현에서 MLFlow의 자동 로깅을 사용합니다. 다음 프레임워크에서 평가 측정항목 및 매개변수는 자동 로깅이 사용 설정될 때 ExperimentRun에 로깅됩니다.

  • Fastai
  • Gluon
  • Keras
  • LightGBM
  • Pytorch Lightning
  • scikit-learn
  • Spark
  • Statsmodels
  • XGBoost

자동 로깅된 매개변수 및 측정항목 보기

Python용 Vertex AI SDK를 사용하여 실행을 비교하고 실행 데이터를 가져옵니다. Google Cloud 콘솔에서는 이러한 실행을 간편하게 비교하는 방법을 제공합니다.

관련 노트북 샘플

블로그 게시물