실행 비교 및 분석

Python용 Vertex AI SDK를 사용하여 Vertex AI 실험 실행 데이터를 보고 실행을 비교할 수 있습니다.

Google Cloud 콘솔은 이러한 실행과 연관된 데이터의 시각화를 제공합니다.

실험 실행 데이터 가져오기

이 샘플에는 특정 실험 실행의 실행 측정항목, 실행 매개변수, 런타임 시리즈 측정항목, 아티팩트, 분류 측정항목이 포함됩니다.

요약 측정항목

Python

def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

run_name: 이 세션에 적합한 실행 이름을 지정합니다.
experiment: 이 실험의 이름 또는 인스턴스입니다. 섹션 탐색 메뉴에서 실험을 선택하면 Google Cloud 콘솔에서 실험 목록을 찾을 수 있습니다.
project: 프로젝트 ID 이러한 항목은 Google Cloud 콘솔 시작 페이지에서 찾을 수 있습니다.
location: 사용 가능한 위치 목록을 참조하세요.

매개변수

Python

def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

run_name: 이 세션에 적합한 실행 이름을 지정합니다.
experiment: 이 실험의 이름 또는 인스턴스입니다. 섹션 탐색 메뉴에서 실험을 선택하면 Google Cloud 콘솔에서 실험 목록을 찾을 수 있습니다.
project: 프로젝트 ID 이러한 항목은 Google Cloud 콘솔 시작 페이지에서 찾을 수 있습니다.
location: 사용 가능한 위치 목록을 참조하세요.

시계열 측정항목

Python

def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

run_name: 이 세션에 적합한 실행 이름을 지정합니다.
experiment: 이 실험의 이름 또는 인스턴스입니다. 섹션 탐색 메뉴에서 실험을 선택하면 Google Cloud 콘솔에서 실험 목록을 찾을 수 있습니다.
project: 프로젝트 ID 이러한 항목은 Google Cloud 콘솔 시작 페이지에서 찾을 수 있습니다.
location: 사용 가능한 위치 목록을 참조하세요.

아티팩트

Python

def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

run_name: 이 세션에 적합한 실행 이름을 지정합니다.
experiment: 이 실험의 이름 또는 인스턴스입니다. 섹션 탐색 메뉴에서 실험을 선택하면 Google Cloud 콘솔에서 실험 목록을 찾을 수 있습니다.
project: 프로젝트 ID 이러한 항목은 Google Cloud 콘솔 시작 페이지에서 찾을 수 있습니다.
location: 사용 가능한 위치 목록을 참조하세요.

분류 측정항목

Python

def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

run_name: 이 세션에 적합한 실행 이름을 지정합니다.
experiment: 이 실험의 이름 또는 인스턴스입니다. 섹션 탐색 메뉴에서 실험을 선택하면 Google Cloud 콘솔에서 실험 목록을 찾을 수 있습니다.
project: 프로젝트 ID 이러한 항목은 Google Cloud 콘솔 시작 페이지에서 찾을 수 있습니다.
location: 사용 가능한 위치 목록을 참조하세요.

실행 비교

Python용 Vertex AI SDK를 사용하면 실험과 연결된 데이터를 검색할 수 있습니다. 실험 실행에 대한 데이터가 DataFrame에 반환됩니다.

실행 비교

실험 실행에 대한 데이터는 DataFrame에 반환됩니다.

Python

def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

experiment_name: 실험 이름을 입력합니다. 섹션 탐색 메뉴에서 실험을 선택하면 Google Cloud 콘솔에서 실험 목록을 찾을 수 있습니다.
project: 프로젝트 ID 이러한 ID는 Google Cloud 콘솔 시작 페이지에서 찾을 수 있습니다.
location: 사용 가능한 위치 목록을 참조하세요.

Google Cloud 콘솔

Google Cloud 콘솔을 사용하여 실험 실행의 세부정보를 확인하고 실험 실행을 서로 비교합니다.

실험 실행 데이터 보기

Google Cloud 콘솔에서 실험 페이지로 이동합니다.
<a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="V3Ae1hvcBOij4KvUNiRrMltigmNHgUGOXn/QVSGplOhBlpxunv8WHL3F/z3VuS9rwbZOYpOQCXa+v4aZ0dt03w==" target="console" track-name="consoleLink" track-type="tasks" }="">실험으로 이동
프로젝트와 연결된 실험 목록이 표시됩니다. </a{:>
확인할 실행이 포함된 실험을 선택합니다.
실행 목록, 시계열 데이터 차트, 측정항목 및 매개변수 데이터 테이블이 표시됩니다. 이 경우 세 가지 실행이 선택되지만 시계열 데이터 차트에는 두 줄만 표시됩니다. 세 번째 실험 실행에는 표시할 시계열 데이터가 없으므로 세 번째 줄이 없습니다.
실행 이름을 클릭하여 세부정보 페이지로 이동합니다.

탐색 메뉴 및 시계열 데이터 차트가 표시됩니다.
선택한 실행에 대한 측정항목, 매개변수, 아티팩트, 세부정보를 보려면 탐색 메뉴에서 해당 버튼을 클릭하세요.
- 측정항목
- 매개변수
- 아티팩트
  
  아티팩트 계보를 보려면 메타데이터 저장소에서 아티팩트 열기 링크를 클릭하세요. 실행과 연결된 계보 그래프가 표시됩니다.
- 세부정보

다른 사용자와 데이터를 공유하려면 뷰와 연결된 URL을 사용합니다. 예를 들어 실험과 연결된 실험 실행 목록을 공유합니다.

실험 실행 비교

실험 내에서 선택한 실험 및 여러 실험을 비교할 수 있습니다.

Google Cloud 콘솔에서 실험 페이지로 이동합니다.
<a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="V3Ae1hvcBOij4KvUNiRrMltigmNHgUGOXn/QVSGplOhBlpxunv8WHL3F/z3VuS9rwbZOYpOQCXa+v4aZ0dt03w==" target="console" track-name="consoleLink" track-type="tasks" }="">실험으로 이동
실험 목록이 나타납니다. </a{:>
비교할 실행이 포함된 실험을 선택합니다. 실행 목록이 나타납니다.
비교할 실험 실행을 선택합니다. 비교를 클릭합니다.

기본적으로 선택한 실험의 시계열 측정항목을 비교하는 차트가 표시됩니다.
프로젝트의 실험에서 실행을 추가하려면 실행 추가를 클릭합니다.

다른 사용자와 데이터를 공유하려면 뷰와 연결된 URL을 사용합니다. 예를 들어 시계열 측정항목 데이터의 비교 뷰를 공유합니다.

실행 상태를 업데이트하는 방법은 실험 실행 만들기 및 관리를 참조하세요.

다음 단계

실행 및 아티팩트 추적