파이프라인 아티팩트 계보 추적

Vertex AI Pipelines를 사용하여 생성된 각 파이프라인 실행에는 모델, 데이터 세트, 파이프라인 템플릿, 구성요소와 같은 여러 연관된 아티팩트 및 매개변수가 포함됩니다. 파이프라인 아티팩트 계보에는 아티팩트 생성에 영향을 준 요소뿐 아니라 아티팩트에서 파생된 아티팩트와 메타데이터도 포함됩니다. 예를 들어 모델의 계보에 다음이 포함될 수 있습니다.

  • 모델을 만들 때 사용되는 학습, 테스트, 평가 데이터

  • 모델 학습 중에 사용되는 초매개변수

  • 모델의 정확성과 같은 학습 및 평가 프로세스에서 기록된 메타데이터

  • 일괄 예측 결과 등 이 모델에서 비롯된 아티팩트

이 메타데이터를 사용하면 다음과 같은 질문에 대한 답을 얻을 수 있습니다.

  • 특정 파이프라인에서 특히 정확한 모델이 생성된 이유는 무엇인가요?

  • 가장 정확한 모델이 생성된 파이프라인 실행은 언제이며 이때 모델 학습에 사용된 초매개변수는 무엇인가요?

  • 파이프라인의 단계에 따라 시스템 거버넌스 질문에 대한 답을 얻을 수 있습니다. 예를 들어 메타데이터를 사용하여 특정 시점에 어떤 버전의 모델이 프로덕션 단계에 있었는지 파악할 수 있습니다.

파이프라인 아티팩트 계보를 보고 분석하려면 Vertex ML Metadata 또는 Dataplex Universal Catalog를 사용하면 됩니다.

다음 표에서는 Vertex ML Metadata와 Dataplex Universal Catalog의 차이점을 간략하게 설명합니다.

기능 Vertex ML Metadata Dataplex 범용 카탈로그
캡처된 파이프라인 메타데이터 유형 파이프라인 실행으로 생성되는 모든 입력 및 출력 아티팩트입니다. 일반적으로 Google Cloud 파이프라인 구성요소를 사용하여 Dataplex Universal Catalog에서 지원하는 정규화된 이름(FQN)에 매핑할 수 있는 입력 및 출력 아티팩트입니다.
지역 단일 리전 읽기 전역 읽기(즉, 여러 리전 간 읽기)
프로젝트 단일 프로젝트 읽기 여러 프로젝트에 걸쳐 조직 전체 읽기
통합 서비스 Vertex AI Pipelines, Vertex AI Experiments, Vertex AI Model Registry, 데이터 세트와 통합 Vertex AI, BigQuery, Cloud Composer, Dataproc과 같은 여러 Google Cloud 제품과 통합
선택 가능? 아니요, 상시 사용 설정 Data Lineage API를 사용 설정하여 프로젝트별로 선택합니다.

Vertex ML Metadata 아티팩트를 Dataplex Universal Catalog에 매핑

Vertex ML Metadata 아티팩트를 Dataplex Universal Catalog의 FQN에 매핑하려면 다음을 수행해야 합니다.

  • Vertex AI 모델과 관리형 데이터 세트를 만드는 동안 Google Cloud 파이프라인 구성요소를 사용합니다.

  • 다음 샘플에 표시된 것처럼 metadata 필드에 모델 또는 관리형 데이터 세트 리소스 이름을 지정하면서 커스텀 스키마 제목(google.VertexDataset 또는 google.VertexModel)을 사용합니다.

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Vertex ML Metadata를 사용하여 파이프라인 아티팩트 계보 분석

Vertex AI Pipelines를 사용하여 파이프라인을 실행하면 파이프라인 실행의 아티팩트와 매개변수가 Vertex ML Metadata를 사용하여 저장됩니다. Vertex ML Metadata를 사용하면 파이프라인의 메타데이터 추적의 어려움이 해소되어 파이프라인 아티팩트의 계보를 더 쉽게 분석할 수 있습니다.

Vertex ML Metadata를 처음 사용하는 경우 Vertex ML Metadata 소개를 참조하세요.

Vertex ML Metadata를 사용하여 파이프라인 아티팩트의 계보 그래프를 보려면 다음 안내를 따르세요.

  1. Google Cloud 콘솔의 Vertex AI 섹션에서 메타데이터 페이지로 이동합니다.

    메타데이터로 이동

    메타데이터 페이지에는 기본 메타데이터 스토어에 생성된 아티팩트가 표시됩니다.

  2. 리전 드롭다운 목록에서 실행이 생성된 리전을 선택합니다.

  3. 아티팩트의 표시 이름을 클릭하여 계보 그래프를 확인합니다.

    이 계보 그래프의 일부인 아티팩트 및 실행을 보여주는 정적 그래프가 표시됩니다.

  4. 아티팩트 또는 실행을 클릭하여 자세히 알아보세요.

Dataplex Universal Catalog를 사용하여 파이프라인 아티팩트 계보 분석

Dataplex Universal Catalog는 Vertex AI 모델, 관리형 데이터 세트, Dataplex Universal Catalog에서 검색 가능한 기타Google Cloud 리소스와 같은 Vertex AI Pipelines 아티팩트가 포함된Google Cloud 리소스에서 메타데이터를 검색합니다. Dataplex Universal Catalog의 메타데이터 검색 기능을 사용하여 이러한 아티팩트를 검색하고 계보 그래프를 볼 수 있습니다.

Dataplex Universal Catalog 메타데이터 검색 기능에 대한 자세한 내용은 Dataplex Universal Catalog에서 리소스 검색을 참조하세요.

Vertex AI Pipelines가 지원되는 모든 리전에서 Dataplex Universal Catalog를 사용할 수 있는 것은 아닙니다. Dataplex Universal Catalog가 리전에서 지원되지 않으면 Vertex ML Metadata를 사용합니다. Dataplex Universal Catalog에 지원되는 리전 목록을 봅니다.

Dataplex Universal Catalog에서 파이프라인 아티팩트의 계보 그래프를 보려면 다음 안내를 따르세요.

  1. Google Cloud 콘솔에서 Dataplex Universal Catalog 검색어를 실행하려면 Dataplex Universal Catalog 검색 페이지로 이동합니다.

    검색 페이지로 이동

  2. 검색 모드로 Dataplex 카탈로그를 선택합니다.

  3. 필터를 사용하여 아티팩트를 검색합니다. 예를 들어 데이터 유형 필터를 사용해서 모델, 데이터 세트 또는 BigQuery 테이블과 같은 아티팩트 유형을 지정할 수 있습니다. 자세한 내용은 Dataplex Universal Catalog에서 리소스 검색을 참조하세요.

    또한 검색창에서 쿼리를 정의할 수도 있습니다.

  4. 아티팩트 계보를 보려면 아티팩트 이름을 클릭한 후 계보 탭을 클릭합니다.

    계보 그래프에서 Vertex AI 프로세스 앞에 Vertex AI 계보 아이콘가 추가됩니다. 여기에는 파이프라인 아티팩트, 파이프라인 구성요소, 파이프라인 템플릿이 포함됩니다.

    • 프로세스 세부정보를 보려면 계보 그래프에서 프로세스를 클릭합니다.

    • 파이프라인 실행의 파이프라인 태스크를 기반으로 하는 프로세스의 경우 다음을 수행할 수 있습니다.

      • 세부정보 탭에서 Vertex AI에서 열기를 클릭하여 Vertex AI에서 파이프라인 실행을 확인합니다. 상태, 타임스탬프, 속성과 같은 파이프라인 실행의 런타임 세부정보를 보려면 더보기를 클릭합니다. Vertex AI에서 파이프라인 실행을 보려면 Vertex AI에서 열기를 클릭합니다.

    • 파이프라인 템플릿 기반 프로세스의 경우 다음을 수행할 수 있습니다.

      • 세부정보 탭에서 Vertex AI에서 열기를 클릭하여 Vertex AI에서 템플릿 세부정보를 확인합니다.

      • 실행 탭에서 파이프라인 실행에서 생성된 파이프라인 태스크 목록을 확인합니다. Vertex AI에서 파이프라인 템플릿의 세부정보를 보려면 더보기를 클릭한 다음 Vertex AI에서 열기를 클릭합니다.

다음 단계