파이프라인 측정항목 보기

파이프라인을 정의, 빌드, 실행한 후에는 측정항목 탐색기에서 파이프라인 작업 또는 파이프라인 태스크와 관련된 측정항목을 볼 수 있습니다. 또한 Cloud Logging을 사용하여 커스텀 로그 기반 측정항목과 알림을 만들어 파이프라인 실패와 같은 이벤트를 모니터링할 수 있습니다.

이 페이지에서는 다음을 수행하는 방법을 설명합니다.

측정항목 탐색기에서 표준 Vertex AI Pipelines 측정항목 보기
로그 탐색기에서 커스텀 측정항목 만들기 및 보기(미리보기)

Cloud Logging에서 커스텀 측정항목을 만들고 보는 데 관련 비용이 발생합니다. 자세한 내용은 Cloud Logging 가격 책정을 참조하세요.

측정항목 탐색기에서 표준 Vertex AI Pipelines 측정항목 보기

측정항목 탐색기에서 Vertex AI Pipelines와 관련된 다음 측정항목을 볼 수 있습니다.

파이프라인 작업 수준 측정항목:
- Vertex Pipelines Job - PipelineJob duration 측정항목을 사용하여 파이프라인 실행의 런타임 기간을 확인합니다.
- Location - Executing PipelineJobs 측정항목을 사용하여 파이프라인 실행 수를 확인합니다.
파이프라인 태스크 수준 측정항목:
- Vertex Pipelines Job - Completed PipelineTasks를 사용하여 완료된 파이프라인 태스크 수를 확인합니다.
- Location - Executing PipelineTasks를 사용하여 파이프라인 실행에서 실행된 파이프라인 태스크 수를 확인합니다.

파이프라인 작업의 런타임 기간 보기

Google Cloud 콘솔에서 Vertex Pipelines Job - PipelineJob duration 측정항목을 보려면 다음 안내를 따르세요.

측정항목 탐색기로 이동합니다.

측정항목 탐색기로 이동
측정항목 목록에서 Vertex Pipelines 작업 > Pipelinejob > PipelineJob 기간을 선택합니다.
적용을 클릭합니다.
선택사항: 쿼리를 필터링하려면 필터를 클릭하여 기준을 하나 이상 지정합니다. 예를 들면 다음과 같습니다.
- 특정 파이프라인 작업의 런타임 기간을 보려면 pipeline_job_id 필터를 사용합니다.
- 특정 위치의 파이프라인 작업의 런타임 기간을 보려면 location 필터를 사용합니다.
- PIPELINE_JOB_RUNNING, PIPELINE_JOB_CANCELLED 또는 PIPELINE_JOB_PENDING 상태에서 파이프라인 작업의 런타임 기간을 보려면 run_state 필터를 사용합니다.

파이프라인 실행 수 보기

Google Cloud 콘솔에서 Location - Executing PipelineJobs 측정항목을 보려면 다음 안내를 따르세요.

측정항목 탐색기로 이동합니다.

측정항목 탐색기로 이동
측정항목 목록에서 위치 > Executing_vertexai_pipeline_jobs > PipelineJobs 실행을 선택합니다.
적용을 클릭합니다.
선택사항: 쿼리를 필터링하려면 필터를 클릭하여 기준을 하나 이상 지정합니다. 예를 들어 특정 위치의 파이프라인 작업 수를 보려면 location 필터를 사용합니다.

완료된 파이프라인 태스크 수 보기

Google Cloud 콘솔에서 Vertex Pipelines Job - Completed PipelineTasks 측정항목을 보려면 다음 안내를 따르세요.

측정항목 탐색기로 이동합니다.

측정항목 탐색기로 이동
측정항목 목록에서 Vertex Pipelines 작업 > Pipelinejob > 완료된 PipelineTasks를 선택합니다.
적용을 클릭합니다.
선택사항: 쿼리를 필터링하려면 필터를 클릭하여 기준을 하나 이상 지정합니다. 예를 들면 다음과 같습니다.
- 특정 파이프라인 실행에서 완료된 태스크 수를 보려면 pipeline_job_id 필터를 사용합니다.
- 특정 위치의 파이프라인 실행에서 완료된 태스크 수를 보려면 location 필터를 사용합니다.

실행된 파이프라인 태스크 수 보기

Google Cloud 콘솔에서 Location - Executing PipelineTasks 측정항목을 보려면 다음 안내를 따르세요.

측정항목 탐색기로 이동합니다.

측정항목 탐색기로 이동
측정항목 목록에서 위치 > Executing_vertexai_pipeline_tasks > PipelineTasks 실행을 선택합니다.
적용을 클릭합니다.
선택사항: 쿼리를 필터링하려면 필터를 클릭하여 기준을 하나 이상 지정합니다. 예를 들어 특정 위치에 대해 실행된 파이프라인 태스크 수를 보려면 location 필터를 사용합니다.

로그 탐색기에서 커스텀 측정항목 만들기 및 보기

Google Cloud 콘솔에서 로그 탐색기를 사용하여 파이프라인 로그 내의 패턴을 추적하고 분석하는 커스텀 로그 기반 측정항목을 만듭니다.

커스텀 측정항목의 예시

이 섹션에서는 만들 수 있는 커스텀 측정항목의 예시를 보여줍니다. 여기에는 다음과 같은 내용이 포함되어 있습니다.

실패한 파이프라인 작업에 대한 커스텀 측정항목 만들기
최종 파이프라인 상태에 대한 커스텀 측정항목 만들기
파이프라인 작업 실패율 보기

실패한 파이프라인 작업에 대한 커스텀 측정항목 만들기

실패한 파이프라인 작업을 모니터링하는 커스텀 로그 기반 카운터 측정항목을 만들려면 다음을 수행합니다.

로그 탐색기로 이동합니다.

로그 탐색기로 이동
적합한 Google Cloud 프로젝트를 선택합니다.
리소스 드롭다운 메뉴에서 Vertex Pipelines 작업을 선택합니다.
위치 드롭다운 메뉴에서 파이프라인 위치를 선택합니다.
모든 pipeline_job_id 드롭다운 메뉴에서 파이프라인 작업의 ID를 선택합니다.
적용을 클릭합니다.
측정항목 만들기를 클릭합니다.
로그 측정항목 만들기 화면에서 다음을 수행합니다.
1. 측정항목 유형 설정: 카운터를 선택합니다.
2. 세부정보 섹션에서 다음 필드를 설정합니다.
  - 로그 측정항목 이름: 로그 측정항목의 이름을 입력합니다(예: pipelinejob_failed). Google Cloud 프로젝트에서 로그 기반 측정항목 간에 고유한 이름을 선택합니다. 이름 지정에는 일부 제한이 적용됩니다. 자세한 내용은 문제 해결을 참조하세요.
  - 설명: 측정항목에 대한 설명을 입력합니다.
  - 단위: 이 필드를 비워 두거나 숫자 1을 입력합니다.
3. 필터 선택 섹션에서 측정항목 필터를 정의합니다. 로깅 쿼리 언어를 사용하여 측정항목에서 집계하려는 로그 항목만 수집하는 필터를 만듭니다. 예를 들면 다음과 같습니다.
```
resource.type="aiplatform.googleapis.com/PipelineJob"
jsonPayload.state="PIPELINE_STATE_FAILED"
```
  정규 표현식을 사용하여 측정항목의 필터를 만들 수도 있습니다.
  
  필터와 일치하는 로그 항목을 보여주는 패널을 열려면 미리보기 로그를 클릭합니다.
4. 선택사항: 라벨 섹션에서 라벨을 추가합니다. 라벨을 만드는 방법은 라벨 만들기를 참조하세요.
5. 측정항목을 만들려면 측정항목 만들기를 클릭합니다.

최종 파이프라인 상태에 대한 커스텀 측정항목 만들기

파이프라인 작업의 최종 상태를 모니터링하는 커스텀 로그 기반 카운터 측정항목을 만들려면 다음을 수행합니다.

로그 탐색기로 이동합니다.

로그 탐색기로 이동
적합한 Google Cloud 프로젝트를 선택합니다.
리소스 드롭다운 메뉴에서 Vertex Pipelines 작업을 선택합니다.
위치 드롭다운 메뉴에서 파이프라인 위치를 선택합니다.
모든 pipeline_job_id 드롭다운 메뉴에서 파이프라인 작업의 ID를 선택합니다.
적용을 클릭합니다.
측정항목 만들기를 클릭합니다.
로그 측정항목 만들기 화면에서 다음을 수행합니다.
1. 측정항목 유형 설정: 카운터를 선택합니다.
2. 세부정보 섹션에서 다음 필드를 설정합니다.
  - 로그 측정항목 이름: 로그 측정항목의 이름을 입력합니다(예: Pipeline_state_final). Google Cloud 프로젝트에서 로그 기반 측정항목 간에 고유한 이름을 선택합니다. 이름 지정에는 일부 제한이 적용됩니다. 자세한 내용은 문제 해결을 참조하세요.
  - 설명: 측정항목에 대한 설명을 입력합니다.
  - 단위: 이 필드를 비워 두거나 숫자 1을 입력합니다.
3. 필터 선택 섹션에서 측정항목 필터를 정의합니다. 로깅 쿼리 언어를 사용하여 측정항목에서 집계하려는 로그 항목만 수집하는 필터를 만듭니다. 예를 들면 다음과 같습니다.
```
resource.type="aiplatform.googleapis.com/PipelineJob"
jsonPayload.state="PIPELINE_STATE_SUCCEEDED" OR
"PIPELINE_STATE_FAILED" OR "PIPELINE_STATE_CANCELLED"
```
  정규 표현식을 사용하여 측정항목의 필터를 만들 수도 있습니다.
  
  필터와 일치하는 로그 항목을 보여주는 패널을 열려면 미리보기 로그를 클릭합니다.
4. 선택사항: 라벨 섹션에서 라벨을 추가합니다. 라벨을 만드는 방법은 라벨 만들기를 참조하세요.
5. 측정항목을 만들려면 측정항목 만들기를 클릭합니다.

파이프라인 작업 실패율 보기

파이프라인 작업 실패율은 실패한 파이프라인 작업 수 대비 최종 상태의 파이프라인 작업 수의 비율로 계산됩니다. 파이프라인 작업 실패율을 모니터링할 수 있는 대시보드를 만들려면 다음을 수행합니다.

최종 상태에서 파이프라인 작업을 모니터링하는 측정항목을 만듭니다. 자세한 내용은 최종 파이프라인 상태에 대한 커스텀 측정항목 만들기를 참조하세요.
실패 상태에서 파이프라인 작업을 모니터링하는 측정항목을 만듭니다. 자세한 내용은 실패한 파이프라인 작업에 대한 커스텀 측정항목 만들기를 참조하세요.
Google Cloud 콘솔의 Monitoring 섹션에서 측정항목 탐색기 페이지로 이동합니다.

측정항목 탐색기 페이지로 이동
구성 탭에서 다음을 수행합니다.
1. 다른 측정항목 추가를 클릭합니다.
2. 측정항목을 비율로 표시 옵션을 선택합니다. 이 옵션을 선택하면 다음 작업이 수행됩니다.
  - 시계열 A 창 이름이 분자로 바뀝니다.
  - 시계열 B 창 이름이 분모로 바뀝니다.
3. 분자 창에서 측정항목 선택을 클릭하여 실패한 파이프라인 작업에 생성된 측정항목을 선택합니다.
4. 분모 창에서 측정항목 선택을 클릭하여 최종 상태 파이프라인 작업에 생성된 측정항목을 선택합니다.
5. (선택사항) 필터를 추가하거나 그룹화 필드 및 정렬 매개변수를 업데이트하여 분자와 분모를 구성합니다.
  
  필터를 추가하거나 그룹화 필드 및 정렬 매개변수를 업데이트하는 방법에 대한 자세한 내용은 측정항목 비율을 차트로 표시를 참조하세요.
  
  참고: 분자와 분모로 선택된 측정항목 두 개는 같은 리소스 유형이어야 합니다. 분자 및 분모와 같은 측정항목을 선택한 경우 다른 필터나 그룹화를 사용하여 분자와 분모를 구분하세요.
분자와 분모를 선택하면 파이프라인 작업 실패율이 그래프로 표시됩니다.
- 파이프라인 작업 실패율 그래프를 생성한 후에 커스텀 대시보드에 추가할 수 있습니다. 자세한 내용은 향후 참조용으로 차트 저장을 참조하세요.
- 그래프 구성이 포함된 URL을 복사하려면 그래프의 오른쪽 상단에 있는 줄임표 아이콘을 클릭한 후 URL로 공유를 클릭합니다.