이 페이지에서는 Cloud Data Fusion 인스턴스 및 파이프라인의 상태와 성능을 모니터링하는 데 도움이 되는 측정항목을 설명합니다. Cloud Monitoring을 사용하여 이러한 측정항목을 모니터링합니다. 측정항목은 파이프라인 실행, 인스턴스 세부정보, API 요청, 승인 확인에 관한 유용한 정보를 제공합니다.
측정항목은 파이프라인 측정항목 또는 인스턴스 측정항목으로 분류됩니다.
- 파이프라인 측정항목은 실행 상태, 기간, 지연 시간, 데이터 처리량과 같은 개별 파이프라인 실행에 관한 데이터를 제공합니다.
- 인스턴스 측정항목은 서비스 가용성, 배포된 파이프라인 수, API 요청 수를 비롯하여 인스턴스 내 파이프라인에 관한 집계된 정보를 제공합니다.
측정항목 및 모니터링 리소스 라벨을 사용하여 모니터링에서 Cloud Data Fusion 파이프라인 및 인스턴스 측정항목을 필터링하고 집계합니다. 측정항목 보기를 맞춤설정할 때 이러한 라벨 유형 중 하나 또는 둘 다를 사용할 수 있습니다.
Cloud Data Fusion 파이프라인 모니터링된 리소스 라벨
다음 Cloud Data Fusion 파이프라인 모니터링 리소스 라벨을 사용하여 측정항목을 필터링하고 집계합니다.
| 라벨 이름 | 설명 |
|---|---|
resource_container |
고객 프로젝트의 ID입니다. |
org_id |
고객 프로젝트가 속한 조직의 ID입니다. |
location |
인스턴스가 호스팅되는 영역 또는 리전입니다. |
edition |
Cloud Data Fusion 인스턴스의 버전입니다. |
is_private_ip_enabled |
인스턴스가 내부 IP 주소를 사용하는지 여부입니다. |
version |
인스턴스의 Cloud Data Fusion 데이터 영역 버전입니다. |
instance_id |
Cloud Data Fusion 인스턴스 ID입니다. |
namespace |
파이프라인의 네임스페이스입니다. |
pipeline_id |
파이프라인 ID입니다. |
run_id |
파이프라인의 실행 ID입니다. |
파이프라인 측정항목 라벨
Monitoring에서 다음 Cloud Data Fusion 측정항목 라벨을 사용하여 측정항목을 필터링하고 집계합니다.
| 이름 | 측정항목 | 설명 | 측정항목 라벨 |
|---|---|---|---|
| 파이프라인 실행 상태 | datafusion.googleapis.com/pipeline/v2/runs_completed_count |
실행을 완료한 파이프라인의 누적 수입니다. |
|
| 파이프라인 실행 시간 | datafusion.googleapis.com/pipeline/v2/pipeline_duration |
파이프라인 실행을 완료하는 데 걸린 시간입니다. |
|
| 파이프라인 시작 지연 시간 | datafusion.googleapis.com/pipeline/v2/pipeline_start_latency |
파이프라인이 Running 상태에 도달하는 데 걸린 시간입니다. |
|
| 프로비저닝 지연 시간 | datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency |
Dataproc 클러스터 프로비저닝 지연 시간입니다. |
|
| Dataproc API 요청 | datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count |
Dataproc API 요청의 누적 수입니다. |
|
| 파이프라인 미리보기 실행 시간 | datafusion.googleapis.com/pipeline/v2/preview_duration |
미리보기를 완료하는 데 걸린 시간입니다. |
|
| 작성된 파이프라인 바이트 | datafusion.googleapis.com/pipeline/v2/write_bytes_count |
파이프라인에서 작성한 바이트의 누적 수입니다. |
|
| 읽은 파이프라인 바이트 | datafusion.googleapis.com/pipeline/v2/read_bytes_count |
파이프라인에서 읽은 바이트의 누적 수입니다. |
|
| 셔플된 파이프라인 바이트 | datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count |
파이프라인에서 셔플된 누적 바이트 수입니다. |
|
| 수신하여 처리된 플러그인 레코드 | datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count |
플러그인에 진입하는 레코드의 누적 수입니다. |
|
| 처리되어 전송된 플러그인 레코드 | datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count |
플러그인을 종료하는 레코드의 누적 수입니다. |
|
Cloud Data Fusion 인스턴스 모니터링된 리소스 라벨
다음 Cloud Data Fusion 인스턴스 모니터링 리소스 라벨을 사용하여 측정항목을 필터링하고 집계합니다.
| 라벨 이름 | 설명 |
|---|---|
resource_container |
고객 프로젝트의 ID입니다. |
org_id |
고객 프로젝트가 속한 조직의 ID입니다. |
location |
인스턴스가 호스팅되는 영역 또는 리전입니다. |
edition |
인스턴스의 버전입니다. |
is_private_ip_enabled |
인스턴스가 내부 IP 주소를 사용하는지 여부입니다. |
version |
인스턴스의 Cloud Data Fusion 데이터 영역 버전입니다. |
instance_id |
Cloud Data Fusion 인스턴스 ID입니다. |
namespace |
네임스페이스 이름 |
인스턴스 측정항목 라벨
Monitoring에서 다음 Cloud Data Fusion 측정항목 라벨을 사용하여 측정항목을 필터링하고 집계합니다.
| 이름 | 측정항목 | 설명 | 측정항목 라벨 |
|---|---|---|---|
| 서비스 상태 | datafusion.googleapis.com/instance/v2/service_available |
Cloud Data Fusion 서비스의 사용 가능 여부 |
|
| 배포된 파이프라인 수 | datafusion.googleapis.com/instance/v2/pipelines |
배포된 파이프라인 수입니다. |
|
| 실행 중인 동시 파이프라인 수 | datafusion.googleapis.com/instance/v2/concurrent_pipelines_running |
동시에 실행되는 파이프라인 수입니다. |
|
| 동시 파이프라인 실행 수 | datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched |
프로비저닝 또는 시작 상태인 파이프라인 수입니다. |
|
| 수신된 CDAP REST API 요청 | datafusion.googleapis.com/instance/v2/api_request_count |
백엔드의 서비스에서 수신한 누적 REST API 요청 수입니다. |
|
| CDAP REST API 응답 전송됨 | datafusion.googleapis.com/instance/v2/api_response_count |
백엔드의 서비스에서 전송한 누적 REST API 응답 수입니다. |
|
| 승인 확인 수 | datafusion.googleapis.com/instance/v2/authorization_check_count |
액세스 시정 조치자가 실행한 승인 확인의 누적 수입니다. |
|
| 승인 확인 시간 | datafusion.googleapis.com/instance/v2/authorization_check_time |
액세스 시정 조치자가 실행하는 승인 확인의 지연 시간입니다. |
|
| 초안 파이프라인 수 | datafusion.googleapis.com/instance/v2/draft_pipelines |
초안 파이프라인 수입니다. |
|
| 네임스페이스 수 | datafusion.googleapis.com/instance/v2/namespaces |
네임스페이스 수입니다. |
|
다음 단계
- Monitoring에서 Cloud Data Fusion 측정항목 보기에 대해 자세히 알아보세요.