GKE 기반 Dataproc 로깅

작업 드라이버 로그

GKE 기반 Dataproc Spark 작업 드라이버 로그를 구성하고 확인하는 방법에 대한 자세한 내용은 Logging의 Dataproc 작업 로그를 참조하세요.

Cloud Logging

Logging을 사용 설정하여 Cloud Logging에서 GKE 기반 Dataproc 로그를 보고, 검색하고, 필터링하고, 보관처리합니다.

다음 라벨을 사용하여 Cloud Logging에서 Spark 드라이버 및 실행자 로그를 검색할 수 있습니다.

  • dataproc.googleapis.com/cluster-uuid = Dataproc cluster UUID
  • dataproc.googleapis.com/job-uuid = Dataproc job UUID
  • dataproc.googleapis.com/role

샘플 쿼리:

labels."k8s-pod/dataproc_googleapis_com/cluster-uuid"="Dataproc cluster UUID"

labels."k8s-pod/dataproc_googleapis_com/job-uuid"="Dataproc job UUID"

labels."k8s-pod/dataproc_googleapis_com/role"="driver"

추가 정보

  • Logging에서 GKE 기반 Dataproc 작업 및 클러스터 로그를 액세스하는 방법에 대한 자세한 내용은 Dataproc 문서를 참조하세요.