GKE 기반 Dataproc 클러스터 진단

GKE 기반 Dataproc 클러스터 및 작업 문제를 해결하는 데 도움이 되도록 Dataproc에서는 gcloud CLI dataproc clusters diagnose 명령어를 제공합니다. 이 명령어는 클러스터 관련 구성 파일, 로그, 출력을 수집하여 보관처리합니다. 그런 다음 GKE 기반 Dataproc 클러스터를 만들 때 지정한 Cloud Storage 스테이징 버킷에 보관 파일을 업로드합니다.

보관 파일 진단

다음 표에는 dataproc clusters diagnose 명령어 보관 파일에 포함된 측정항목과 기타 정보가 나와 있습니다.

시스템 정보

항목 보관 파일 위치
가상 GKE 기반 Dataproc 포드가 실행되는 GKE 노드 측정항목:
  • CPU 사용량
  • 메모리 사용량
 /system/NODE_NAME.json
실행 중인 포드의 네트워크 측정항목 및 파일 시스템 상태:
  • CPU 사용량
  • 메모리 사용량
  • 네트워크 상태
  • 파일 시스템 상태
 /system/POD_NAME.json

구성 정보

항목 보관 파일 위치
클러스터 configmap /conf/configmap
Kubernetes 배포 /conf/deployment
역할 기반 액세스 제어(RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

로그

항목 보관 파일 위치
에이전트 로그 /logs/agent.log
Spark 엔진 로그 /logs/sparkengine.log
지난 24시간 동안 Spark 드라이버에서 실행하고 완료한 작업 로그 /logs/DRIVER_ID

작업 및 포드 정보

항목 보관 파일 위치
JobAttempt 객체 /jobattempts
Kubernetes 포드 객체 /pods

추가 정보