GKE 기반 Dataproc 클러스터 및 작업 문제를 해결하는 데 도움이 되도록 Dataproc에서는 gcloud CLI dataproc clusters diagnose 명령어를 제공합니다. 이 명령어는 클러스터 관련 구성 파일, 로그, 출력을 수집하여 보관처리합니다. 그런 다음 GKE 기반 Dataproc 클러스터를 만들 때 지정한 Cloud Storage 스테이징 버킷에 보관 파일을 업로드합니다.
보관 파일 진단
다음 표에는 dataproc clusters diagnose
명령어 보관 파일에 포함된 측정항목과 기타 정보가 나와 있습니다.
항목 |
보관 파일 위치 |
가상 GKE 기반 Dataproc 포드가 실행되는 GKE 노드 측정항목: |
|
/system/NODE_NAME.json
|
실행 중인 포드의 네트워크 측정항목 및 파일 시스템 상태: |
- CPU 사용량
- 메모리 사용량
- 네트워크 상태
- 파일 시스템 상태
|
/system/POD_NAME.json
|
항목 |
보관 파일 위치 |
클러스터 configmap |
/conf/configmap
|
Kubernetes 배포 |
/conf/deployment |
역할 기반 액세스 제어(RBAC) |
/conf/role
/conf/rolebind
/conf/serviceaccount
|
로그
항목 |
보관 파일 위치 |
에이전트 로그 |
/logs/agent.log |
Spark 엔진 로그 |
/logs/sparkengine.log |
지난 24시간 동안 Spark 드라이버에서 실행하고 완료한 작업 로그 |
/logs/DRIVER_ID |
항목 |
보관 파일 위치 |
JobAttempt 객체 |
/jobattempts |
Kubernetes 포드 객체 |
/pods |