GKE 기반 Dataproc 클러스터 진단
컬렉션을 사용해 정리하기
내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.
GKE 기반 Dataproc 클러스터 및 작업 문제를 해결하는 데 도움이 되도록 Dataproc에서는 gcloud CLI dataproc clusters diagnose 명령어를 제공합니다. 이 명령어는 클러스터 관련 구성 파일, 로그, 출력을 수집하여 보관처리합니다. 그런 다음 GKE 기반 Dataproc 클러스터를 만들 때 지정한 Cloud Storage 스테이징 버킷에 보관 파일을 업로드합니다.
보관 파일 진단
다음 표에는 dataproc clusters diagnose
명령어 보관 파일에 포함된 측정항목과 기타 정보가 나와 있습니다.
항목 |
보관 파일 위치 |
가상 GKE 기반 Dataproc 포드가 실행되는 GKE 노드 측정항목: |
|
/system/NODE_NAME.json
|
실행 중인 포드의 네트워크 측정항목 및 파일 시스템 상태: |
- CPU 사용량
- 메모리 사용량
- 네트워크 상태
- 파일 시스템 상태
|
/system/POD_NAME.json
|
항목 |
보관 파일 위치 |
클러스터 configmap |
/conf/configmap
|
Kubernetes 배포 |
/conf/deployment |
역할 기반 액세스 제어(RBAC) |
/conf/role
/conf/rolebind
/conf/serviceaccount
|
로그
항목 |
보관 파일 위치 |
에이전트 로그 |
/logs/agent.log |
Spark 엔진 로그 |
/logs/sparkengine.log |
지난 24시간 동안 Spark 드라이버에서 실행하고 완료한 작업 로그 |
/logs/DRIVER_ID |
항목 |
보관 파일 위치 |
JobAttempt 객체 |
/jobattempts |
Kubernetes 포드 객체 |
/pods |
달리 명시되지 않는 한 이 페이지의 콘텐츠에는 Creative Commons Attribution 4.0 라이선스에 따라 라이선스가 부여되며, 코드 샘플에는 Apache 2.0 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 Google Developers 사이트 정책을 참조하세요. 자바는 Oracle 및/또는 Oracle 계열사의 등록 상표입니다.
최종 업데이트: 2025-01-30(UTC)
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["이해하기 어려움","hardToUnderstand","thumb-down"],["잘못된 정보 또는 샘플 코드","incorrectInformationOrSampleCode","thumb-down"],["필요한 정보/샘플이 없음","missingTheInformationSamplesINeed","thumb-down"],["번역 문제","translationIssue","thumb-down"],["기타","otherDown","thumb-down"]],["최종 업데이트: 2025-01-30(UTC)"],[],[]]