Dataproc 오류 메시지 문제 해결

이 페이지에서는 Dataproc 오류 메시지와 일반적인 원인 및 해결 방법을 설명합니다.

일반적인 안내는 다음을 참조하세요.

클러스터 만들기 오류 메시지

  • 작업 시간 초과: 최소 필수 DataNode/노드 관리자 2개 중 0개만 실행 중입니다.

    원인: 마스터 노드는 작업자 노드와 통신할 수 없으므로 클러스터를 만들 수 없습니다.

    해결 방법:

    • 방화벽 규칙 경고를 확인합니다.
    • 올바른 방화벽 규칙이 적용되었는지 확인합니다(기본 Dataproc 방화벽 규칙 개요 참조).
    • Google Cloud 콘솔에서 연결 테스트를 수행하여 마스터 노드와 워커 노드 간의 통신을 차단하는 항목을 확인합니다.
  • 'projects/{projectId}/regions/{region}/subnetworks/{subnetwork}에 대한 'compute.subnetworks.use' 권한이 필요합니다.

    원인: 다른 프로젝트의 VPC 네트워크를 사용하여 Dataproc 클러스터를 설정하려고 하는데 Dataproc 서비스 에이전트 서비스 계정에 네트워크를 호스팅하는 공유 VPC 프로젝트에 필요한 권한이 없으면 이 오류가 발생할 수 있습니다.

    해결 방법: 다른 프로젝트에서 VPC 네트워크를 사용하는 클러스터 만들기에 나열된 순서를 따릅니다.

  • 'projects/zones/{zone}' 영역에 '(resource type:compute)' 요청을 처리하는 데 필요한 리소스가 부족합니다.

    원인: 클러스터를 만드는 데 사용되는 영역에 리소스가 부족합니다.

    해결 방법:

    • 클러스터를 다른 영역에 만듭니다.
    • Dataproc 자동 영역 배치 기능을 사용합니다.
  • 할당량 초과 오류

    CPUS/CPUS_ALL_REGIONS 할당량 부족
    'DISKS_TOTAL_GB' 할당량 부족
    'IN_USE_ADDRESSES' 할당량 부족

    원인: CPU, 디스크 또는 IP 주소 요청이 사용 가능한 할당량을 초과합니다.

    해결 방법: Google Cloud 콘솔에서 추가 할당량을 요청합니다.

  • 초기화 작업 실패

    원인: 클러스터 생성 중에 제공된 초기화 작업을 설치하지 못했습니다.

    해결 방법:

  • {cluster-name} 노드의 초기화 실패: {component}

    원인: Dataproc 구성요소를 초기화하지 못했습니다.

    해결 방법: 다음을 참고하세요.