Dataproc 오류 메시지 문제 해결

이 페이지에서는 Dataproc 오류 메시지와 일반적인 원인 및 해결 방법을 설명합니다.

자세한 내용은 다음을 참조하세요.

클러스터 만들기 오류 메시지

작업 시간 초과: 최소 필수 DataNode/노드 관리자 2개 중 0개만 실행 중입니다.

원인: 마스터 노드는 작업자 노드와 통신할 수 없으므로 클러스터를 만들 수 없습니다.

해결 방법:
- 방화벽 규칙 경고를 확인합니다.
- 올바른 방화벽 규칙이 적용되었는지 확인합니다(기본 Dataproc 방화벽 규칙 개요 참조).
- Google Cloud 콘솔에서 연결 테스트를 수행하여 마스터 노드와 워커 노드 간의 통신을 차단하는 항목을 확인합니다.
'projects/{projectId}/regions/{region}/subnetworks/{subnetwork}에 대한 'compute.subnetworks.use' 권한이 필요합니다.

원인: 다른 프로젝트의 VPC 네트워크를 사용하여 Dataproc 클러스터를 설정하려고 하는데 Dataproc 서비스 에이전트 서비스 계정에 네트워크를 호스팅하는 공유 VPC 프로젝트에 필요한 권한이 없으면 이 오류가 발생할 수 있습니다.

해결 방법: 다른 프로젝트에서 VPC 네트워크를 사용하는 클러스터 만들기에 나열된 순서를 따릅니다.
'projects/zones/{zone}' 영역에 '(resource type:compute)' 요청을 처리하는 데 필요한 리소스가 부족합니다.

원인: 클러스터를 만드는 데 사용되는 영역에 리소스가 부족합니다.

해결 방법:
- 클러스터를 다른 영역에 만듭니다.
- Dataproc 자동 영역 배치 기능을 사용합니다.
할당량 초과 오류

CPUS/CPUS_ALL_REGIONS 할당량 부족
'DISKS_TOTAL_GB' 할당량 부족
'IN_USE_ADDRESSES' 할당량 부족

원인: CPU, 디스크 또는 IP 주소 요청이 사용 가능한 할당량을 초과합니다.

해결 방법: Google Cloud 콘솔에서 추가 할당량을 요청합니다.
초기화 작업 실패

원인: 클러스터 생성 중에 제공된 초기화 작업을 설치하지 못했습니다.

해결 방법:
- 초기화 작업 고려사항 및 가이드라인을 참조하세요.
- 출력 로그를 검토합니다. 오류 메시지는 Cloud Storage의 로그에 대한 링크를 제공해야 합니다.
{cluster-name} 노드의 초기화 실패: {component}

원인: Dataproc 구성요소를 초기화하지 못했습니다.

해결 방법: 다음을 참고하세요.
- 구성요소 문서 페이지
- Spark 작업 미세 조정 팁
클러스터 생성 실패: IP 주소 공간 소진됨

원인: 요청된 클러스터 노드를 프로비저닝하는 데 필요한 IP 주소 공간을 사용할 수 없습니다.

해결 방법:
- 다른 서브네트워크 또는 네트워크에 클러스터를 만듭니다.
- 네트워크 사용량을 줄여 IP 주소 공간을 확보합니다.
- 네트워크에서 IP 공간을 충분히 확보할 수 있을 때까지 기다립니다.

초기화 스크립트 오류 메시지: REPO_NAME 저장소에 더 이상 출시 파일이 없습니다.

원인: Debian Oldstable 백포트 저장소가 삭제되었습니다.

해결 방법:

초기화 스크립트에서 apt-get을 실행하는 코드 앞에 다음 코드를 추가합니다.

oldstable=$(curl -s https://deb.debian.org/debian/dists/oldstable/Release | awk '/^Codename/ {print $2}');
stable=$(curl -s https://deb.debian.org/debian/dists/stable/Release | awk '/^Codename/ {print $2}');

matched_files="$(grep -rsil '\-backports' /etc/apt/sources.list*)"
if [[ -n "$matched_files" ]]; then
  for filename in "$matched_files"; do
    grep -e "$oldstable-backports" -e "$stable-backports" "$filename" || \
      sed -i -e 's/^.*-backports.*$//' "$filename"
  done
fi

네트워크에 연결할 수 없음: dataproccontrol-REGION.googleapis.com/...*

원인: Dataproc 클러스터 VPC 네트워크에 필요한 인터넷 경로가 없을 수 있습니다. 클러스터 VM에서 실행되는 Dataproc 에이전트는 작업 및 보고 상태를 가져오기 위해 Dataproc 제어 API에 액세스할 수 있도록 인터넷 경로가 필요합니다. 인터넷에 대한 시스템 생성 기본 경로가 삭제되었을 수 있습니다.

해결 방법:

--next-hop-gateway=default-internet-gateway를 사용하여 인터넷 경로를 클러스터 VPC 네트워크에 추가합니다(IPv4의 경우 0.0.0.0/0, IPv6의 경우 ::/0). 액세스 제어를 위한 방화벽 규칙을 추가합니다.