Spark용 Dataproc Serverless 워크로드를 실행하는 데 사용되는 VPC 서브네트워크는 다음 요구사항을 충족해야 합니다.
서브넷 연결 열기: 서브넷이 모든 포트에서 서브넷 통신을 허용해야 합니다. 다음 gcloud 명령어는 모든 포트에서 모든 프로토콜을 사용하여 인그레스 통신을 허용하는 네트워크 방화벽을 서브넷에 연결합니다.
gcloud compute firewall-rules create allow-internal-ingress \ --network=network-name \ --source-ranges=SUBNET_RANGES \ --destination-ranges=SUBNET_RANGES \ --direction=ingress \ --action=allow \ --rules=all
- SUBNET_RANGES:
VM 사이에 내부 인그레스 연결 허용을 참조하세요.
모든 포트(tcp:0-65535, udp:0-65535, icmp 프로토콜:포트)에서 인그레스 통신을 허용하는
default-allow-internal
방화벽 규칙이 있는 프로젝트의default
VPC 네트워크는 open-subnet-connectivity 요구사항을 충족합니다. 하지만 네트워크의 모든 VM 인스턴스를 통한 인그레스도 허용합니다.
- SUBNET_RANGES:
VM 사이에 내부 인그레스 연결 허용을 참조하세요.
모든 포트(tcp:0-65535, udp:0-65535, icmp 프로토콜:포트)에서 인그레스 통신을 허용하는
비공개 Google 액세스: 서브넷에 비공개 Google 액세스가 사용 설정되어 있어야 합니다.
- 외부 네트워크 액세스. 워크로드에 외부 네트워크 또는 인터넷 액세스가 필요한 경우 VPC 네트워크에서 내부 IP를 사용하여 아웃바운드 트래픽을 허용하도록 Cloud NAT를 설정할 수 있습니다.
Dataproc Serverless 및 VPC-SC 네트워크
관리자는 VPC 서비스 제어를 사용하여 Google 관리형 서비스 리소스 주위에 보안 경계를 정의하여 해당 서비스 간의 통신을 제어할 수 있습니다.
Dataproc Serverless에서 VPC-SC 네트워크를 사용할 때는 다음 제한사항과 전략에 유의하세요.
VPC-SC 경계 외부에 종속 항목을 설치하려면 종속 항목을 사전 설치하는 커스텀 컨테이너 이미지를 만든 후 커스텀 컨테이너 이미지를 사용하는 Spark 배치 워크로드를 제출합니다.