Spark 네트워크 구성을 위한 서버리스 Dataproc

Spark용 Dataproc Serverless 워크로드를 실행하는 데 사용되는 VPC 서브네트워크는 다음 요구사항을 충족해야 합니다.

  • 서브넷 연결 열기: 서브넷이 모든 포트에서 서브넷 통신을 허용해야 합니다. 다음 gcloud 명령어는 모든 포트에서 모든 프로토콜을 사용하여 인그레스 통신을 허용하는 네트워크 방화벽을 서브넷에 연결합니다. 

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES: VM 사이에 내부 인그레스 연결 허용을 참조하세요. 모든 포트(tcp:0-65535, udp:0-65535, icmp 프로토콜:포트)에서 인그레스 통신을 허용하는 default-allow-internal 방화벽 규칙이 있는 프로젝트의 default VPC 네트워크는 open-subnet-connectivity 요구사항을 충족합니다. 하지만 네트워크의 모든 VM 인스턴스를 통한 인그레스도 허용합니다.

  • 비공개 Google 액세스: 서브넷에 비공개 Google 액세스가 사용 설정되어 있어야 합니다.

    • 외부 네트워크 액세스. 워크로드에 외부 네트워크 또는 인터넷 액세스가 필요한 경우 VPC 네트워크에서 내부 IP를 사용하여 아웃바운드 트래픽을 허용하도록 Cloud NAT를 설정할 수 있습니다.

Dataproc Serverless 및 VPC-SC 네트워크

관리자는 VPC 서비스 제어를 사용하여 Google 관리형 서비스 리소스 주위에 보안 경계를 정의하여 해당 서비스 간의 통신을 제어할 수 있습니다.

Dataproc Serverless에서 VPC-SC 네트워크를 사용할 때는 다음 제한사항과 전략에 유의하세요.