Dataproc Serverless für die Spark-Netzwerkkonfiguration

Das VPC-Subnetzwerk, das für die Ausführung von Dataproc Serverless für Spark-Arbeitslasten muss die folgenden Anforderungen erfüllen:

  • Offene Subnetzverbindung:Das Subnetz muss die Subnetzkommunikation zulassen. an allen Ports. Mit dem folgenden gcloud-Befehl wird eine Netzwerkfirewall an eine Subnetz, das eingehende Kommunikation mit allen Protokollen an allen Ports ermöglicht: 

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES: Ansehen Lassen Sie interne eingehende Verbindungen zwischen VMs zu. Das VPC-Netzwerk default in einem Projekt mit die Firewallregel default-allow-internal, die lässt eingehende Kommunikation an allen Ports zu (tcp:0-65535, udp:0-65535 und ICMP-Protokolle:Ports) die die Anforderung an die Verbindung mit offenen Subnetzen erfüllt. Es ermöglicht jedoch auch, von einer beliebigen VM-Instanz im Netzwerk eingehen.

  • Privater Google-Zugriff:Das Subnetz muss Privater Google-Zugriff aktiviert.

    • Externer Netzwerkzugriff. Wenn Ihre Arbeitslast ein externes Netzwerk oder Internet erfordert Zugriff haben, können Sie Cloud NAT einrichten, um ausgehenden Traffic zuzulassen. mit internen IP-Adressen in Ihrem VPC-Netzwerk.

Serverlose Dataproc- und VPC-SC-Netzwerke

Mit VPC Service Controls können Administratoren einen Sicherheitsbereich für Ressourcen aus von Google verwalteten Diensten festlegen, um die Kommunikation mit und zwischen diesen Diensten zu steuern.

Beachten Sie die folgenden Einschränkungen und Strategien bei der Verwendung von VPC-SC-Netzwerken mit Serverloses Dataproc: