Dataproc Serverless für die Spark-Netzwerkkonfiguration

Das VPC-Subnetzwerk, das zum Ausführen von Dataproc Serverless for Spark-Arbeitslasten verwendet wird, muss die folgenden Anforderungen erfüllen:

  • Offene Subnetzverbindung:Das Subnetz muss die Subnetzkommunikation an allen Ports zulassen. Mit dem folgenden gcloud-Befehl wird eine Netzwerkfirewall an ein Subnetz angehängt, das eingehende Kommunikation mit allen Protokollen an allen Ports ermöglicht:

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES: Weitere Informationen finden Sie unter Interne eingehende Verbindungen zwischen VMs zulassen. Das VPC-Netzwerk default in einem Projekt mit der Firewallregel default-allow-internal, die eingehende Kommunikation an allen Ports (tcp:0-65535, udp:0-65535 und icmpprotocol:ports) zulässt, erfüllt die Anforderungen an die Open-Subnetz-Konnektivität. Er lässt jedoch auch eingehenden Traffic von jeder VM-Instanz im Netzwerk zu.

  • Privater Google-Zugriff:Für das Subnetz muss der private Google-Zugriff aktiviert sein.

    • Externer Netzwerkzugriff. Wenn für die Arbeitslast ein externer Netzwerk- oder Internetzugriff erforderlich ist, können Sie Cloud NAT einrichten, um ausgehenden Traffic über interne IP-Adressen in Ihrem VPC-Netzwerk zuzulassen.

Serverlose Dataproc- und VPC-SC-Netzwerke

Mit VPC Service Controls können Administratoren einen Sicherheitsbereich für Ressourcen aus von Google verwalteten Diensten festlegen, um die Kommunikation mit und zwischen diesen Diensten zu steuern.

Beachten Sie die folgenden Einschränkungen und Strategien, wenn Sie VPC-SC-Netzwerke mit Dataproc Serverless verwenden: