Das VPC-Subnetzwerk, das für die Ausführung von Dataproc Serverless für Spark-Arbeitslasten muss die folgenden Anforderungen erfüllen:
Offene Subnetzverbindung:Das Subnetz muss die Subnetzkommunikation zulassen. an allen Ports. Mit dem folgenden gcloud-Befehl wird eine Netzwerkfirewall an eine Subnetz, das eingehende Kommunikation mit allen Protokollen an allen Ports ermöglicht:
gcloud compute firewall-rules create allow-internal-ingress \ --network=network-name \ --source-ranges=SUBNET_RANGES \ --destination-ranges=SUBNET_RANGES \ --direction=ingress \ --action=allow \ --rules=all
- SUBNET_RANGES: Ansehen
Lassen Sie interne eingehende Verbindungen zwischen VMs zu.
Das VPC-Netzwerk
default
in einem Projekt mit die Firewallregeldefault-allow-internal
, die lässt eingehende Kommunikation an allen Ports zu (tcp:0-65535, udp:0-65535 und ICMP-Protokolle:Ports) die die Anforderung an die Verbindung mit offenen Subnetzen erfüllt. Es ermöglicht jedoch auch, von einer beliebigen VM-Instanz im Netzwerk eingehen.
- SUBNET_RANGES: Ansehen
Lassen Sie interne eingehende Verbindungen zwischen VMs zu.
Das VPC-Netzwerk
Privater Google-Zugriff:Das Subnetz muss Privater Google-Zugriff aktiviert.
- Externer Netzwerkzugriff. Wenn Ihre Arbeitslast ein externes Netzwerk oder Internet erfordert Zugriff haben, können Sie Cloud NAT einrichten, um ausgehenden Traffic zuzulassen. mit internen IP-Adressen in Ihrem VPC-Netzwerk.
Serverlose Dataproc- und VPC-SC-Netzwerke
Mit VPC Service Controls können Administratoren einen Sicherheitsbereich für Ressourcen aus von Google verwalteten Diensten festlegen, um die Kommunikation mit und zwischen diesen Diensten zu steuern.
Beachten Sie die folgenden Einschränkungen und Strategien bei der Verwendung von VPC-SC-Netzwerken mit Serverloses Dataproc:
Um Abhängigkeiten außerhalb des VPC-SC-Perimeters zu installieren, erstellen Sie eine benutzerdefinierten Container-Image, das die Abhängigkeiten vorinstalliert, Spark-Batcharbeitslast senden das Ihr benutzerdefiniertes Container-Image verwendet.