Netzwerkkonfiguration für Dataproc Serverless for Spark

In diesem Dokument werden die Anforderungen für die Netzwerkkonfiguration von Dataproc Serverless for Spark beschrieben.

Anforderungen an Virtual Private Cloud-Unternetze

Das Subnetz der Virtual Private Cloud, das zum Ausführen von Dataproc Serverless für Spark-Arbeitslasten oder interaktive Sitzungen verwendet wird, muss die in den folgenden Abschnitten beschriebenen Anforderungen erfüllen.

Anforderung für den privater Google-Zugriff

Für das VPC-Subnetz der Region, die für die Dataproc Serverless-Batcharbeitslast oder die interaktive Sitzung ausgewählt wurde, muss privater Google-Zugriff aktiviert sein.

Externer Netzwerkzugriff:Wenn Ihre Arbeitslast externen Netzwerk- oder Internetzugriff erfordert, können Sie Cloud NAT einrichten, um ausgehenden Traffic mithilfe interner IP-Adressen in Ihrem VPC-Netzwerk zuzulassen.

Hinweis: Der Zugriff auf das öffentliche Internet ist erforderlich, wenn bei Dataproc Serverless für Spark-Batch-Arbeitslasten oder interaktiven Sitzungen Ressourcen wie ML-Modelle aus PyTorch Hub oder Hugging Face heruntergeladen werden.

Anforderung an die offene Subnetzverbindung

Das VPC-Subnetz für die Region, die für die serverlose Dataproc-Batcharbeitslast oder die interaktive Sitzung ausgewählt wurde, muss die interne Subnetzkommunikation auf allen Ports zwischen VM-Instanzen zulassen.

Mit dem folgenden Google Cloud CLI-Befehl wird eine Netzwerk-Firewall mit einem Subnetz verbunden, das die internen Eingangskommunikationen zwischen VMs über alle Protokolle und Ports zulässt:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Hinweise:

• SUBNET_RANGES: Weitere Informationen finden Sie unter Interne eingehende Verbindungen zwischen VMs zulassen. Das VPC-Netzwerk default in einem Projekt mit der Firewallregel default-allow-internal, die die eingehenden Verbindungen an allen Ports (tcp:0-65535, udp:0-65535 und icmp protocols:ports) zulässt, erfüllt die Anforderung an die offene Subnetzverbindung. Diese Regel erlaubt jedoch auch den Eintritt von jeder VM-Instanz im Netzwerk.

  Netzwerk-Tags verwenden, um die Konnektivität einzuschränken In der Produktion sollten Firewallregeln auf die IP-Adressen beschränkt werden, die von Ihren Spark-Arbeitslasten verwendet werden.

Dataproc Serverless und VPC-SC-Netzwerke

Mit VPC Service Controls können Netzwerkadministratoren einen Sicherheitsbereich für Ressourcen aus von Google verwalteten Diensten festlegen, um die Kommunikation mit und zwischen diesen Diensten zu steuern.

Beachten Sie die folgenden Strategien bei Verwendung von VPC-SC-Netzwerken mit Dataproc Serverless:

• Richten Sie eine private Verbindung ein.

• Erstellen Sie ein benutzerdefiniertes Container-Image, das Abhängigkeiten außerhalb des VPC-SC-Bereichs vorinstalliert, und reichen Sie eine Spark-Batch-Arbeitslast ein, die Ihr benutzerdefiniertes Container-Image verwendet.

Weitere Informationen finden Sie unter VPC Service Controls – Dataproc Serverless für Spark.