Konfigurasi jaringan Dataproc Serverless untuk Spark

Dokumen ini menjelaskan persyaratan yang diperlukan untuk konfigurasi jaringan Dataproc Serverless untuk Spark.

Persyaratan subjaringan Virtual Private Cloud

Subnetwork VPC yang digunakan untuk menjalankan workload Dataproc Serverless untuk Spark harus memenuhi persyaratan berikut:

  • Konektivitas subnet terbuka: Subnet harus mengizinkan komunikasi subnet di semua port. Perintah Google Cloud CLI berikut melampirkan firewall jaringan ke subjaring yang mengizinkan komunikasi masuk menggunakan semua protokol di semua port: 

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES: Lihat Mengizinkan koneksi masuk internal antar-VM. Jaringan VPC default dalam project dengan aturan firewall default-allow-internal, yang mengizinkan komunikasi masuk di semua port (tcp:0-65535, udp:0-65535, dan protokol icmp:port), memenuhi persyaratan konektivitas subnet terbuka. Namun, kebijakan ini juga memungkinkan traffic masuk oleh instance VM mana pun di jaringan.

  • Akses Google Pribadi: Subnet harus mengaktifkan Akses Google Pribadi.

    • Akses jaringan eksternal. Jika beban kerja Anda memerlukan akses jaringan eksternal atau internet, Anda dapat menyiapkan Cloud NAT untuk mengizinkan traffic keluar menggunakan IP internal di jaringan VPC Anda.

Jaringan Dataproc Serverless dan VPC-SC

Dengan Kontrol Layanan VPC, administrator dapat menentukan perimeter keamanan di sekitar resource layanan yang dikelola Google untuk mengontrol komunikasi ke dan di antara beberapa layanan tersebut.

Perhatikan batasan dan strategi berikut saat menggunakan jaringan VPC-SC dengan Dataproc Serverless: