Dataproc Serverless untuk konfigurasi jaringan Spark

Subnetwork VPC yang digunakan untuk menjalankan Dataproc Serverless untuk workload Spark harus memenuhi persyaratan berikut:

  • Konektivitas subnet terbuka: Subnet harus mengizinkan komunikasi subnet di semua port. Perintah gcloud berikut melampirkan firewall jaringan ke subnet sehingga memungkinkan komunikasi masuk menggunakan semua protokol di semua port: 

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES: Baca bagian Mengizinkan koneksi masuk internal antar-VM. Jaringan VPC default dalam project dengan aturan firewall default-allow-internal, yang memungkinkan komunikasi masuk di semua port (tcp:0-65535, udp:0-65535, dan icmp protocol:port), memenuhi persyaratan konektivitas open-subnet. Namun, metode ini juga memungkinkan traffic masuk oleh instance VM apa pun pada jaringan.

  • Akses Google Pribadi: Subnet harus mengaktifkan Akses Google Pribadi.

    • Akses jaringan eksternal. Jika beban kerja Anda memerlukan jaringan eksternal atau akses internet, Anda dapat menyiapkan Cloud NAT untuk mengizinkan traffic keluar menggunakan IP internal di jaringan VPC Anda.

Jaringan Dataproc Serverless dan VPC-SC

Dengan Kontrol Layanan VPC, administrator dapat menentukan perimeter keamanan di sekitar sumber daya layanan yang dikelola Google untuk mengontrol komunikasi ke dan di antara beberapa layanan tersebut.

Perhatikan batasan dan strategi berikut saat menggunakan jaringan VPC-SC dengan Dataproc Serverless: