Subnetwork VPC yang digunakan untuk menjalankan Dataproc Serverless untuk workload Spark harus memenuhi persyaratan berikut:
Konektivitas subnet terbuka: Subnet harus mengizinkan komunikasi subnet di semua port. Perintah gcloud berikut melampirkan firewall jaringan ke subnet sehingga memungkinkan komunikasi masuk menggunakan semua protokol di semua port:
gcloud compute firewall-rules create allow-internal-ingress \ --network=network-name \ --source-ranges=SUBNET_RANGES \ --direction=ingress \ --action=allow \ --rules=all
- SUBNET_RANGES: Baca bagian Mengizinkan koneksi masuk internal antar-VM.
Jaringan VPC
default
dalam project dengan aturan firewalldefault-allow-internal
, yang memungkinkan komunikasi masuk di semua port (tcp:0-65535, udp:0-65535, dan icmp protocol:port), memenuhi persyaratan konektivitas open-subnet. Namun, metode ini juga memungkinkan traffic masuk oleh instance VM apa pun pada jaringan.
- SUBNET_RANGES: Baca bagian Mengizinkan koneksi masuk internal antar-VM.
Jaringan VPC
Akses Google Pribadi: Subnet harus mengaktifkan Akses Google Pribadi.
- Akses jaringan eksternal. Jika beban kerja Anda memerlukan jaringan eksternal atau akses internet, Anda dapat menyiapkan Cloud NAT untuk mengizinkan traffic keluar menggunakan IP internal di jaringan VPC Anda.
Jaringan Dataproc Serverless dan VPC-SC
Dengan Kontrol Layanan VPC, administrator dapat menentukan perimeter keamanan di sekitar sumber daya layanan yang dikelola Google untuk mengontrol komunikasi ke dan di antara beberapa layanan tersebut.
Perhatikan batasan dan strategi berikut saat menggunakan jaringan VPC-SC dengan Dataproc Serverless:
Untuk menginstal dependensi di luar perimeter VPC-SC, buat image container kustom yang telah menginstal dependensi sebelumnya, lalu kirimkan workload batch Spark yang menggunakan image container kustom Anda.