Konfigurasi jaringan Dataproc Serverless untuk Spark

Dokumen ini menjelaskan persyaratan yang diperlukan untuk konfigurasi jaringan Dataproc Serverless untuk Spark.

Persyaratan subjaringan Virtual Private Cloud

Subnetwork Virtual Private Cloud yang digunakan untuk menjalankan workload Dataproc Serverless for Spark atau sesi interaktif harus memenuhi persyaratan yang ditetapkan dalam subbagian berikut.

Persyaratan Akses Google Pribadi

Subnet VPC untuk region yang dipilih untuk workload batch Dataproc Serverless atau sesi interaktif harus mengaktifkan Akses Google Pribadi.

Akses jaringan eksternal: Jika beban kerja Anda memerlukan akses jaringan eksternal atau internet, Anda dapat menyiapkan Cloud NAT untuk mengizinkan traffic keluar menggunakan IP internal di jaringan VPC.

Catatan: Akses ke internet publik diperlukan jika workload batch Dataproc Serverless untuk Spark atau sesi interaktif mendownload resource, seperti model ML dari PyTorch Hub atau Hugging Face.

Persyaratan konektivitas subnet terbuka

Subnet VPC untuk region yang dipilih untuk workload batch Serverless Dataproc atau sesi interaktif harus mengizinkan komunikasi subnet internal di semua port antar-instance VM.

Perintah Google Cloud CLI berikut melampirkan firewall jaringan ke subnet yang mengizinkan komunikasi masuk internal di antara VM menggunakan semua protokol di semua port:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Catatan:

• SUBNET_RANGES: Lihat Mengizinkan koneksi masuk internal antar-VM. Jaringan VPC default dalam project dengan aturan firewall default-allow-internal, yang mengizinkan komunikasi masuk di semua port (tcp:0-65535, udp:0-65535, dan icmp protocols:ports), memenuhi persyaratan konektivitas subnet terbuka. Namun, aturan ini juga mengizinkan masuknya instance VM apa pun di jaringan.

  Gunakan tag jaringan untuk membatasi konektivitas. Dalam produksi, praktik yang direkomendasikan adalah membatasi aturan firewall ke alamat IP yang digunakan oleh beban kerja Spark Anda.

Jaringan Dataproc Serverless dan VPC-SC

Dengan Kontrol Layanan VPC, administrator jaringan dapat menentukan perimeter keamanan di sekitar resource layanan yang dikelola Google untuk mengontrol komunikasi ke dan di antara beberapa layanan tersebut.

Perhatikan strategi berikut saat menggunakan jaringan VPC-SC dengan Dataproc Serverless:

• Menyiapkan konektivitas pribadi.

• Buat image container kustom yang menginstal dependensi secara default di luar perimeter VPC-SC, lalu kirimkan workload batch Spark yang menggunakan image container kustom Anda.

Untuk mengetahui informasi selengkapnya, lihat Kontrol Layanan VPC—Dataproc Serverless for Spark.