Ringkasan jaringan Metastore Dataproc

Dokumen ini memberikan ringkasan tentang setelan jaringan yang dapat Anda gunakan untuk menyiapkan layanan Dataproc Metastore.

Catatan: Sebagian besar konsep jaringan di halaman ini hanya berlaku untuk layanan Dataproc Metastore yang menggunakan protokol endpoint Thrift. Jika Anda menggunakan protokol endpoint gRPC, satu-satunya konfigurasi jaringan yang perlu Anda pertimbangkan dalam dokumen ini adalah Kontrol Layanan VPC.

Referensi cepat untuk topik jaringan

Setelan jaringan	Catatan
Setelan jaringan default
Jaringan VPC	Secara default, layanan Dataproc Metastore menggunakan Jaringan VPC untuk menghubungkan ke Google Cloud. Setelah jaringan VPC dibuat, Dataproc Metastore juga akan otomatis mengonfigurasi Peering Jaringan VPC untuk layanan Anda.
Subnet VPC	Secara opsional, Anda dapat memilih untuk membuat layanan Dataproc Metastore dengan subjaringan VPC menggunakan Private Service Connect. Ini adalah alternatif penggunaan jaringan VPC.
Setelan jaringan tambahan
Jaringan VPC bersama	Secara opsional, Anda dapat memilih untuk membuat layanan Dataproc Metastore di jaringan VPC Bersama.
Jaringan lokal	Anda dapat terhubung ke layanan Metastore Dataproc dengan lingkungan lokal menggunakan Cloud VPN atau Cloud Interconnect.
Kontrol Layanan VPC	Secara opsional, Anda dapat memilih untuk membuat layanan Dataproc Metastore dengan Kontrol Layanan VPC.
Aturan firewall	Di lingkungan non-default atau pribadi dengan jejak keamanan yang telah ditetapkan, Anda mungkin perlu membuat aturan firewall sendiri.

Setelan jaringan default

Bagian berikut menjelaskan setelan jaringan default yang digunakan Dataproc Metastore—jaringan VPC dan Peering Jaringan VPC.

Jaringan VPC

Secara default, layanan Dataproc Metastore menggunakan Jaringan VPC untuk terhubung ke Google Cloud. Jaringan VPC adalah versi virtual dari jaringan fisik yang diterapkan di dalam jaringan produksi Google. Saat Anda membuat Dataproc Metastore, layanan akan otomatis membuat jaringan VPC untuk Anda.

Jika Anda tidak mengubah setelan apa pun saat membuat layanan, Dataproc Metastore akan menggunakan jaringan VPC default. Dengan setelan ini, jaringan VPC yang Anda gunakan dengan layanan Dataproc Metastore dapat berasal dari project Google Cloud yang sama atau project yang berbeda. Setelan ini juga memungkinkan Anda mengekspos layanan di satu jaringan VPC atau membuat layanan dapat diakses dari beberapa jaringan VPC (melalui penggunaan subnet).

Metastore Dataproc memerlukan hal berikut per region untuk setiap jaringan VPC:

• 1 kuota peering
• CIDR /17 dan /20

Peering Jaringan VPC

Setelah jaringan VPC dibuat, Dataproc Metastore juga akan otomatis mengonfigurasi Peering Jaringan VPC untuk layanan Anda. VPC memberikan akses ke protokol endpoint Dataproc Metastore ke layanan Anda. Setelah membuat layanan, Anda dapat melihat Peering Jaringan VPC dasarnya di halaman VPC Network Peering di konsol Google Cloud.

Peering Jaringan VPC tidak transitif. Artinya, hanya jaringan yang di-peering langsung yang dapat berkomunikasi satu sama lain. Misalnya, pertimbangkan skenario berikut:

Anda memiliki jaringan berikut, jaringan VPC N1, N2, dan N3.

• Jaringan VPC N1 disambungkan dengan N2 dan N3.
• Jaringan VPC N2 dan N3 tidak terhubung langsung.

Apa maksudnya?

Artinya, melalui Peering Jaringan VPC, jaringan VPC N2 tidak dapat berkomunikasi dengan jaringan VPC N3. Hal ini memengaruhi koneksi Metastore Dataproc dengan cara berikut:

• Virtual machine yang berada di jaringan yang di-peering dengan jaringan project Dataproc Metastore Anda tidak dapat menjangkau Dataproc Metastore.
• Hanya host di jaringan VPC yang dapat menjangkau layanan Dataproc Metastore.

Pertimbangan Keamanan Peering Jaringan VPC

• Traffic melalui Peering Jaringan VPC disediakan dengan tingkat enkripsi tertentu. Untuk informasi selengkapnya, lihat Enkripsi dan autentikasi jaringan virtual Google Cloud.

• Membuat satu jaringan VPC untuk setiap layanan dengan alamat IP internal akan memberikan isolasi jaringan yang lebih baik daripada menempatkan semua layanan dalam jaringan VPC default.

Subnet VPC

Private Service Connect (PSC) memungkinkan Anda menyiapkan koneksi pribadi ke metadata Dataproc Metastore di seluruh jaringan VPC. Dengan PSC, Anda dapat membuat layanan tanpa peering VPC. Hal ini memungkinkan Anda menggunakan alamat IP internal Anda sendiri untuk mengakses Dataproc Metastore, tanpa keluar dari jaringan VPC atau menggunakan alamat IP eksternal.

Untuk menyiapkan Private Service Connect saat membuat layanan, lihat Private Service Connect dengan Dataproc Metastore.

Alamat IP

Untuk terhubung ke jaringan dan membantu melindungi metadata Anda, layanan Dataproc Metastore hanya menggunakan alamat IP internal. Artinya, alamat IP publik tidak diekspos atau tersedia untuk tujuan jaringan.

Dengan menggunakan alamat IP internal, Metastore Dataproc hanya dapat terhubung ke Virtual Machine (VM) yang ada di jaringan Virtual Private Cloud (VPC) yang ditentukan atau lingkungan lokal.

Koneksi ke layanan Dataproc Metastore yang menggunakan alamat IP internal menggunakan rentang alamat RFC 1918. Menggunakan rentang ini berarti bahwa Dataproc Metastore mengalokasikan rentang /17 dan rentang /20 dari ruang alamat untuk setiap region. Misalnya, menempatkan layanan Dataproc Metastore di dua region mengharuskan rentang alamat IP yang dialokasikan berisi hal berikut:

• Setidaknya dua blok alamat yang tidak digunakan berukuran /17.
• Setidaknya dua blok alamat yang tidak digunakan dengan ukuran /20.

Jika blok alamat RFC 1918 tidak ditemukan, Metastore Dataproc akan menemukan blok alamat non-RFC 1918 yang sesuai. Perhatikan bahwa alokasi blok non-RFC 1918 tidak memperhitungkan apakah alamat tersebut digunakan di jaringan VPC atau di lokal Anda.

Setelan jaringan tambahan

Jika memerlukan setelan jaringan yang berbeda, Anda dapat menggunakan opsi berikut dengan layanan Dataproc Metastore.

Jaringan VPC yang dibagikan

Anda dapat membuat layanan Dataproc Metastore di jaringan VPC Bersama. VPC Bersama memungkinkan Anda menghubungkan resource Metastore Dataproc dari beberapa project ke jaringan VPC (VPC) umum.

Untuk menyiapkan VPC Bersama saat membuat layanan, lihat Membuat Layanan Metastore Dataproc.

Jaringan lokal

Anda dapat terhubung ke layanan Metastore Dataproc dengan lingkungan lokal menggunakan Cloud VPN atau Cloud Interconnect.

Kontrol Layanan VPC

Kontrol Layanan VPC meningkatkan kemampuan Anda untuk mengurangi risiko pemindahan data yang tidak sah. Dengan Kontrol Layanan VPC, Anda membuat perimeter di sekitar layanan Dataproc Metastore. Kontrol Layanan VPC membatasi akses ke resource dalam perimeter dari luar. Hanya klien dan resource dalam perimeter yang dapat berinteraksi satu sama lain.

Untuk menggunakan Kontrol Layanan VPC dengan Dataproc Metastore, lihat Kontrol Layanan VPC dengan Dataproc Metastore. Tinjau juga batasan Dataproc Metastore saat menggunakan Kontrol Layanan VPC.

Aturan firewall untuk Metastore Dataproc

Di lingkungan non-default atau pribadi dengan jejak keamanan yang telah ditetapkan, Anda mungkin perlu membuat aturan firewall sendiri. Jika Anda melakukannya, jangan buat aturan firewall yang memblokir rentang alamat IP atau port layanan Dataproc Metastore Anda.

Saat membuat layanan Dataproc Metastore, Anda dapat menyetujui jaringan default untuk layanan tersebut. Jaringan default memastikan akses jaringan IP internal penuh untuk VM Anda.

Untuk informasi umum selengkapnya tentang aturan firewall, lihat Aturan firewall VPC dan Menggunakan aturan firewall VPC.

Membuat aturan firewall untuk jaringan kustom

Saat Anda menggunakan jaringan kustom, pastikan aturan firewall Anda mengizinkan traffic yang berasal dari dan menuju endpoint Dataproc Metastore. Untuk mengizinkan traffic Dataproc Metastore secara eksplisit, jalankan perintah gcloud berikut:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Untuk DPMS_NET_PREFIX, terapkan subnet mask /17 ke IP layanan Dataproc Metastore Anda. Anda dapat menemukan informasi alamat IP Dataproc Metastore di konfigurasi endpointUri di halaman Detail layanan.

Pertimbangan

Jaringan memiliki aturan izinkan traffic keluar yang tersirat yang biasanya mengizinkan akses dari jaringan Anda ke Dataproc Metastore. Jika Anda membuat aturan tolak traffic keluar yang mengganti aturan izinkan traffic keluar tersirat, Anda harus membuat aturan izinkan traffic keluar dengan prioritas yang lebih tinggi untuk mengizinkan traffic keluar ke IP Metastore Dataproc.

Beberapa fitur seperti Kerberos memerlukan Dataproc Metastore untuk memulai koneksi ke host di jaringan project Anda. Semua jaringan memiliki aturan deny ingress tersirat yang memblokir koneksi ini dan mencegah fitur tersebut berfungsi. Anda harus membuat aturan firewall yang mengizinkan traffic masuk TCP dan UDP di semua port dari blok IP /17 yang berisi IP Metastore Dataproc.

Pemilihan rute kustom

Rute kustom ditujukan untuk subnet yang menggunakan alamat IP publik yang digunakan secara pribadi (PUPI). Rute kustom memungkinkan jaringan VPC Anda terhubung ke jaringan peer. Rute kustom hanya dapat diterima saat jaringan VPC Anda mengimpornya dan jaringan peer mengekspornya secara eksplisit. Rute kustom dapat berupa statis atau dinamis.

Berbagi rute kustom dengan jaringan VPC yang di-peering memungkinkan jaringan untuk "mempelajari" rute langsung dari jaringan peer-nya. Artinya, saat rute kustom di jaringan peering diperbarui, jaringan VPC Anda akan otomatis mempelajari dan menerapkan rute kustom tanpa memerlukan tindakan tambahan dari Anda.

Untuk informasi selengkapnya tentang pemilihan rute kustom, lihat konfigurasi jaringan.

Contoh Jaringan Metastore Dataproc

Pada contoh berikut, Google mengalokasikan rentang alamat 10.100.0.0/17 dan 10.200.0.0/20 di jaringan VPC pelanggan untuk layanan Google dan menggunakan rentang alamat di jaringan VPC yang di-peering.

Gambar 1. Konfigurasi jaringan VPC Dataproc Metastore

Deskripsi contoh jaringan:

• Di sisi layanan Google dari peering VPC, Google membuat project untuk pelanggan. Project ini terisolasi, sehingga tidak ada pelanggan lain yang membagikannya dan pelanggan hanya ditagih untuk resource yang disediakan pelanggan.
• Saat membuat layanan Dataproc Metastore pertama di suatu region, Dataproc Metastore mengalokasikan rentang /17 dan rentang /20 di jaringan pelanggan untuk semua penggunaan layanan Dataproc Metastore mendatang di region dan jaringan tersebut. Dataproc Metastore lebih lanjut membagi sub-rentang ini untuk membuat subjaringan dan rentang alamat di project produsen layanan.
• Layanan VM di jaringan pelanggan dapat mengakses resource layanan Dataproc Metastore di region mana pun jika layanan Google Cloud mendukungnya. Beberapa layanan Google Cloud mungkin tidak mendukung komunikasi lintas region.
• Biaya traffic keluar untuk traffic lintas regional, tempat instance VM berkomunikasi dengan resource di region yang berbeda, masih berlaku.
• Google menetapkan alamat IP 10.100.0.100 ke layanan Dataproc Metastore. Di jaringan VPC pelanggan, permintaan dengan tujuan 10.100.0.100 dirutekan melalui peering VPC ke jaringan produsen layanan. Setelah mencapai jaringan layanan, jaringan layanan berisi rute yang mengarahkan permintaan ke resource yang benar.
• Traffic antarjaringan VPC berjalan secara internal dalam jaringan Google, bukan melalui internet publik.

Langkah selanjutnya

• Kontrol Layanan VPC dengan Dataproc Metastore
• IAM dan kontrol akses Dataproc Metastore
• Private Service Connect dengan Dataproc Metastore