Ringkasan jaringan Dataproc Metastore

Dokumen ini memberikan ringkasan setelan jaringan yang dapat Anda gunakan untuk menyiapkan layanan Dataproc Metastore.

Catatan: Sebagian besar konsep jaringan di halaman ini hanya berlaku untuk layanan Dataproc Metastore yang menggunakan protokol endpoint Thrift. Jika Anda menggunakan protokol endpoint gRPC, satu-satunya konfigurasi jaringan yang perlu Anda pertimbangkan dalam dokumen ini adalah Kontrol Layanan VPC.

Referensi cepat untuk topik jaringan

Setelan jaringan	Notes
Setelan jaringan default
Jaringan VPC	Secara default, layanan Dataproc Metastore menggunakan Jaringan VPC untuk terhubung ke Google Cloud. Setelah jaringan VPC dibuat, Dataproc Metastore juga otomatis mengonfigurasi Peering Jaringan VPC untuk layanan Anda.
Subnetwork VPC	Secara opsional, Anda dapat memilih untuk membuat layanan Dataproc Metastore dengan subnetwork VPC menggunakan Private Service Connect. Ini adalah alternatif penggunaan jaringan VPC.
Setelan jaringan tambahan
Jaringan VPC bersama	Secara opsional, Anda dapat memilih untuk membuat layanan Dataproc Metastore di jaringan VPC Bersama.
Jejaring lokal	Anda dapat terhubung ke layanan Dataproc Metastore dengan lingkungan lokal menggunakan Cloud VPN atau Cloud Interconnect.
Kontrol Layanan VPC	Secara opsional, Anda dapat memilih untuk membuat layanan Dataproc Metastore dengan Kontrol Layanan VPC.
Aturan firewall	Di lingkungan non-default atau pribadi dengan jejak keamanan yang telah ditetapkan, Anda mungkin perlu membuat aturan firewall sendiri.

Setelan jaringan default

Bagian berikut menjelaskan setelan jaringan default yang digunakan Dataproc Metastore, yaitu jaringan VPC dan Peering Jaringan VPC.

Jaringan VPC

Secara default, layanan Dataproc Metastore menggunakan Jaringan VPC untuk terhubung ke Google Cloud. Jaringan VPC adalah versi virtual dari jaringan fisik yang diimplementasikan di dalam jaringan produksi Google. Saat Anda membuat Dataproc Metastore, layanan secara otomatis membuat jaringan VPC untuk Anda.

Jika Anda tidak mengubah setelan apa pun saat membuat layanan, Dataproc Metastore akan menggunakan jaringan VPC default. Dengan setelan ini, jaringan VPC yang Anda gunakan dengan layanan Dataproc Metastore dapat menjadi bagian dari project Google Cloud yang sama atau project berbeda. Setelan ini juga memungkinkan Anda mengekspos layanan dalam satu jaringan VPC atau membuat layanan dapat diakses dari beberapa jaringan VPC (melalui penggunaan subjaringan).

Dataproc Metastore memerlukan hal berikut per region untuk setiap jaringan VPC:

• 1 kuota peering
• /17 dan /20 CIDR

Peering Jaringan VPC

Setelah jaringan VPC dibuat, Dataproc Metastore juga otomatis mengonfigurasi Peering Jaringan VPC untuk layanan Anda. VPC menyediakan akses ke protokol endpoint Dataproc Metastore pada layanan Anda. Setelah membuat layanan, Anda dapat melihat Peering Jaringan VPC dasarnya pada halaman Peering Jaringan VPC di Konsol Google Cloud.

Peering Jaringan VPC tidak transitif. Ini berarti bahwa hanya jaringan yang di-peering secara langsung yang dapat berkomunikasi satu sama lain. Misalnya, perhatikan skenario berikut:

Anda memiliki jaringan berikut, jaringan VPC N1, N2, dan N3.

• Jaringan VPC N1 disambungkan dengan N2 dan N3.
• Jaringan VPC N2 dan N3 tidak terhubung langsung.

Apa maksudnya?

Artinya, melalui Peering Jaringan VPC, jaringan VPC N2 tidak dapat berkomunikasi dengan jaringan VPC N3. Hal ini memengaruhi koneksi Dataproc Metastore dengan cara berikut:

• Mesin virtual yang berada dalam jaringan yang di-peering dengan jaringan project Dataproc Metastore Anda tidak dapat menjangkau Dataproc Metastore.
• Hanya host di jaringan VPC yang dapat menjangkau layanan Dataproc Metastore.

Pertimbangan Keamanan Peering Jaringan VPC

• Traffic melalui Peering Jaringan VPC disediakan dengan tingkat enkripsi tertentu. Untuk informasi selengkapnya, lihat Enkripsi dan autentikasi jaringan virtual Google Cloud.

• Membuat satu jaringan VPC untuk setiap layanan dengan alamat IP internal akan memberikan isolasi jaringan yang lebih baik daripada menempatkan semua layanan dalam jaringan VPC default.

Subnetwork VPC

Dengan Private Service Connect (PSC), Anda dapat menyiapkan koneksi pribadi ke metadata Dataproc Metastore di seluruh jaringan VPC. Dengan PSC, Anda dapat membuat layanan tanpa peering VPC. Dengan begitu, Anda dapat menggunakan alamat IP internal Anda sendiri untuk mengakses Dataproc Metastore, tanpa meninggalkan jaringan VPC atau menggunakan alamat IP eksternal.

Untuk menyiapkan Private Service Connect saat membuat layanan, lihat Private Service Connect dengan Dataproc Metastore.

Alamat IP

Agar terhubung ke jaringan dan membantu melindungi metadata Anda, layanan Dataproc Metastore hanya menggunakan alamat IP internal. Artinya, alamat IP publik tidak akan terekspos atau tersedia untuk tujuan jaringan.

Dengan menggunakan alamat IP internal, Dataproc Metastore hanya dapat terhubung ke Mesin Virtual (VM) yang ada di jaringan Virtual Private Cloud (VPC) tertentu atau lingkungan lokal.

Koneksi ke layanan Dataproc Metastore menggunakan alamat IP internal menggunakan rentang alamat RFC 1918. Menggunakan rentang ini berarti bahwa Dataproc Metastore mengalokasikan rentang /17 dan rentang /20 dari ruang alamat untuk setiap region. Misalnya, menempatkan layanan Dataproc Metastore di dua region mengharuskan rentang alamat IP yang dialokasikan berisi hal berikut:

• Minimal dua blok alamat yang tidak digunakan berukuran /17.
• Minimal dua blok alamat yang tidak digunakan berukuran /20.

Jika blok alamat RFC 1918 tidak ditemukan, Dataproc Metastore akan menemukan blok alamat non-RFC 1918 yang sesuai. Perlu diperhatikan bahwa alokasi blok non-RFC 1918 tidak memperhitungkan apakah alamat tersebut digunakan dalam jaringan VPC Anda atau di infrastruktur lokal.

Setelan jaringan tambahan

Jika memerlukan setelan jaringan yang berbeda, Anda dapat menggunakan opsi berikut dengan layanan Dataproc Metastore.

Jaringan VPC yang dibagikan

Anda dapat membuat layanan Dataproc Metastore di Jaringan VPC Bersama. VPC Bersama memungkinkan Anda menghubungkan resource Dataproc Metastore dari beberapa project ke jaringan VPC (VPC) umum.

Untuk menyiapkan VPC Bersama saat membuat layanan, lihat Membuat Layanan Metastore Dataproc.

Jaringan lokal

Anda dapat terhubung ke layanan Dataproc Metastore dengan lingkungan lokal menggunakan Cloud VPN atau Cloud Interconnect.

Kontrol Layanan VPC

Kontrol Layanan VPC meningkatkan kemampuan Anda untuk mengurangi risiko pemindahan data yang tidak sah. Dengan Kontrol Layanan VPC, Anda membuat perimeter di sekitar layanan Dataproc Metastore. Kontrol Layanan VPC membatasi akses ke resource dalam perimeter dari luar. Hanya klien dan resource dalam perimeter yang dapat berinteraksi satu sama lain.

Untuk menggunakan Kontrol Layanan VPC dengan Dataproc Metastore, lihat Kontrol Layanan VPC dengan Dataproc Metastore. Tinjau juga batasan Dataproc Metastore saat menggunakan Kontrol Layanan VPC.

Aturan firewall untuk Dataproc Metastore

Di lingkungan non-default atau pribadi dengan jejak keamanan yang telah ditetapkan, Anda mungkin perlu membuat aturan firewall sendiri. Jika demikian, jangan buat aturan firewall yang memblokir rentang alamat IP atau port layanan Dataproc Metastore Anda.

Saat membuat layanan Dataproc Metastore, Anda dapat menerima jaringan default untuk layanan tersebut. Jaringan default akan memastikan akses jaringan IP internal penuh untuk VM Anda.

Untuk mengetahui informasi umum lebih lanjut mengenai aturan firewall, lihat Aturan firewall VPC dan Menggunakan aturan firewall VPC.

Membuat aturan firewall untuk jaringan kustom

Saat Anda menggunakan jaringan kustom, pastikan aturan firewall Anda mengizinkan traffic yang berasal dari dan menuju ke endpoint Dataproc Metastore. Untuk mengizinkan traffic Dataproc Metastore secara eksplisit, jalankan perintah gcloud berikut:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Untuk DPMS_NET_PREFIX, terapkan subnet mask /17 ke IP layanan Dataproc Metastore Anda. Anda dapat menemukan informasi alamat IP Dataproc Metastore dalam konfigurasi endpointUri pada halaman Service detail.

Pertimbangan

Jaringan memiliki aturan izinkan traffic keluar tersirat yang biasanya mengizinkan akses dari jaringan Anda ke Dataproc Metastore. Jika Anda membuat aturan tolak traffic keluar yang mengganti aturan izinkan traffic keluar tersirat, Anda harus membuat aturan izinkan traffic keluar dengan prioritas lebih tinggi untuk mengizinkan traffic keluar ke IP Dataproc Metastore.

Beberapa fitur seperti Kerberos memerlukan Dataproc Metastore untuk memulai koneksi ke host di jaringan project Anda. Semua jaringan memiliki aturan tolak masuknya implisit yang memblokir koneksi ini dan mencegah fitur tersebut berfungsi. Anda harus membuat aturan firewall yang mengizinkan ingress TCP dan UDP di semua port dari blok IP /17 yang berisi IP Dataproc Metastore.

Pemilihan rute kustom

Rute kustom ditujukan untuk subnet yang menggunakan alamat IP publik yang digunakan secara pribadi (PUPI). Dengan rute kustom, jaringan VPC Anda dapat terhubung ke jaringan peer. Rute kustom hanya dapat diterima jika jaringan VPC Anda mengimpornya dan jaringan peer secara eksplisit mengekspornya. Rute kustom dapat bersifat statis atau dinamis.

Berbagi rute kustom dengan jaringan VPC yang di-peering memungkinkan jaringan untuk "mempelajari" rute langsung dari jaringan yang di-peering. Artinya, saat rute kustom dalam jaringan yang di-peering diperbarui, jaringan VPC Anda otomatis mempelajari dan menerapkan rute kustom tersebut tanpa memerlukan tindakan tambahan dari Anda.

Untuk mengetahui informasi selengkapnya tentang pemilihan rute kustom, lihat konfigurasi jaringan.

Contoh Jaringan Metastore Dataproc

Pada contoh berikut, Google mengalokasikan rentang alamat 10.100.0.0/17 dan 10.200.0.0/20 dalam jaringan VPC pelanggan untuk layanan Google dan menggunakan rentang alamat tersebut dalam jaringan VPC yang di-peering.

Gambar 1. Konfigurasi jaringan VPC Metastore Dataproc

Deskripsi contoh jaringan:

• Di sisi layanan Google dari peering VPC, Google membuat project untuk pelanggan. Project bersifat terisolasi, yang berarti tidak ada pelanggan lain yang membagikannya dan pelanggan hanya ditagih untuk resource yang disediakan pelanggan.
• Saat membuat layanan Dataproc Metastore pertama di suatu region, Dataproc Metastore mengalokasikan rentang /17 dan rentang /20 di jaringan pelanggan untuk semua penggunaan layanan Dataproc Metastore pada masa mendatang di region dan jaringan tersebut. Dataproc Metastore membagi lagi rentang ini lebih lanjut untuk membuat subjaringan dan rentang alamat di project produsen layanan.
• Layanan VM di jaringan pelanggan dapat mengakses resource layanan Dataproc Metastore di region mana pun jika layanan Google Cloud mendukungnya. Beberapa layanan Google Cloud mungkin tidak mendukung komunikasi lintas region.
• Biaya traffic keluar untuk traffic lintas regional, tempat instance VM berkomunikasi dengan resource di region yang berbeda, masih berlaku.
• Google menetapkan alamat IP 10.100.0.100 ke layanan Dataproc Metastore. Dalam jaringan VPC pelanggan, permintaan dengan tujuan 10.100.0.100 dirutekan melalui peering VPC ke jaringan produsen layanan. Setelah menjangkau jaringan layanan, jaringan layanan akan berisi rute yang mengarahkan permintaan ke resource yang benar.
• Traffic antarjaringan VPC berjalan secara internal dalam jaringan Google, bukan melalui internet publik.

Langkah selanjutnya

• Kontrol Layanan VPC dengan Dataproc Metastore
• Kontrol akses dan IAM Dataproc Metastore
• Private Service Connect dengan Dataproc Metastore