Mengonfigurasi Akses Jaringan untuk Dataproc Metastore

Halaman ini memberikan panduan mendetail tentang cara mengonfigurasi akses jaringan untuk instance Dataproc Metastore Anda. Penyiapan jaringan yang benar sangat penting agar cluster Dataproc dan workload Dataproc Serverless dapat berkomunikasi dengan layanan Dataproc Metastore terkelola Anda secara aman dan pribadi.

Konsep Jaringan Utama

Instance Dataproc Metastore biasanya berada dalam jaringan produsen layanan yang dikelola Google dan berkomunikasi dengan jaringan Virtual Private Cloud Anda menggunakan konektivitas pribadi. Memahami konsep berikut sangat penting untuk penyiapan yang berhasil:

  • Virtual Private Cloud Bersama: Jika cluster Dataproc atau workload Dataproc Serverless Anda berada dalam project layanan yang menggunakan jaringan Virtual Private Cloud Bersama dari project host, pastikan konfigurasi jaringan yang sesuai dilakukan di project host. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Virtual Private Cloud Bersama.
  • Akses Google Pribadi: Instance Dataproc Metastore sering kali mengandalkan Akses Google Pribadi untuk komunikasi pribadi dengan jaringan Virtual Private Cloud Anda. Hal ini memungkinkan instance Virtual Machine (VM) di Virtual Private Cloud Anda terhubung ke API dan layanan Google menggunakan alamat IP internal. Untuk mengetahui informasi selengkapnya, lihat Akses Google Pribadi.
  • Peering Jaringan VPC: Mekanisme ini memungkinkan konektivitas IP pribadi antara dua jaringan Virtual Private Cloud, sehingga resource di satu jaringan dapat berkomunikasi dengan resource di jaringan lain menggunakan alamat IP internal. Dataproc Metastore membuat koneksi Peering Jaringan VPC terkelola ke jaringan Virtual Private Cloud Anda sebagai bagian dari penyiapannya. Untuk mengetahui informasi selengkapnya, lihat Peering Jaringan VPC.
  • Aturan Firewall: Aturan firewall yang tepat diperlukan untuk mengizinkan traffic antara workload Dataproc dan instance Dataproc Metastore.
  • Resolusi Cloud DNS: Pastikan resolusi DNS dikonfigurasi dengan benar dalam jaringan Virtual Private Cloud Anda untuk menyelesaikan URI endpoint Dataproc Metastore ke alamat IP pribadinya.

Langkah-Langkah Konfigurasi

Untuk memverifikasi akses jaringan yang tepat untuk instance Dataproc Metastore Anda, ikuti langkah-langkah berikut:

1. Mengonfigurasi Akses Layanan Pribadi

Dataproc Metastore menggunakan Akses Layanan Pribadi untuk membuat koneksi pribadi antara jaringan Virtual Private Cloud Anda dan jaringan produsen layanan yang dikelola Google tempat instance Dataproc Metastore Anda berada.

  • Verifikasi Koneksi Akses Layanan Pribadi:
    1. Di konsol Google Cloud , buka Virtual Private Cloud network > VPC Network Peering.
    2. Verifikasi bahwa koneksi peering bernama servicenetworking-googleapis-com ada dan statusnya adalah ACTIVE.
    3. Jika koneksi ini tidak ada atau tidak aktif, ikuti petunjuk di Mengonfigurasi Akses Layanan Pribadi. Hal ini mencakup mengalokasikan rentang alamat IP untuk jaringan produsen layanan.

2. Mengonfigurasi Aturan Firewall

Pastikan aturan firewall di jaringan Virtual Private Cloud Anda (atau project host Virtual Private Cloud Bersama, jika berlaku) mengizinkan traffic yang diperlukan.

  • Aturan Egress dari Workload ke Metastore:
    • Pastikan aturan firewall keluar mengizinkan traffic TCP keluar dari cluster Dataproc atau beban kerja Dataproc Serverless ke rentang alamat IP instance Dataproc Metastore Anda di port 9083. Ini adalah port default untuk Hive Metastore.
    • Jika menggunakan Private Service Access, traffic ini akan dirutekan secara pribadi.
  • Aturan Ingress (kurang umum untuk klien ke Metastore):
    • Umumnya, Anda tidak perlu mengonfigurasi aturan ingress di Virtual Private Cloud untuk traffic dari instance Dataproc Metastore ke workload Anda, karena komunikasi biasanya berasal dari workload. Namun, pastikan tidak ada aturan masuk yang terlalu ketat yang secara tidak sengaja memblokir respons yang diperlukan.

3. Memverifikasi Resolusi DNS

Workload Dataproc Anda perlu menyelesaikan URI endpoint Dataproc Metastore ke alamat IP pribadinya.

  • Peering DNS atau Zona Pribadi: Jika Anda menggunakan server DNS kustom atau zona Cloud DNS pribadi, verifikasi bahwa kueri DNS untuk endpoint Dataproc Metastore (misalnya, your-metastore-endpoint.us-central1.dataproc.cloud.google.com) diteruskan atau diselesaikan dengan benar ke rentang IP pribadi yang digunakan oleh Private Service Access.
  • Menguji Resolusi DNS: Dari VM dalam subnet yang sama dengan workload Dataproc, gunakan nslookup atau dig untuk memverifikasi bahwa endpoint Dataproc Metastore di-resolve ke alamat IP pribadi.

Memecahkan Masalah Konektivitas Jaringan

Jika Anda mengalami masalah konektivitas setelah mengonfigurasi akses jaringan, pertimbangkan langkah-langkah pemecahan masalah berikut:

Langkah berikutnya