Private Service Connect dengan Dataproc Metastore

Dengan Private Service Connect, Anda dapat membuat layanan Dataproc Metastore yang tidak menggunakan penautan VPC. Halaman ini menjelaskan Private Service Connect dan cara menggunakannya sebagai opsi jaringan alternatif untuk Dataproc Metastore.

Cara kerja Dataproc Metastore dengan VPC

Dataproc Metastore melindungi akses metadata-nya dengan hanya mengekspos endpoint IP pribadi. Hal ini juga membatasi konektivitas ke VM di jaringan VPC Anda dengan menggunakan peering VPC.

Dataproc Metastore memerlukan konfigurasi berikut per region untuk setiap jaringan VPC:

Akibatnya, menyiapkan peering VPC dan reservasi alamat IP dapat menjadi sulit di jaringan VPC yang ramai. Demikian pula, jaringan VPC mungkin tidak memiliki cukup kuota peering untuk mengakomodasi permintaan peering tambahan. Kedua batasan ini dapat mencegah Anda membuat layanan Dataproc Metastore baru.

Untuk mengatasi masalah ini, Anda dapat menggunakan Dataproc Metastore dengan Private Service Connect.

Cara kerja Dataproc Metastore dengan Private Service Connect

Private Service Connect menyediakan koneksi pribadi ke metadata Dataproc Metastore di seluruh jaringan VPC.

Untuk menggunakan Private Service Connect dengan Dataproc Metastore, konfigurasi berikut diperlukan:

  • Satu reservasi alamat di subnetwork.
  • Aturan penerusan yang menargetkan lampiran layanan yang mengekspos endpoint Dataproc Metastore. Reservasi alamat dan aturan penerusan dibuat sebagai bagian dari panggilan pembuatan layanan Dataproc Metastore.

Pertimbangan

  • Layanan Metastore Dataproc yang menggunakan Private Service Connect hanya mendukung akses dari jaringan VPC subjaringan yang ditentukan selama pembuatan layanan.

  • Dataproc Metastore mencadangkan alamat dan membuat aturan pengalihan di setiap subnetwork yang ditentukan. Setiap subjaringan memiliki URI endpoint Thrift yang dapat Anda gunakan untuk mengakses endpoint metadata Dataproc Metastore.

Batasan

  • Layanan Dataproc Metastore yang menggunakan protokol endpoint gRPC tidak mendukung Private Service Connect.
  • Konektivitas terbalik tidak didukung dengan Private Service Connect. Artinya, Anda tidak dapat menggunakan konfigurasi Kerberos dengan Private Service Connect.
  • Anda tidak dapat menambahkan atau menghapus subnet secara dinamis dari layanan Metastore Dataproc yang dikonfigurasi dengan Private Service Connect. Sebagai gantinya, Anda harus membuat ulang layanan jika ingin menambahkan atau menghapus subnet.
  • Anda tidak dapat mengupdate layanan Metastore Dataproc yang menggunakan Private Service Connect untuk menggunakan VPC atau sebaliknya.

Membuat layanan Metastore Dataproc dengan Private Service Connect

Petunjuk berikut menunjukkan cara mengonfigurasi Private Service Connect selama pembuatan layanan.

Konsol

  1. Di konsol Google Cloud , buka halaman Metastore Dataproc:

    Buka Dataproc Metastore

  2. Di bagian atas halaman Dataproc Metastore, klik Create.

    Halaman Buat layanan akan terbuka.

  3. Konfigurasi layanan Anda sesuai kebutuhan.

  4. Di bagian Konfigurasi jaringan, klik Buat layanan dapat diakses di beberapa subnetwork VPC.

  5. Pilih Subnetwork. Anda dapat menentukan hingga 5 subnetwork.

  6. Klik Done.

  7. Klik Kirim.

Verifikasi konfigurasi jaringan layanan:

  1. Di konsol Google Cloud , buka halaman Metastore Dataproc:

    Buka Dataproc Metastore

  2. Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda lihat.

    Halaman Detail layanan untuk layanan tersebut akan terbuka.

  3. Di tab Configuration, pastikan detail menampilkan beberapa URI subjaringan VPC.

gcloud

  1. Jalankan perintah gcloud metastore services create berikut untuk membuat layanan dengan Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    atau

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Pastikan pembuatan berhasil.

REST

Ikuti petunjuk API untuk membuat layanan menggunakan API Explorer.

Dalam parameter permintaan create, gunakan file Network Config untuk mengonfigurasi Private Service Connect. Anda dapat menentukan 1 hingga 5 subnetwork.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Langkah selanjutnya