Private Service Connect dengan Dataproc Metastore

Halaman ini menjelaskan apa yang dimaksud dengan Private Service Connect dan cara menggunakannya untuk jaringan sebagai alternatif peering VPC.

Layanan Dataproc Metastore tanpa peering VPC

Dataproc Metastore melindungi akses metadatanya dengan hanya mengekspos endpoint IP pribadi. VPC ini juga membatasi konektivitas ke VM di jaringan VPC pelanggan yang disediakan melalui peering VPC.

Dataproc Metastore memerlukan hal berikut per region untuk setiap jaringan VPC:

Menyiapkan peering VPC dan pencadangan alamat IP menimbulkan tantangan bagi jaringan VPC yang penuh sesak. Demikian pula, jaringan VPC mungkin tidak memiliki cukup kuota peering untuk mengakomodasi permintaan peering tambahan. Kedua batasan ini mencegah pembuatan layanan Dataproc Metastore baru.

Anda dapat membuat layanan Dataproc Metastore tanpa peering VPC dan reservasi blok alamat dengan menggunakan Private Service Connect untuk mengekspos endpoint Metastore Dataproc. Private Service Connect memungkinkan koneksi pribadi ke metadata Dataproc Metastore di seluruh jaringan VPC.

Dengan Private Service Connect, Dataproc Metastore memerlukan satu reservasi alamat di subnetwork dan aturan penerusan yang menargetkan lampiran layanan yang mengekspos endpoint Metastore Dataproc. Aturan penerusan dan reservasi alamat dibuat sebagai bagian dari panggilan pembuatan layanan Dataproc Metastore.

Membuat layanan Dataproc Metastore dengan Private Service Connect

Petunjuk berikut menunjukkan cara mengonfigurasi Private Service Connect selama pembuatan layanan.

Konsol

  1. Di konsol Google Cloud, buka halaman Metastore Dataproc:

    Buka Dataproc Metastore di Konsol Google Cloud

  2. Di bagian atas halaman Dataproc Metastore, klik tombol Create. Halaman Buat layanan akan terbuka.

  3. Konfigurasi layanan sesuai keinginan.

  4. Di bagian Konfigurasi jaringan, klik Buat layanan dapat diakses di beberapa subjaringan VPC.

  5. Pilih Subnetworks. Anda dapat menentukan hingga 5 subjaringan.

  6. Klik Done.

  7. Klik Submit.

Verifikasi konfigurasi jaringan layanan:

  1. Di konsol Google Cloud, buka halaman Metastore Dataproc:

    Buka Dataproc Metastore di Konsol Google Cloud

  2. Di halaman Dataproc Metastore, klik nama layanan layanan yang ingin Anda lihat. Halaman Detail layanan untuk layanan tersebut akan terbuka.

  3. Di tab Configuration, pastikan detailnya menampilkan beberapa URI subnetwork VPC.

gcloud

  1. Jalankan perintah gcloud metastore services create berikut untuk membuat layanan dengan Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    atau

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifikasi bahwa pembuatan berhasil.

REST

Ikuti petunjuk API untuk membuat layanan menggunakan API Explorer.

Dalam parameter permintaan create, gunakan kolom Network Config untuk mengonfigurasi Private Service Connect:

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Anda dapat menentukan 1 hingga 5 subnetwork.

Dataproc Metastore mencadangkan alamat dan membuat aturan penerusan di setiap subnetwork yang ditentukan. Setiap subjaringan memiliki URI endpoint Thrift yang dapat Anda gunakan untuk mengakses endpoint metadata Dataproc Metastore.

Lampirkan cluster Dataproc

Anda dapat melampirkan cluster Dataproc yang menggunakan layanan Dataproc Metastore dengan Private Service Connect sebagai metastore Hive-nya menggunakan URI endpoint dan direktori warehouse layanan.

Untuk informasi selengkapnya tentang cara melampirkan cluster Dataproc, lihat Melampirkan cluster Dataproc menggunakan ENDPOINT_URI dan WAREHOUSE_DIR.

Peringatan Private Service Connect untuk Dataproc Metastore

  • Endpoint layanan Dataproc Metastore yang menggunakan Private Service Connect hanya mendukung akses dari subnetwork di region yang sama dengan layanan.
  • Konektivitas terbalik tidak mungkin dilakukan. Artinya, konfigurasi Kerberos dengan penyiapan Private Service Connect tidak didukung.
  • Pembuatan layanan Dataproc Metastore dengan protokol endpoint gRPC tidak mendukung konfigurasi jaringan.
  • Anda tidak dapat menambahkan atau menghapus subnet secara dinamis dari layanan Dataproc Metastore. Anda harus membuat ulang layanan jika ingin menambah atau menghapus subnet.
  • Anda tidak dapat mengupdate layanan Dataproc Metastore dari penyiapan Private Service Connect ke penyiapan peering atau sebaliknya.
  • Versi tambahan tidak didukung untuk konfigurasi Private Service Connect.

Langkah selanjutnya