Membuat instance pribadi dengan peering VPC

Halaman ini menjelaskan cara membuat instance Cloud Data Fusion dengan alamat IP internal. Anda membuat instance di jaringan VPC atau jaringan VPC Bersama.

Catatan: Di Cloud Data Fusion 6.10.0 dan yang lebih baru, sebaiknya buat instance pribadi dengan Private Service Connect, bukan dengan peering jaringan VPC.

Instance Cloud Data Fusion pribadi memiliki manfaat berikut:

• Koneksi ke instance dibuat melalui jaringan VPC pribadi di project Google Cloud Anda. Traffic melalui jaringan tidak melalui internet publik.

• Instance dapat terhubung ke resource lokal Anda, seperti database relasional karena jaringan lokal Anda terhubung ke jaringan VPC pribadi Google Cloud melalui Cloud VPN atau Cloud Interconnect. Anda dapat mengakses resource lokal, seperti database, dengan aman melalui jaringan pribadi tanpa membuka akses ke Google Cloud.

Tujuan

• Siapkan jaringan VPC atau jaringan VPC Bersama.
• Alokasikan rentang IP yang akan digunakan untuk men-deploy instance Cloud Data Fusion di project tenant.
• Buat instance pribadi Cloud Data Fusion.
• Siapkan peering jaringan VPC antara VPC yang berisi instance Cloud Data Fusion dan VPC yang berisi project tenant terkait.
• Untuk jaringan VPC Bersama, siapkan izin Identity and Access Management (IAM).
• Jika instance pribadi Anda menggunakan Cloud Data Fusion versi 6.2.0 atau yang lebih lama, buat aturan firewall.
• Izinkan layanan Google Cloud yang berbeda berkomunikasi secara internal satu sama lain dengan mengaktifkan Akses Google Pribadi di subnet Dataproc.

Sebelum memulai

• Untuk mempelajari arsitektur deployment Cloud Data Fusion, lihat Jaringan.

Menyiapkan jaringan VPC

Jika Anda belum melakukannya, buat jaringan VPC atau jaringan VPC Bersama.

Untuk menyiapkan jaringan VPC, Anda harus mengalokasikan rentang alamat IP.

Alokasikan rentang IP

Jaringan VPC

Jika Anda tidak menggunakan jaringan VPC Bersama, Cloud Data Fusion akan mengalokasikan rentang IP secara default saat Anda membuat instance.

Catatan: Jika Anda tidak menggunakan jaringan VPC Bersama, lewati bagian ini dan buka Membuat instance pribadi.

Jaringan VPC yang dibagikan

Catatan: Ikuti langkah-langkah ini hanya jika Anda menggunakan jaringan VPC Bersama.

Untuk menggunakan VPC Bersama, Anda harus mengalokasikan rentang IP untuk instance Cloud Data Fusion.

Untuk mengalokasikan rentang IP untuk instance Cloud Data Fusion, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman VPC networks.

   Buka jaringan VPC

2. Di kolom Nama, klik jaringan VPC tempat Anda ingin membuat instance Cloud Data Fusion pribadi.

   Halaman VPC network details akan terbuka.

3. Klik Private service connection. Jika diminta, aktifkan Service Networking API dengan mengklik Enable API.

   

4. Klik Alokasikan rentang IP.

   1. Beri nama rentang IP Anda.

   2. Untuk Rentang IP, klik Otomatis.

      Catatan: Untuk rentang kustom, Cloud Data Fusion mendukung rentang alamat IPv4 pribadi yang valid, termasuk rentang IP non-RFC 1918. Fitur ini tidak mendukung rentang alamat IP eksternal yang digunakan secara pribadi. Alokasi rentang ini tidak harus menggunakan IP dari subnet mana pun, tetapi tidak boleh tumpang-tindih dengan alokasi rentang yang Anda buat di masa mendatang.

   3. Tentukan ukuran awalan 22.

      Catatan: Rentang IP /22 diperlukan per instance Cloud Data Fusion dan tidak dapat dibagikan oleh beberapa instance. Rentang IP tersebut adalah milik Google Cloud dan merupakan tempat komponen dan infrastruktur instance pokok dihosting.

   4. Klik Alokasikan.

      

Membuat instance pribadi

Buat instance Cloud Data Fusion pribadi di jaringan VPC atau jaringan VPC Bersama.

Perhatian: Setelah membuat instance Cloud Data Fusion, Anda tidak dapat mengubah edisi-nya.

Jaringan VPC

Untuk membuat instance di jaringan VPC, gunakan konsol Google Cloud atau cURL.

Jika Anda menggunakan konsol Google Cloud untuk membuat instance pribadi, Cloud Data Fusion akan mengalokasikan rentang alamat IP /22 secara default. Untuk memilih rentang IP yang berbeda, Anda harus menggunakan perintah cURL.

Konsol

1. Buka halaman Create Data Fusion instance.

   Buka Buat instance Data Fusion

2. Masukkan nama dan deskripsi instance untuk instance Anda.

3. Pilih Region tempat instance akan dibuat.

4. Pilih Versi dan Edisi Cloud Data Fusion.

5. Tentukan akun layanan Dataproc yang akan digunakan untuk menjalankan pipeline Cloud Data Fusion di Dataproc. Akun Compute Engine default telah dipilih sebelumnya.

   Catatan: Anda harus memberikan peran Identity and Access Management yang sesuai untuk kebutuhan Anda ke akun layanan. Untuk mengetahui informasi selengkapnya, lihat Memberikan izin pengguna akun layanan.

6. Luaskan menu Advanced Options dan klik Enable Private IP.

7. Di kolom Network, pilih jaringan tempat instance akan dibuat.

8. Klik Create. Diperlukan waktu hingga 30 menit untuk menyelesaikan proses pembuatan instance.

   Catatan: Saat Cloud Data Fusion membuat instance, roda progres akan ditampilkan di samping nama instance di halaman Instance. Setelah selesai, status akan berubah menjadi tanda centang hijau dan menunjukkan bahwa Anda dapat mulai menggunakan instance.

cURL

Untuk memudahkan, Anda dapat mengekspor variabel berikut, atau Anda dapat langsung mengganti nilai ini ke dalam perintah berikut:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Untuk membuat instance, panggil metode create():

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Ganti kode berikut:

• INSTANCE_ID: String ID yang akan diperoleh instance baru Anda.
• NETWORK_NAME: Nama jaringan VPC tempat Anda ingin membuat instance pribadi.
• IP_RANGE: Rentang IP yang Anda alokasikan. Untuk menemukan rentang IP di konsol Google Cloud, buka VPC network details > Private service connection > Internal IP range .

Jaringan VPC yang dibagikan

Untuk membuat instance di jaringan VPC Bersama, gunakan cURL, bukan konsol Google Cloud.

cURL

Untuk memudahkan Anda, Anda dapat mengekspor variabel berikut. Atau, Anda dapat langsung mengganti nilai ini dalam perintah berikut:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Untuk membuat instance, panggil metode create():

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Ganti kode berikut:

• INSTANCE_ID: String ID yang akan diperoleh instance baru Anda.
• SHARED_VPC_HOST_PROJECT_ID: ID project yang menghosting jaringan VPC Bersama.
• NETWORK_NAME: Nama jaringan VPC tempat Anda ingin membuat instance pribadi.
• IP_RANGE: Rentang IP yang Anda alokasikan. Untuk menemukan rentang IP di konsol Google Cloud, buka halaman VPC network details > Private service connection > Internal IP range.

Catatan: Anda tidak dapat menggunakan rentang IP yang dialokasikan ke layanan Google Cloud lain. Rentang ini harus sama dengan rentang IP yang dialokasikan pada langkah sebelumnya.

Catatan: Saat menggunakan jaringan VPC Bersama, nama peering jaringan VPC yang dibuat antara project Anda dan project tenant adalah kombinasi dari nama jaringan VPC dan nama instance. Panjang nama peering jaringan VPC tidak boleh melebihi 63 karakter.

Menyiapkan peering jaringan VPC

Poin Penting: Instance Cloud Data Fusion dibuat di VPC-nya sendiri dan Anda mungkin perlu menyiapkan peering jaringan VPC untuk menghubungkan ke sumber dan sink yang Anda gunakan dalam pipeline.

Layanan Cloud Data Fusion yang Anda gunakan di lingkungan desain (misalnya: Wrangler, Pengelola Koneksi, dan Validasi Skema) memulai koneksi jaringan dari VPC project tenant ke sistem sumber. Cloud Data Fusion menggunakan peering jaringan VPC untuk membuat konektivitas jaringan ke VPC atau VPC Bersama yang berisi instance Anda. Peering jaringan VPC memungkinkan Cloud Data Fusion mengakses resource di jaringan Anda melalui alamat IP internal menggunakan VPC Anda sendiri dan kontrolnya. Untuk terhubung dengan resource di jaringan lain, lihat langkah-langkah untuk kasus penggunaan koneksi.

Bagian berikut menjelaskan cara membuat konfigurasi peering antara jaringan Anda dan jaringan project tenant Cloud Data Fusion.

Mendapatkan project ID tenant

Untuk membuat konfigurasi peering, Anda memerlukan ID project tenant.

1. Buka halaman Instance Cloud Data Fusion.

   Buka Instance

2. Di kolom Instance Name, pilih instance.

3. Di halaman Instance details, salin Tenant project ID, yang diperlukan saat Anda membuat koneksi peering dalam langkah-langkah berikut.

Membuat koneksi peering

1. Buka halaman VPC network peering.

   Buka VPC network peering

2. Klik Buat koneksi > Lanjutkan.

3. Di halaman Create peering connection yang terbuka, lakukan hal berikut:

   1. Masukkan Nama untuk koneksi peering Anda.
   2. Untuk Jaringan VPC Anda, pilih jaringan yang berisi instance Cloud Data Fusion Anda.
   3. Untuk Peered VPC network, pilih In another project.
   4. Untuk Project ID, masukkan project ID tenant yang Anda temukan sebelumnya dalam tutorial ini.

   5. Untuk Nama jaringan VPC, pilih jaringan atau masukkan INSTANCE_REGION-INSTANCE_ID.

      Ganti kode berikut:

      • INSTANCE_REGION: region tempat Anda membuat instance Cloud Data Fusion.
      • INSTANCE_ID: ID instance Cloud Data Fusion Anda.
      Catatan: Saat instance dibuat, jaringan VPC bernama INSTANCE_REGION-INSTANCE_ID akan dibuat di project tenant. Instance Cloud Data Fusion pribadi di-deploy di VPC tersebut. Jaringan ini sudah ada dengan konfigurasi untuk melakukan peering dengan VPC project pelanggan Anda.

   6. Pilih versi Internet Protocol untuk koneksi peering guna menukar rute IPv4 dan IPv6 antara jaringan VPC Anda dan jaringan VPC yang di-peering. Untuk mengetahui informasi selengkapnya, lihat Peering jaringan VPC.

   7. Pilih Ekspor rute kustom agar rute kustom dapat diekspor dari jaringan VPC Anda ke jaringan VPC tenant.

   8. Pilih apakah akan mengizinkan rute subnet dengan IPv4 publik untuk diimpor atau diekspor ke jaringan VPC Anda.

   9. Klik Create.

   Peering jaringan VPC akan aktif segera setelah dibuat.

Menyiapkan izin IAM

Jaringan VPC

Lewati langkah ini dan buka Membuat aturan firewall.

Jaringan VPC yang dibagikan

Jika membuat instance Cloud Data Fusion di jaringan VPC Bersama, Anda harus memberikan peran Compute Network User kepada akun layanan berikut. Untuk memberikan izin ke semua subnet, berikan peran ke project host VPC Bersama.

Untuk mengontrol akses lebih lanjut, berikan peran ke subnet tertentu, dan peran Network Viewer di project host.

• Akun layanan Cloud Data Fusion: [e-mail]
• Akun layanan Dataproc: [e-mail]

PROJECT_NUMBER adalah nomor project Google Cloud yang berisi instance Cloud Data Fusion Anda.

Untuk mengetahui informasi selengkapnya, lihat Memberikan akses ke akun layanan yang diperlukan.

Membuat aturan firewall

Buat aturan firewall di jaringan VPC yang mengizinkan koneksi SSH masuk dari rentang IP yang Anda tentukan saat membuat instance Cloud Data Fusion pribadi.

Langkah ini diperlukan untuk Cloud Data Fusion versi sebelum 6.2.0. Hal ini memungkinkan komunikasi antara cluster Cloud Data Fusion dan Dataproc yang menjalankan pipeline.

Anda dapat membuat aturan firewall dengan menggunakan konsol Google Cloud atau menggunakan gcloud CLI.

Konsol

Lihat Membuat aturan firewall.

gcloud

Jalankan perintah berikut:

gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID

Ganti kode berikut:

• FIREWALL_NAME: Nama aturan firewall yang akan dibuat.
• IP_RANGE: Rentang IP yang Anda alokasikan.
• NETWORK_NAME: Nama jaringan tempat aturan firewall dilampirkan. Ini adalah nama jaringan VPC tempat Anda membuat instance pribadi.
• PROJECT_ID: ID project yang menghosting jaringan VPC.

Langkah-langkah untuk kasus penggunaan koneksi

Bagian berikut menjelaskan kasus penggunaan terkait koneksi untuk instance pribadi.

Mengaktifkan Akses Google Pribadi

Untuk mengakses resource melalui alamat IP internal, Cloud Data Fusion harus membuat cluster Dataproc dan menjalankan pipeline data di subnet yang memiliki Akses Google Pribadi. Anda harus mengaktifkan Akses Google Pribadi untuk subnet yang berisi cluster Dataproc.

• Jika hanya ada satu subnet di region tempat cluster Dataproc diluncurkan, cluster akan diluncurkan di subnet tersebut.

• Jika ada beberapa subnet di suatu region, Anda harus mengonfigurasi Cloud Data Fusion untuk memilih subnet dengan Akses Google Pribadi untuk meluncurkan cluster Dataproc.

  Perhatian: Jika Akses Google Pribadi tidak diaktifkan di subnet tersebut, eksekusi pipeline akan gagal. Untuk menentukan subnet setelah membuat instance, edit profil komputasi.

Untuk mengaktifkan Akses Google Pribadi untuk subnet, lihat Konfigurasi Akses Google Pribadi.

Opsional: Menghubungkan ke sumber lain

Setelah membuat instance pribadi di Cloud Data Fusion, Anda dapat terhubung ke sumber lain, seperti kasus penggunaan berikut:

• Database dan sistem lokal yang berjalan di jaringan VPC lain
• Layanan Google Cloud lainnya yang berjalan di jaringannya sendiri dalam mode pribadi, seperti Cloud SQL
• Sumber di internet publik

Opsional: Mengaktifkan Peering DNS

Aktifkan Peering DNS dalam kasus berikut:

• Saat Cloud Data Fusion terhubung ke sistem melalui nama host, bukan alamat IP
• Saat sistem target di-deploy di belakang load balancer, seperti yang dilakukan di beberapa deployment SAP

Langkah selanjutnya

• Pelajari konsep keamanan di Cloud Data Fusion.
• Pelajari cara terhubung ke resource di jaringan eksternal.
• Pelajari konsep dan fitur Cloud Data Fusion utama lainnya.
• Lihat harga Cloud Data Fusion.