Membuat instance pribadi dengan peering VPC

Halaman ini menjelaskan cara membuat instance Cloud Data Fusion dengan alamat IP internal. Anda membuat instance di jaringan VPC atau jaringan VPC Bersama.

Instance Cloud Data Fusion pribadi memiliki manfaat berikut:

• Koneksi ke instance dibuat melalui jaringan VPC pribadi di project Google Cloud Anda. Lalu lintas melalui jaringan tidak melalui internet publik.

• Instance dapat terhubung ke resource lokal Anda, seperti database relasional karena jaringan lokal Anda terhubung ke jaringan VPC pribadi Google Cloud melalui Cloud VPN atau Cloud Interconnect. Anda dapat mengakses resource lokal dengan aman, seperti database, melalui jaringan pribadi tanpa membuka akses ke Google Cloud.

Tujuan

• Menyiapkan jaringan VPC atau jaringan VPC Bersama.
• Alokasikan rentang IP yang akan digunakan untuk men-deploy instance Cloud Data Fusion di project tenant.
• Membuat instance pribadi Cloud Data Fusion.
• Siapkan peering jaringan VPC antara VPC yang berisi instance Cloud Data Fusion dan VPC yang berisi project tenant terkait.
• Untuk jaringan VPC Bersama, siapkan izin Identity and Access Management (IAM).
• Jika instance pribadi Anda menggunakan Cloud Data Fusion versi 6.2.0 atau yang lebih lama, buat aturan firewall.
• Izinkan berbagai layanan Google Cloud berkomunikasi secara internal satu sama lain dengan mengaktifkan Akses Google Pribadi di subnet Dataproc.

Sebelum memulai

• Untuk mempelajari arsitektur deployment Cloud Data Fusion, lihat bagian Networking.

Menyiapkan jaringan VPC

Buat jaringan VPC atau jaringan VPC Bersama, jika belum melakukannya.

Untuk menyiapkan jaringan VPC, Anda harus mengalokasikan rentang alamat IP.

Alokasikan rentang IP

Jaringan VPC

Jika Anda tidak menggunakan jaringan VPC Bersama, Cloud Data Fusion mengalokasikan rentang IP secara default saat Anda membuat instance.

Catatan: Jika Anda tidak menggunakan jaringan VPC Bersama, lewati bagian ini dan buka Membuat instance pribadi.

Jaringan VPC yang dibagikan

Catatan: Ikuti langkah-langkah ini hanya jika Anda menggunakan jaringan VPC Bersama.

Untuk menggunakan VPC Bersama, Anda harus mengalokasikan rentang IP untuk instance Cloud Data Fusion.

Untuk mengalokasikan rentang IP untuk instance Cloud Data Fusion, ikuti langkah-langkah berikut:

1. Di Konsol Google Cloud, buka halaman VPC networks.

   Buka VPC networks

2. Di kolom Name, klik jaringan VPC tempat Anda ingin membuat instance Cloud Data Fusion pribadi.

   Halaman Detail jaringan VPC akan terbuka.

3. Klik Koneksi layanan pribadi. Jika diminta, aktifkan Service Networking API dengan mengklik Enable API.

   

4. Klik Alokasikan rentang IP.

   1. Beri nama rentang IP Anda.

   2. Untuk Rentang IP, klik Otomatis.

      Catatan: Untuk rentang kustom, Cloud Data Fusion mendukung rentang alamat IPv4 pribadi yang valid, termasuk rentang IP non-RFC 1918. Tidak mendukung rentang alamat IP eksternal yang digunakan secara pribadi. Alokasi rentang ini tidak harus menggunakan IP dari subnet Anda, tetapi tidak boleh tumpang tindih dengan alokasi rentang apa pun yang Anda buat di masa mendatang.

   3. Tentukan ukuran awalan 22.

      Catatan: Rentang IP /22 diperlukan per instance Cloud Data Fusion dan tidak dapat dibagikan oleh beberapa instance. Rentang IP ini milik Google Cloud dan merupakan tempat komponen dan infrastruktur instance yang mendasarinya dihosting.

   4. Klik Alokasikan.

      

Membuat instance pribadi

Buat instance Cloud Data Fusion pribadi di jaringan VPC atau jaringan VPC Bersama.

Perhatian: Setelah membuat instance Cloud Data Fusion, Anda tidak dapat mengubah edisinya.

Jaringan VPC

Untuk membuat instance di jaringan VPC, gunakan konsol Google Cloud atau cURL.

Jika Anda menggunakan konsol Google Cloud untuk membuat instance pribadi, Cloud Data Fusion mengalokasikan rentang alamat IP /22 secara default. Untuk memilih rentang IP yang berbeda, Anda harus menggunakan perintah cURL.

Konsol

1. Buka halaman Create Data Fusion instance.

   Buka Create Data Fusion instance

2. Masukkan nama dan deskripsi instance untuk instance Anda.

3. Pilih Region untuk membuat instance.

4. Pilih Versi dan Edisi Cloud Data Fusion.

5. Tentukan akun layanan Dataproc yang akan digunakan untuk menjalankan pipeline Cloud Data Fusion di Dataproc. Akun Compute Engine default sudah dipilih sebelumnya.

   Catatan: Anda harus memberikan peran Identity and Access Management yang sesuai dengan kebutuhan Anda ke akun layanan. Untuk mengetahui informasi selengkapnya, lihat Memberikan izin pengguna akun layanan.

6. Luaskan menu Advanced Options, lalu klik Enable Private IP.

7. Di kolom Network, pilih jaringan untuk membuat instance.

8. Klik Create. Perlu waktu hingga 30 menit untuk menyelesaikan proses pembuatan instance.

   Catatan: Saat Cloud Data Fusion membuat instance, roda progres akan ditampilkan di samping nama instance di halaman Instances. Setelah selesai, instance akan berubah menjadi tanda centang hijau dan menunjukkan bahwa Anda dapat mulai menggunakan instance.

cURL

Untuk memudahkan, Anda dapat mengekspor variabel berikut, atau dapat langsung mengganti nilai ini ke dalam perintah berikut:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Untuk membuat instance, panggil metode create()-nya:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Ganti kode berikut:

• INSTANCE_ID: String ID yang harus diperoleh instance baru Anda.
• NETWORK_NAME: Nama jaringan VPC tempat Anda ingin membuat instance pribadi.
• IP_RANGE: Rentang IP yang Anda alokasikan. Untuk menemukan rentang IP di Google Cloud Console, buka Detail jaringan VPC > Koneksi layanan pribadi > Rentang IP internal .

Jaringan VPC yang dibagikan

Untuk membuat instance di jaringan VPC Bersama, gunakan cURL, bukan Konsol Google Cloud.

cURL

Untuk memudahkan, Anda dapat mengekspor variabel berikut. Atau, Anda dapat langsung mengganti nilai-nilai ini dalam perintah berikut:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Untuk membuat instance, panggil metode create()-nya:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Ganti kode berikut:

• INSTANCE_ID: String ID yang harus diperoleh instance baru Anda.
• SHARED_VPC_HOST_PROJECT_ID: ID project yang menghosting jaringan VPC Bersama.
• NETWORK_NAME: Nama jaringan VPC tempat Anda ingin membuat instance pribadi.
• IP_RANGE: Rentang IP yang Anda alokasikan. Untuk menemukan rentang IP di Google Cloud Console, buka halaman Detail jaringan VPC > Koneksi layanan pribadi > Rentang IP internal.

Catatan: Anda tidak dapat menggunakan rentang IP yang dialokasikan ke layanan Google Cloud lainnya. Jaringan tersebut harus sama dengan rentang IP yang dialokasikan pada langkah sebelumnya.

Catatan: Saat menggunakan jaringan VPC Bersama, nama peering jaringan VPC yang dibuat antara project Anda dan project tenant adalah kombinasi dari nama jaringan VPC dan nama instance. Panjang nama peering jaringan VPC tidak boleh lebih dari 63 karakter.

Menyiapkan peering jaringan VPC

Poin Penting: Instance Cloud Data Fusion dibuat di VPC-nya sendiri dan Anda mungkin perlu menyiapkan peering jaringan VPC agar terhubung dengan sumber dan sink yang digunakan di pipeline Anda.

Layanan Cloud Data Fusion yang Anda gunakan di lingkungan desain (misalnya: Wrangler, Connection Manager, dan Validasi Skema) memulai koneksi jaringan dari VPC project tenant ke sistem sumber. Cloud Data Fusion menggunakan peering jaringan VPC untuk membangun konektivitas jaringan ke VPC atau VPC Bersama yang berisi instance Anda. Peering jaringan VPC memungkinkan Cloud Data Fusion mengakses resource di jaringan Anda melalui alamat IP internal menggunakan VPC Anda sendiri dan kontrolnya. Agar terhubung dengan resource di jaringan lain, lihat langkah-langkah untuk kasus penggunaan koneksi.

Bagian berikut menjelaskan cara membuat konfigurasi peering antara jaringan Anda dan jaringan project tenant Cloud Data Fusion.

Mendapatkan project ID tenant

Untuk membuat konfigurasi peering, Anda memerlukan ID project tenant.

1. Buka halaman Instance Cloud Data Fusion.

   Buka Instance

2. Di kolom Instance Name, pilih instance.

3. Di halaman Instance details, salin project ID Tenant, yang diperlukan saat Anda membuat koneksi peering dalam langkah-langkah berikut.

Membuat koneksi peering

1. Buka halaman peering jaringan VPC.

   Buka VPC network peering

2. Klik Buat koneksi > Lanjutkan.

3. Pada halaman Buat koneksi peering yang terbuka, lakukan langkah berikut:

   1. Masukkan Nama koneksi peering.
   2. Untuk Your VPC network, pilih jaringan yang berisi instance Cloud Data Fusion Anda.
   3. Untuk Peered VPC network, pilih In another project.
   4. Untuk Project ID, masukkan project ID tenant yang Anda temukan sebelumnya dalam tutorial ini.

   5. Untuk VPC network name, pilih jaringan atau masukkan INSTANCE_REGION-INSTANCE_ID.

      Ganti kode berikut:

      • INSTANCE_REGION: region tempat Anda membuat instance Cloud Data Fusion.
      • INSTANCE_ID: ID instance Cloud Data Fusion Anda.
      Catatan: Saat instance dibuat, jaringan VPC bernama INSTANCE_REGION-INSTANCE_ID akan dibuat dalam project tenant. Instance Cloud Data Fusion pribadi di-deploy di VPC tersebut. Jaringan ini sudah ada dengan konfigurasi untuk di-peering dengan VPC project pelanggan Anda.

   6. Pilih versi Internet Protocol untuk koneksi peering guna menukar rute IPv4 dan IPv6 antara jaringan VPC Anda dan jaringan VPC yang di-peering. Untuk mengetahui informasi selengkapnya, lihat peering jaringan VPC.

   7. Pilih Ekspor rute kustom sehingga rute kustom dapat diekspor dari jaringan VPC Anda ke jaringan VPC tenant.

   8. Pilih apakah akan mengizinkan rute subnet dengan IPv4 publik untuk diimpor atau diekspor ke jaringan VPC Anda.

   9. Klik Create.

   Peering jaringan VPC akan aktif segera setelah dibuat.

Menyiapkan izin IAM

Jaringan VPC

Lewati langkah ini dan buka Membuat aturan firewall.

Jaringan VPC yang dibagikan

Jika membuat instance Cloud Data Fusion di jaringan VPC Bersama, Anda harus memberikan peran Compute Network User ke akun layanan berikut. Untuk memberikan izin ke semua subnet, berikan peran tersebut ke project host VPC Bersama.

Untuk mengontrol akses lebih lanjut, berikan peran ke subnet tertentu dan peran Network Viewer pada project host.

• Akun layanan Cloud Data Fusion: [e-mail]
• Akun layanan Dataproc: [e-mail]

PROJECT_NUMBER adalah nomor project Google Cloud yang berisi instance Cloud Data Fusion Anda.

Untuk mengetahui informasi selengkapnya, lihat Memberikan akses ke akun layanan yang diperlukan.

Membuat aturan firewall

Buat aturan firewall di jaringan VPC Anda yang mengizinkan koneksi SSH masuk dari rentang IP yang Anda tentukan saat membuat instance Cloud Data Fusion pribadi.

Langkah ini diperlukan untuk Cloud Data Fusion versi yang lebih lama dari 6.2.0. Hal ini memungkinkan komunikasi antara cluster Cloud Data Fusion dan Dataproc yang menjalankan pipeline.

Anda dapat membuat aturan firewall dengan menggunakan Google Cloud Console atau menggunakan gcloud CLI.

Konsol

Lihat Membuat aturan firewall.

gcloud

Jalankan perintah berikut:

gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID

Ganti kode berikut:

• FIREWALL_NAME: Nama aturan firewall yang akan dibuat.
• IP_RANGE: Rentang IP yang Anda alokasikan.
• NETWORK_NAME: Nama jaringan tempat aturan firewall dilampirkan. Ini adalah nama jaringan VPC tempat Anda membuat instance pribadi.
• PROJECT_ID: ID project yang menghosting jaringan VPC.

Langkah-langkah untuk kasus penggunaan koneksi

Bagian berikut menjelaskan kasus penggunaan terkait koneksi untuk instance pribadi.

Mengaktifkan Akses Google Pribadi

Untuk mengakses resource melalui alamat IP internal, Cloud Data Fusion harus membuat cluster Dataproc dan menjalankan pipeline data di subnet yang memiliki Akses Google Pribadi. Anda harus mengaktifkan Akses Google Pribadi untuk subnet yang berisi cluster Dataproc.

• Jika hanya ada satu subnet di region tempat cluster Dataproc diluncurkan, cluster akan diluncurkan di subnet tersebut.

• Jika ada beberapa subnet di satu region, Anda harus mengonfigurasi Cloud Data Fusion untuk memilih subnet dengan Akses Google Pribadi untuk meluncurkan cluster Dataproc.

  Perhatian: Jika Akses Google Pribadi tidak diaktifkan di subnet tersebut, operasi pipeline akan gagal. Untuk menentukan subnet setelah Anda membuat instance, edit profil komputasi.

Guna mengaktifkan Akses Google Pribadi untuk subnet, lihat Konfigurasi Akses Google Pribadi.

Opsional: Terhubung ke sumber lain

Setelah membuat instance pribadi di Cloud Data Fusion, Anda dapat terhubung ke sumber lain, seperti kasus penggunaan berikut:

• Database dan sistem lokal yang berjalan di jaringan VPC lain
• Layanan Google Cloud lainnya yang berjalan di jaringannya sendiri dalam mode pribadi, seperti Cloud SQL
• Sumber di internet publik

Opsional: Mengaktifkan Peering DNS

Aktifkan Peering DNS dalam kasus berikut:

• Saat Cloud Data Fusion terhubung ke sistem melalui nama host, bukan alamat IP
• Saat sistem target di-deploy di belakang load balancer, seperti yang dilakukan di beberapa deployment SAP

Langkah selanjutnya

• Pelajari konsep keamanan di Cloud Data Fusion.
• Pelajari cara menghubungkan ke resource di jaringan eksternal.
• Pelajari konsep dan fitur utama Cloud Data Fusion lainnya.
• Lihat pricing Cloud Data Fusion.