Mengonfigurasi jaringan IP pribadi

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini memberikan informasi tentang cara mengonfigurasi jaringan project Google Cloud untuk lingkungan IP Pribadi.

Untuk lingkungan IP Pribadi, Cloud Composer hanya menetapkan alamat IP pribadi (RFC 1918) ke VM Google Kubernetes Engine dan VM Cloud SQL terkelola di lingkungan Anda.

Sebagai opsi, Anda juga dapat menggunakan alamat IP publik yang digunakan secara pribadi dan agen Penyamaran IP untuk menghemat ruang alamat IP dan menggunakan alamat non-RFC 1918.

Untuk mengetahui informasi tentang cara menghubungkan ke resource di lingkungan Anda, lihat IP Pribadi.

Lingkungan dengan peering VPC dan Private Service Connect

Secara default, Cloud Composer 2 menggunakan Private Service Connect, sehingga lingkungan IP pribadi Anda berkomunikasi secara internal tanpa menggunakan peering VPC, kecuali jika Anda menentukan sebaliknya saat membuat lingkungan.

Sebaiknya gunakan lingkungan dengan Private Service Connect jika Anda tidak memiliki persyaratan khusus untuk menggunakan lingkungan dengan peering VPC.

Sebelum memulai

• Pastikan Anda memiliki izin akun layanan dan pengguna yang sesuai untuk membuat lingkungan.
• Pastikan Kebijakan organisasi yang tidak kompatibel tidak ditentukan dalam project Anda.

Memeriksa persyaratan jaringan

Pastikan jaringan VPC project Anda memenuhi persyaratan berikut:

• Pastikan tidak ada konflik blok IP pribadi. Jika jaringan VPC Anda dan peer VPC yang dibuatnya memiliki blok IP yang tumpang-tindih dengan jaringan VPC di project tenant yang dikelola Google, Cloud Composer tidak dapat membuat lingkungan Anda. Lihat tabel rentang IP default untuk mengetahui default yang digunakan di setiap region.

• Pastikan ada rentang IP sekunder yang memadai untuk pod dan layanan GKE Cloud Composer. GKE menelusuri rentang IP sekunder untuk Alias IP. Jika GKE tidak dapat menemukan rentang, Cloud Composer tidak dapat membuat lingkungan Anda.

• Pastikan jumlah rentang sekunder di subnetwork Anda tidak melebihi 30. Pertimbangkan hal berikut:

  • Cluster GKE untuk lingkungan IP Pribadi Anda membuat dua rentang sekunder di subnetwork. Anda dapat membuat beberapa subnetwork di region yang sama untuk jaringan VPC yang sama.
  • Jumlah maksimum rentang sekunder yang didukung adalah 30. Setiap lingkungan IP Pribadi memerlukan dua rentang sekunder untuk pod dan layanan GKE Cloud Composer.

• Pastikan jaringan project Anda dapat mengakomodasi batas jumlah maksimum koneksi ke satu jaringan VPC. Jumlah maksimum lingkungan IP Pribadi yang dapat Anda buat bergantung pada jumlah koneksi peering VPC yang sudah ada di jaringan VPC Anda.

  • Setiap lingkungan IP Pribadi dengan PSC menggunakan satu peering VPC per lingkungan. Peering VPC ini dibuat oleh cluster GKE di lingkungan Anda, dan cluster GKE dapat menggunakan kembali koneksi ini. Untuk lingkungan IP Pribadi dengan PSC, setiap lokasi dapat mendukung maksimum 75 cluster pribadi.

  • Setiap lingkungan IP Pribadi dengan peering VPC menggunakan maksimal dua peering VPC per lingkungan. Cloud Composer membuat satu peering VPC untuk jaringan project tenant. Peering kedua dibuat oleh cluster GKE di lingkungan Anda, dan cluster GKE dapat menggunakan kembali koneksi ini.

Memilih jaringan, subnetwork, dan rentang jaringan

Pilih rentang jaringan untuk lingkungan IP Pribadi Anda (atau gunakan rentang default). Anda akan menggunakan rentang jaringan ini nanti saat membuat lingkungan IP Pribadi.

Untuk membuat lingkungan IP Pribadi, Anda harus memiliki informasi berikut:

• ID jaringan VPC Anda
• ID subnetwork VPC Anda
• Dua rentang IP sekunder di subnetwork VPC Anda:
  • Rentang IP sekunder untuk pod
  • Rentang IP sekunder untuk layanan

• Rentang IP untuk komponen lingkungan:

  Jika lingkungan Anda menggunakan Private Service Connect:

  • Rentang IP Bidang Kontrol GKE. Rentang IP untuk bidang kontrol GKE.

    Jika Anda menentukan rentang IP Bidang Kontrol GKE untuk lingkungan, GKE akan membuat subjaringan baru dalam rentang ini untuk menyediakan alamat IP guna berkomunikasi dengan Bidang Kontrol GKE. Jika tidak, subnetwork yang ditentukan dalam rentang subnetwork koneksi Cloud Composer akan digunakan.

  • Subjaringan koneksi Cloud Composer. Rentang IP untuk subnetwork koneksi Cloud Composer. Anda hanya dapat menentukan rentang dua alamat IP. Rentang ini dapat digunakan oleh beberapa lingkungan dalam project Anda. Secara default, rentang ini adalah subnetwork lingkungan (ID subnetwork VPC).

  Jika lingkungan Anda menggunakan peering VPC:

  • Rentang IP Bidang Kontrol GKE. Rentang IP untuk bidang kontrol GKE.
  • Rentang IP untuk jaringan tenant Cloud Composer. Rentang IP untuk jaringan tenant Cloud Composer. Jaringan ini menghosting komponen proxy SQL lingkungan Anda.

  • Rentang IP Cloud SQL. Rentang IP untuk instance Cloud SQL.

    Perhatian: Rentang 172.17.0.0/16 disediakan di Cloud SQL.

Lihat tabel rentang IP default untuk default yang digunakan di setiap wilayah.

Rentang IP default

Lingkungan dengan Private Service Connect

Catatan: Jika Anda menggunakan rentang IP bidang kontrol GKE kustom, pastikan rentang tersebut tidak tumpang-tindih dengan rentang untuk endpoint PSC (subjaringan koneksi Cloud Composer).

Wilayah	Rentang IP bidang kontrol GKE
africa-south1	172.16.64.0/23
asia-east1	172.16.42.0/23
asia-east2	172.16.0.0/23
asia-northeast1	172.16.2.0/23
asia-northeast2	172.16.32.0/23
asia-northeast3	172.16.30.0/23
asia-south1	172.16.4.0/23
asia-south2	172.16.50.0/23
asia-southeast1	172.16.40.0/23
asia-southeast2	172.16.44.0/23
australia-southeast1	172.16.6.0/23
australia-southeast2	172.16.56.0/23
europe-central2	172.16.36.0/23
europe-north1	172.16.48.0/23
europe-southwest1	172.16.58.0/23
europe-west1	172.16.8.0/23
europe-west10	172.16.62.0/23
europe-west12	172.16.62.0/23
europe-west2	172.16.10.0/23
europe-west3	172.16.12.0/23
europe-west4	172.16.42.0/23
europe-west6	172.16.14.0/23
europe-west8	172.16.60.0/23
europe-west9	172.16.46.0/23
me-central1	172.16.58.0/23
me-west1	172.16.54.0/23
northamerica-northeast1	172.16.16.0/23
northamerica-northeast2	172.16.46.0/23
southamerica-east1	172.16.18.0/23
Southamerica-west1	172.16.58.0/23
us-central1	172.16.20.0/23
us-east1	172.16.22.0/23
us-east4	172.16.24.0/23
us-east5	172.16.52.0/23
us-south1	172.16.56.0/23
us-west1	172.16.38.0/23
us-west2	172.16.34.0/23
us-west3	172.16.26.0/23
us-west4	172.16.28.0/23

Lingkungan dengan peering VPC

Wilayah	Rentang IP bidang kontrol GKE	Rentang IP jaringan tenant Cloud Composer	Rentang IP Cloud SQL
africa-south1	172.16.64.0/23	172.31.223.0/24	10.0.0.0/12
asia-east1	172.16.42.0/23	172.31.255.0/24	10.0.0.0/12
asia-east2	172.16.0.0/23	172.31.255.0/24	10.0.0.0/12
asia-northeast1	172.16.2.0/23	172.31.254.0/24	10.0.0.0/12
asia-northeast2	172.16.32.0/23	172.31.239.0/24	10.0.0.0/12
asia-northeast3	172.16.30.0/23	172.31.240.0/24	10.0.0.0/12
asia-south1	172.16.4.0/23	172.31.253.0/24	10.0.0.0/12
asia-south2	172.16.50.0/23	172.31.230.0/24	10.0.0.0/12
asia-southeast1	172.16.40.0/23	172.31.235.0/24	10.0.0.0/12
asia-southeast2	172.16.44.0/23	172.31.233.0/24	10.0.0.0/12
australia-southeast1	172.16.6.0/23	172.31.252.0/24	10.0.0.0/12
australia-southeast2	172.16.56.0/23	172.31.227.0/24	10.0.0.0/12
europe-central2	172.16.36.0/23	172.31.237.0/24	10.0.0.0/12
europe-north1	172.16.48.0/23	172.31.231.0/24	10.0.0.0/12
europe-southwest1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
europe-west1	172.16.8.0/23	172.31.251.0/24	10.0.0.0/12
europe-west10	172.16.62.0/23	172.31.224.0/24	10.0.0.0/12
europe-west12	172.16.62.0/23	172.31.224.0/24	10.0.0.0/12
europe-west2	172.16.10.0/23	172.31.250.0/24	10.0.0.0/12
europe-west3	172.16.12.0/23	172.31.249.0/24	10.0.0.0/12
europe-west4	172.16.42.0/23	172.31.234.0/24	10.0.0.0/12
europe-west6	172.16.14.0/23	172.31.248.0/24	10.0.0.0/12
europe-west8	172.16.60.0/23	172.31.225.0/24	10.0.0.0/12
europe-west9	172.16.46.0/23	172.31.232.0/24	10.0.0.0/12
me-central1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
me-west1	172.16.54.0/23	172.31.228.0/24	10.0.0.0/12
northamerica-northeast1	172.16.16.0/23	172.31.247.0/24	10.0.0.0/12
northamerica-northeast2	172.16.46.0/23	172.31.232.0/24	10.0.0.0/12
southamerica-east1	172.16.18.0/23	172.31.246.0/24	10.0.0.0/12
Southamerica-west1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
us-central1	172.16.20.0/23	172.31.245.0/24	10.0.0.0/12
us-east1	172.16.22.0/23	172.31.244.0/24	10.0.0.0/12
us-east4	172.16.24.0/23	172.31.243.0/24	10.0.0.0/12
us-east5	172.16.52.0/23	172.31.229.0/24	10.0.0.0/12
us-south1	172.16.56.0/23	172.31.227.0/24	10.0.0.0/12
us-west1	172.16.38.0/23	172.31.236.0/24	10.0.0.0/12
us-west2	172.16.34.0/23	172.31.238.0/24	10.0.0.0/12
us-west3	172.16.26.0/23	172.31.242.0/24	10.0.0.0/12
us-west4	172.16.28.0/23	172.31.241.0/24	10.0.0.0/12

(Opsional) Mengonfigurasi konektivitas ke Google API dan layanan Google

Sebagai opsi, Anda dapat merutekan semua traffic ke Google API dan layanan melalui beberapa alamat IP yang termasuk dalam domain private.googleapis.com. Dalam konfigurasi ini, lingkungan Anda mengakses Google API dan layanan Google melalui alamat IP yang hanya dapat dirutekan dari dalam Google Cloud.

Jika lingkungan IP Pribadi Anda juga menggunakan Kontrol Layanan VPC, gunakan petunjuk untuk lingkungan dengan Kontrol Layanan VPC.

Lingkungan Cloud Composer menggunakan domain berikut:

• *.googleapis.com digunakan untuk mengakses layanan Google lainnya.

• *.composer.cloud.google.com digunakan untuk membuat server web Airflow di lingkungan Anda dapat diakses. Aturan ini harus diterapkan sebelum Anda membuat lingkungan.

  • Atau, Anda dapat membuat aturan untuk wilayah tertentu. Untuk melakukannya, gunakan REGION.composer.cloud.google.com. Ganti REGION dengan region tempat lingkungan berada, misalnya, us-central1.

• (Opsional) *.composer.googleusercontent.com digunakan saat mengakses server web Airflow di lingkungan Anda. Aturan ini hanya diperlukan jika Anda mengakses server web Airflow dari instance yang berjalan di jaringan VPC dan tidak diperlukan jika tidak. Skenario umum untuk aturan ini adalah saat Anda ingin memanggil Airflow REST API dari dalam jaringan VPC.

  • Atau, Anda dapat membuat aturan untuk lingkungan tertentu. Untuk melakukannya, gunakan ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com . Ganti ENVIRONMENT_WEB_SERVER_NAME dengan bagian unik dari URL UI Airflow lingkungan Anda, misalnya, bffe6ce6c4304c55acca0e57be23128c-dot-us-central1.

• *.pkg.dev digunakan untuk mendapatkan image lingkungan, seperti saat membuat atau memperbarui lingkungan.

• *.gcr.io GKE memerlukan konektivitas ke domain Container Registry, terlepas dari versi Cloud Composer.

Catatan: Jika Anda tidak mengonfigurasi aturan DNS untuk Google API dan layanan Google, aturan tersebut akan di-resolve menggunakan opsi domain untuk domain default.

Konfigurasi konektivitas ke endpoint private.googleapis.com:

Domain	Nama DNS	Data CNAME	Data A
*.googleapis.com	googleapis.com.	Nama DNS: *.googleapis.com. Jenis data resource: CNAME Nama kanonis: googleapis.com.	Jenis data resource: A Alamat IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.cloud.google.com	composer.cloud.google.com.	Nama DNS: *.composer.cloud.google.com. Jenis data resource: CNAME Nama kanonis: composer.cloud.google.com.	Jenis data resource: A Alamat IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.googleusercontent.com (opsional, lihat deskripsi)	composer.googleusercontent.com.	Nama DNS: *.composer.googleusercontent.com. Jenis data resource: CNAME Nama kanonis: composer.googleusercontent.com.	Jenis data resource: A Alamat IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.pkg.dev	pkg.dev.	Nama DNS: *.pkg.dev. Jenis data resource: CNAME Nama kanonis: pkg.dev.	Jenis data resource: A Alamat IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.gcr.io	gcr.io.	Nama DNS: *.gcr.io. Jenis data resource: CNAME Nama kanonis: gcr.io.	Jenis data resource: A Alamat IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Untuk membuat aturan DNS:

1. Buat zona DNS baru dan gunakan nama DNS sebagai nama DNS zona ini.

   Contoh: pkg.dev.

2. Tambahkan kumpulan data untuk Data CNAME.

   Contoh:

   • Nama DNS: *.pkg.dev.
   • Jenis data resource: CNAME
   • Nama kanonis: pkg.dev.

3. Tambahkan kumpulan data dengan untuk Data A:

   Contoh:

   • Jenis data resource: A
   • Alamat IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Untuk mengetahui informasi selengkapnya, lihat Menyiapkan konektivitas pribadi ke Google API dan layanan.

(Opsional) Mengonfigurasi aturan firewall

Lakukan langkah ini hanya jika project Anda memiliki aturan firewall non-default, seperti aturan yang mengganti aturan firewall tersirat, atau mengubah aturan yang sudah terisi otomatis di jaringan default.

Misalnya, Cloud Composer mungkin gagal membuat lingkungan jika Anda memiliki aturan firewall yang menolak semua traffic keluar. Untuk menghindari masalah, tentukan aturan allow selektif yang mengikuti daftar dan memiliki prioritas lebih tinggi daripada aturan deny global.

Penting: Bergantung pada cara aturan firewall dikonfigurasi dalam project Anda, daftar aturan berikut mungkin redundan. Misalnya, jika aturan firewall Anda hanya memblokir traffic masuk, Anda tidak memerlukan aturan keluar yang tercantum.

Konfigurasi jaringan VPC Anda untuk mengizinkan traffic dari lingkungan Anda:

• Lihat Menggunakan aturan firewall untuk mempelajari cara memeriksa, menambahkan, dan memperbarui aturan untuk jaringan VPC Anda.
• Gunakan Alat Konektivitas untuk memvalidasi konektivitas antar-rentang IP.
• Anda dapat menggunakan tag jaringan untuk membatasi akses lebih lanjut. Anda dapat menetapkan tag ini saat membuat lingkungan.

Deskripsi	Arah	Tindakan	Sumber atau Tujuan	Protokol	Port
DNS	Keluar	Izinkan	Tujuan (0.0.0.0/0) atau alamat IP server DNS apa pun	TCP, UDP	53
Google API dan layanan	Keluar	Izinkan	Rentang alamat IP domain yang Anda pilih untuk Google API dan layanan Google. Lihat Alamat IP untuk domain default jika Anda menggunakan default.	TCP	443
Node cluster Lingkungan	Keluar	Izinkan	Rentang alamat IP utama subnetwork lingkungan	TCP, UDP	semua
Pod cluster lingkungan	Keluar	Izinkan	Rentang alamat IP sekunder untuk Pod di subnetwork lingkungan	TCP, UDP	semua
Bidang Kontrol cluster lingkungan	Keluar	Izinkan	Rentang IP Bidang Kontrol GKE	TCP, UDP	semua
(Jika lingkungan Anda menggunakan Private Service Connect) Sub-jaringan koneksi	Keluar	Izinkan	Rentang subjaringan koneksi Cloud Composer	TCP	3306, 3307
(Jika lingkungan Anda menggunakan VPC peering) Jaringan tenant	Keluar	Izinkan	Rentang IP jaringan tenant Cloud Composer	TCP	3306, 3307

Perhatian: Layanan GKE secara otomatis membuat sejumlah aturan firewall ingress dan egress sehingga cluster lingkungan Anda berfungsi dengan benar (seperti aturan ingress dan egress untuk Health Check Google Cloud). Lihat halaman Aturan Firewall GKE untuk mengetahui informasi selengkapnya dan jangan menghapus atau memblokir aturan firewall yang dibuat oleh layanan GKE.

Untuk mendapatkan rentang IP:

• Rentang alamat Pod, Layanan, dan Bidang Kontrol tersedia di halaman Cluster di cluster lingkungan Anda:

  1. Di konsol Google Cloud, buka halaman Environments.

     Buka Lingkungan

  2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

  3. Buka tab Konfigurasi lingkungan.

  4. Ikuti link lihat detail cluster.

• Anda dapat melihat rentang IP jaringan tenant Cloud Composer di tab Konfigurasi lingkungan.

• Anda dapat melihat ID subjaringan lingkungan dan ID subjaringan koneksi Cloud Composer di tab Konfigurasi lingkungan. Untuk mendapatkan rentang IP untuk subjaringan, buka halaman VPC Networks, lalu klik nama jaringan untuk melihat detailnya:

  Buka Jaringan VPC

Mengonfigurasi setelan server proxy

Anda dapat menetapkan variabel lingkungan HTTP_PROXY dan HTTPS_PROXY di lingkungan Anda. Variabel Linux standar ini digunakan oleh klien web yang berjalan dalam penampung cluster lingkungan Anda untuk merutekan traffic melalui proxy yang ditentukan.

Secara default, variabel NO_PROXY ditetapkan ke daftar domain Google sehingga domain tersebut dikecualikan dari proxy: .google.com,.googleapis.com,metadata.google.internal. Konfigurasi ini memungkinkan pembuatan lingkungan dengan variabel lingkungan HTTP_PROXY dan HTTPS_PROXY yang ditetapkan jika proxy tidak dikonfigurasi untuk menangani traffic ke layanan Google.