Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Halaman ini memberikan informasi tentang cara mengonfigurasi jaringan project Google Cloud untuk lingkungan IP Pribadi.
Untuk lingkungan IP Pribadi, Cloud Composer hanya menetapkan alamat IP pribadi (RFC 1918) ke VM Google Kubernetes Engine dan VM Cloud SQL terkelola di lingkungan Anda.
Sebagai opsi, Anda juga dapat menggunakan alamat IP publik yang digunakan secara pribadi dan agen Penyamaran IP untuk menghemat ruang alamat IP dan menggunakan alamat non-RFC 1918.
Untuk mengetahui informasi tentang cara menghubungkan ke resource di lingkungan Anda, lihat IP Pribadi.
Sebelum memulai
- Pastikan Anda memiliki izin akun layanan dan pengguna yang sesuai untuk membuat lingkungan.
- Pastikan Kebijakan organisasi yang tidak kompatibel tidak ditentukan dalam project Anda.
Memeriksa persyaratan jaringan
Pastikan jaringan VPC project Anda memenuhi persyaratan berikut:
Pastikan tidak ada konflik blok IP pribadi. Jika jaringan VPC Anda dan peer VPC yang dibuatnya memiliki blok IP yang tumpang-tindih dengan jaringan VPC di project tenant yang dikelola Google, Cloud Composer tidak dapat membuat lingkungan Anda. Lihat tabel rentang IP default untuk mengetahui default yang digunakan di setiap region.
Pastikan ada rentang IP sekunder yang memadai untuk pod dan layanan GKE Cloud Composer. GKE menelusuri rentang IP sekunder untuk Alias IP. Jika GKE tidak dapat menemukan rentang, Cloud Composer tidak dapat membuat lingkungan Anda.
Pastikan jumlah rentang sekunder di subnetwork Anda tidak melebihi 30. Pertimbangkan hal berikut:
- Cluster GKE untuk lingkungan IP Pribadi Anda membuat dua rentang sekunder di subnetwork. Anda dapat membuat beberapa subnetwork di region yang sama untuk jaringan VPC yang sama.
- Jumlah maksimum rentang sekunder yang didukung adalah 30. Setiap lingkungan IP Pribadi memerlukan dua rentang sekunder untuk pod dan layanan GKE Cloud Composer.
Pastikan jaringan project Anda dapat mengakomodasi batas jumlah maksimum koneksi ke satu jaringan VPC. Jumlah maksimum lingkungan IP Pribadi yang dapat Anda buat bergantung pada jumlah koneksi peering VPC yang sudah ada di jaringan VPC Anda.
Setiap lingkungan IP Pribadi menggunakan maksimal dua peering VPC per lingkungan. Cloud Composer membuat satu peering VPC untuk jaringan project tenant. Peering kedua dibuat oleh cluster GKE di lingkungan Anda, dan cluster GKE dapat menggunakan kembali koneksi ini.
Memilih jaringan, subnetwork, dan rentang jaringan
Pilih rentang jaringan untuk lingkungan IP Pribadi Anda (atau gunakan rentang default). Anda akan menggunakan rentang jaringan ini nanti saat membuat lingkungan IP Pribadi.
Untuk membuat lingkungan IP Pribadi, Anda harus memiliki informasi berikut:
- ID jaringan VPC Anda
- ID subnetwork VPC Anda
- Dua rentang IP sekunder di subnetwork VPC Anda:
- Rentang IP sekunder untuk pod
- Rentang IP sekunder untuk layanan
Rentang IP untuk komponen lingkungan:
- Rentang IP Bidang Kontrol GKE. Rentang IP untuk
bidang kontrol GKE.
- Rentang IP server web.
- Rentang IP server web. Rentang IP untuk instance server web Airflow.
Rentang IP Cloud SQL. Rentang IP untuk instance Cloud SQL.
- Rentang IP Bidang Kontrol GKE. Rentang IP untuk
bidang kontrol GKE.
Lihat tabel rentang IP default untuk default yang digunakan di setiap wilayah.
Rentang IP default
Wilayah | Rentang IP bidang kontrol GKE | Rentang IP server web | Rentang IP Cloud SQL |
---|---|---|---|
africa-south1 | 172.16.64.0/23 | 172.31.223.0/24 | 10.0.0.0/12 |
asia-east1 | 172.16.42.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-east2 | 172.16.0.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-northeast1 | 172.16.2.0/23 | 172.31.254.0/24 | 10.0.0.0/12 |
asia-northeast2 | 172.16.32.0/23 | 172.31.239.0/24 | 10.0.0.0/12 |
asia-northeast3 | 172.16.30.0/23 | 172.31.240.0/24 | 10.0.0.0/12 |
asia-south1 | 172.16.4.0/23 | 172.31.253.0/24 | 10.0.0.0/12 |
asia-south2 | 172.16.50.0/23 | 172.31.230.0/24 | 10.0.0.0/12 |
asia-southeast1 | 172.16.40.0/23 | 172.31.235.0/24 | 10.0.0.0/12 |
asia-southeast2 | 172.16.44.0/23 | 172.31.233.0/24 | 10.0.0.0/12 |
australia-southeast1 | 172.16.6.0/23 | 172.31.252.0/24 | 10.0.0.0/12 |
australia-southeast2 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
europe-central2 | 172.16.36.0/23 | 172.31.237.0/24 | 10.0.0.0/12 |
europe-north1 | 172.16.48.0/23 | 172.31.231.0/24 | 10.0.0.0/12 |
europe-southwest1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
europe-west1 | 172.16.8.0/23 | 172.31.251.0/24 | 10.0.0.0/12 |
europe-west10 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west12 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west2 | 172.16.10.0/23 | 172.31.250.0/24 | 10.0.0.0/12 |
europe-west3 | 172.16.12.0/23 | 172.31.249.0/24 | 10.0.0.0/12 |
europe-west4 | 172.16.42.0/23 | 172.31.234.0/24 | 10.0.0.0/12 |
europe-west6 | 172.16.14.0/23 | 172.31.248.0/24 | 10.0.0.0/12 |
europe-west8 | 172.16.60.0/23 | 172.31.225.0/24 | 10.0.0.0/12 |
europe-west9 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
me-central1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
me-central2 | 172.16.64.0/23 | 172.31.223.0/24 | 10.0.0.0/12 |
me-west1 | 172.16.54.0/23 | 172.31.228.0/24 | 10.0.0.0/12 |
northamerica-northeast1 | 172.16.16.0/23 | 172.31.247.0/24 | 10.0.0.0/12 |
northamerica-northeast2 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
northamerica-south1 | 172.16.68.0/23 | 172.31.221.0/24 | 10.0.0.0/12 |
southamerica-east1 | 172.16.18.0/23 | 172.31.246.0/24 | 10.0.0.0/12 |
Southamerica-west1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
us-central1 | 172.16.20.0/23 | 172.31.245.0/24 | 10.0.0.0/12 |
us-east1 | 172.16.22.0/23 | 172.31.244.0/24 | 10.0.0.0/12 |
us-east4 | 172.16.24.0/23 | 172.31.243.0/24 | 10.0.0.0/12 |
us-east5 | 172.16.52.0/23 | 172.31.229.0/24 | 10.0.0.0/12 |
us-south1 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
us-west1 | 172.16.38.0/23 | 172.31.236.0/24 | 10.0.0.0/12 |
us-west2 | 172.16.34.0/23 | 172.31.238.0/24 | 10.0.0.0/12 |
us-west3 | 172.16.26.0/23 | 172.31.242.0/24 | 10.0.0.0/12 |
us-west4 | 172.16.28.0/23 | 172.31.241.0/24 | 10.0.0.0/12 |
(Opsional) Mengonfigurasi konektivitas ke Google API dan layanan Google
Sebagai opsi, Anda dapat merutekan semua traffic ke Google API dan layanan melalui beberapa alamat IP yang termasuk dalam domain private.googleapis.com
. Dalam konfigurasi ini, lingkungan Anda mengakses Google API dan layanan Google melalui alamat IP yang hanya dapat dirutekan dari dalam Google Cloud.
Jika lingkungan IP Pribadi Anda juga menggunakan Kontrol Layanan VPC, gunakan petunjuk untuk lingkungan dengan Kontrol Layanan VPC.
Lingkungan Cloud Composer menggunakan domain berikut:
*.googleapis.com
digunakan untuk mengakses layanan Google lainnya.*.pkg.dev
digunakan untuk mendapatkan image lingkungan, seperti saat membuat atau memperbarui lingkungan.*.gcr.io
GKE memerlukan konektivitas ke domain Container Registry, terlepas dari versi Cloud Composer.
Konfigurasi konektivitas ke endpoint private.googleapis.com
:
Domain | Nama DNS | Data CNAME | Data A |
---|---|---|---|
*.googleapis.com
|
googleapis.com. |
Nama DNS: *.googleapis.com. Jenis data resource: CNAME Nama kanonis: googleapis.com. |
Jenis data resource: A Alamat IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.pkg.dev
|
pkg.dev. |
Nama DNS: *.pkg.dev. Jenis data resource: CNAME Nama kanonis: pkg.dev. |
Jenis data resource: A Alamat IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.gcr.io
|
gcr.io. |
Nama DNS: *.gcr.io. Jenis data resource: CNAME Nama kanonis: gcr.io. |
Jenis data resource: A Alamat IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
Untuk membuat aturan DNS:
Buat zona DNS baru dan gunakan nama DNS sebagai nama DNS zona ini.
Contoh:
pkg.dev.
Tambahkan kumpulan data untuk Data CNAME.
Contoh:
- Nama DNS:
*.pkg.dev.
- Jenis data resource:
CNAME
- Nama kanonis:
pkg.dev.
- Nama DNS:
Tambahkan kumpulan data dengan untuk Data A:
Contoh:
- Jenis data resource:
A
- Alamat IPv4:
199.36.153.8
,199.36.153.9
,199.36.153.10
,199.36.153.11
- Jenis data resource:
Untuk mengetahui informasi selengkapnya, lihat Menyiapkan konektivitas pribadi ke Google API dan layanan.
(Opsional) Mengonfigurasi aturan firewall
Lakukan langkah ini hanya jika project Anda memiliki aturan firewall non-default, seperti aturan yang mengganti aturan firewall tersirat, atau mengubah aturan yang sudah terisi otomatis di jaringan default.
Misalnya, Cloud Composer mungkin gagal membuat lingkungan jika Anda memiliki aturan firewall yang menolak semua traffic keluar. Untuk menghindari masalah,
tentukan aturan allow
selektif yang mengikuti daftar dan memiliki prioritas lebih tinggi
daripada aturan deny
global.
Konfigurasi jaringan VPC Anda untuk mengizinkan traffic dari lingkungan Anda:
- Lihat Menggunakan aturan firewall untuk mempelajari cara memeriksa, menambahkan, dan memperbarui aturan untuk jaringan VPC Anda.
- Gunakan Alat Konektivitas untuk memvalidasi konektivitas antar-rentang IP.
- Anda dapat menggunakan tag jaringan untuk membatasi akses lebih lanjut. Anda dapat menetapkan tag ini saat membuat lingkungan.
Deskripsi | Arah | Tindakan | Sumber atau Tujuan | Protokol | Port |
---|---|---|---|---|---|
DNS | Keluar | Izinkan | Tujuan (0.0.0.0/0 ) atau alamat IP server DNS apa pun |
TCP, UDP | 53 |
Google API dan layanan | Keluar | Izinkan | Rentang alamat IP domain yang Anda pilih untuk Google API dan layanan Google. Lihat Alamat IP untuk domain default jika Anda menggunakan default. | TCP | 443 |
Node cluster Lingkungan | Keluar | Izinkan | Rentang alamat IP utama subnetwork lingkungan | TCP, UDP | semua |
Pod cluster lingkungan | Keluar | Izinkan | Rentang alamat IP sekunder untuk Pod di subnetwork lingkungan | TCP, UDP | semua |
Bidang Kontrol cluster lingkungan | Keluar | Izinkan | Rentang IP Bidang Kontrol GKE | TCP, UDP | semua |
Server web | Keluar | Izinkan | Rentang IP jaringan server web | TCP | 3306, 3307 |
Untuk mendapatkan rentang IP:
Rentang alamat Pod, Layanan, dan Bidang Kontrol tersedia di halaman Cluster di cluster lingkungan Anda:
Di konsol Google Cloud, buka halaman Environments.
Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.
Buka tab Konfigurasi lingkungan.
Ikuti link lihat detail cluster.
Anda dapat melihat rentang IP server web lingkungan di tab Environment configuration.
Anda dapat melihat ID jaringan lingkungan di tab Konfigurasi lingkungan. Untuk mendapatkan rentang IP untuk subjaringan, buka halaman VPC Networks, lalu klik nama jaringan untuk melihat detailnya:
Konfigurasi cluster native VPC
Cloud Composer mendukung cluster GKE native VPC di lingkungan Anda.
Selama pembuatan lingkungan, Anda dapat mengaktifkan VPC Native (menggunakan IP alias) dan mengonfigurasi jaringan, seperti alokasi IP, tanpa mengaktifkan IP pribadi.
Karena cluster native VPC diperlukan agar tugas Airflow dapat berkomunikasi dengan VM lain yang dapat dijangkau melalui IP pribadi, Anda juga harus mengaktifkan VPC Native untuk mengonfigurasi lingkungan IP pribadi.
Mengonfigurasi setelan server proxy
Anda dapat menetapkan variabel lingkungan HTTP_PROXY
dan HTTPS_PROXY
di lingkungan Anda. Variabel Linux standar ini digunakan oleh klien web
yang berjalan dalam penampung cluster lingkungan Anda untuk merutekan traffic melalui
proxy yang ditentukan.
Secara default, variabel NO_PROXY
ditetapkan ke daftar domain Google sehingga
domain tersebut dikecualikan dari proxy:
.google.com,.googleapis.com,metadata.google.internal
. Konfigurasi ini
memungkinkan pembuatan lingkungan dengan variabel lingkungan HTTP_PROXY
dan
HTTPS_PROXY
yang ditetapkan jika proxy tidak dikonfigurasi
untuk menangani traffic ke layanan Google.