Bagian ini menjelaskan arsitektur tingkat tinggi untuk menetapkan kontrol ekspor dari instance Cloud Data Fusion pribadi selama fase pengembangan dan fase eksekusi pipeline.
Diagram arsitektur sistem berikut menunjukkan cara instance Cloud Data Fusion pribadi terhubung dengan internet publik saat Anda mengembangkan pipeline:
Anda dapat mengontrol koneksi ke aplikasi SaaS dan layanan cloud publik pihak ketiga selama pengembangan atau eksekusi pipeline, dengan merutekan semua traffic keluar melalui project pelanggan. Proses ini menggunakan resource berikut:
Rute jaringan VPC kustom: Jaringan VPC kustom merutekan traffic melalui rute kustom yang diimpor ke VM gateway, yang diekspor ke VPC project tenant menggunakan peering VPC.
Proxy VM: Proxy VM merutekan traffic keluar dari Google Cloud dari project tenant Cloud Data Fusion ke tujuan yang ditentukan melalui internet publik. Anda membuat dan mengelola VM gateway di project pelanggan. Sebaiknya konfigurasikan dalam penyiapan Ketersediaan Tinggi (HA) menggunakan Load Balancer Internal (ILB). Jika memiliki beberapa instance Cloud Data Fusion pribadi yang menggunakan jaringan VPC yang sama, Anda dapat menggunakan kembali VM yang sama dalam VPC.
Sebelum memulai
Anda dapat terhubung ke sumber publik dari instance pribadi di Cloud Data Fusion versi 6.4 atau yang lebih baru. Untuk menggunakan salah satu versi tersebut, Anda dapat membuat instance Cloud Data Fusion pribadi baru atau mengupgrade instance yang ada.
Saat membuat koneksi peering jaringan VPC untuk instance, pilih Ekspor rute.
Menyiapkan kontrol keluar selama pengembangan pipeline
Kontrol traffic keluar memungkinkan Anda mengontrol atau memfilter apa yang dapat keluar dari jaringan, yang berguna di lingkungan Kontrol Layanan VPC. Tidak ada proxy jaringan pilihan untuk melakukan tugas ini. Contoh proxy meliputi proxy Squid, HAProxy, dan Envoy.
Contoh dalam panduan ini menjelaskan cara menyiapkan proxy HTTP untuk pemfilteran HTTP di instance VM yang menggunakan image Debian. Contoh ini menggunakan server proxy Squid, yang merupakan salah satu cara menyiapkan server proxy.
Membuat VM proxy
Buat VM di VPC yang sama dengan instance Cloud Data Fusion pribadi Anda dengan skrip startup dan penerusan IP berikut.
Skrip ini menginstal proxy Squid, dan mengonfigurasinya untuk mencegat traffic HTTP
dan mengizinkan domain .squid-cache.org dan .google.com. Anda dapat mengganti domain ini dengan domain yang ingin dihubungkan dengan instance Cloud Data Fusion.
Konsol
Buka halaman VM instances.
Klik Create instance.
Gunakan VPC yang sama dengan peering jaringan yang disiapkan dengan instance Cloud Data Fusion pribadi. Untuk mengetahui informasi selengkapnya tentang peering jaringan VPC dalam skenario ini, lihat Sebelum memulai.
Aktifkan penerusan IP untuk instance di jaringan yang sama dengan instance Cloud Data Fusion.
Di kolom Startup script, masukkan skrip berikut:
#! /bin/bash apt-get -y install squid3 cat <<EOF > /etc/squid/conf.d/debian.conf # # Squid configuration settings for Debian # logformat squid %ts.%03tu %6tr %>a %Ss/%03>Hs %<st %rm %ru %ssl::>sni %Sh/%<a %mt logfile_rotate 10 debug_options rotate=10 # configure intercept port http_port 3129 intercept # allow only certain sites acl allowed_domains dstdomain "/etc/squid/allowed_domains.txt" http_access allow allowed_domains # deny all other http requests http_access deny all EOF # Create a file with allowed egress domains # Replace these example domains with the domains that you want to allow # egress from in Data Fusion pipelines cat <<EOF > /etc/squid/allowed_domains.txt .squid-cache.org .google.com EOF /etc/init.d/squid restart iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 3129 echo 1 > /proc/sys/net/ipv4/ip_forward echo net.ipv4.ip_forward=1 > /etc/sysctl.d/11-gce-network-security.conf iptables -t nat -A POSTROUTING -s 0.0.0.0/0 -p tcp --dport 443 -j MASQUERADE
gcloud
export CDF_PROJECT=<cdf-project>
export PROXY_VM=<proxy-vm>
export ZONE=<vm-zone>
export SUBNET=<subnet>
export VPC_NETWORK=<vpc-network>
export COMPUTE_ENGINE_SA=<compute-engine-sa>
gcloud beta compute --project=$CDF_PROJECT instances create $PROXY_VM --zone=$ZONE --machine-type=e2-medium --subnet=$SUBNET --no-address --metadata=startup-script=\#\!\ /bin/bash$'\n'apt-get\ -y\ install\ squid3$'\n'cat\ \<\<EOF\ \>\ /etc/squid/conf.d/debian.conf$'\n'\#$'\n'\#\ Squid\ configuration\ settings\ for\ Debian$'\n'\#$'\n'logformat\ squid\ \%ts.\%03tu\ \%6tr\ \%\>a\ \%Ss/\%03\>Hs\ \%\<st\ \%rm\ \%ru\ \%ssl::\>sni\ \%Sh/\%\<a\ \%mt$'\n'logfile_rotate\ 10$'\n'debug_options\ rotate=10$'\n'$'\n'\#\ configure\ intercept\ port$'\n'http_port\ 3129\ intercept$'\n'$'\n'\#\ allow\ only\ certain\ sites$'\n'acl\ allowed_domains\ dstdomain\ \"/etc/squid/allowed_domains.txt\"$'\n'http_access\ allow\ allowed_domains$'\n'$'\n'\#\ deny\ all\ other\ http\ requests$'\n'http_access\ deny\ all$'\n'EOF$'\n'$'\n'$'\n'\#\ Create\ a\ file\ with\ allowed\ egress\ domains$'\n'\#\ Replace\ these\ example\ domains\ with\ the\ domains\ that\ you\ want\ to\ allow\ $'\n'\#\ egress\ from\ in\ Data\ Fusion\ pipelines$'\n'cat\ \<\<EOF\ \>\ /etc/squid/allowed_domains.txt$'\n'.squid-cache.org$'\n'.google.com$'\n'EOF$'\n'$'\n'/etc/init.d/squid\ restart$'\n'$'\n'iptables\ -t\ nat\ -A\ PREROUTING\ -p\ tcp\ --dport\ 80\ -j\ REDIRECT\ --to-port\ 3129$'\n'echo\ 1\ \>\ /proc/sys/net/ipv4/ip_forward$'\n'echo\ net.ipv4.ip_forward=1\ \>\ /etc/sysctl.d/11-gce-network-security.conf$'\n'iptables\ -t\ nat\ -A\ POSTROUTING\ -s\ 0.0.0.0/0\ -p\ tcp\ --dport\ 443\ -j\ MASQUERADE --can-ip-forward --maintenance-policy=MIGRATE --service-account=$COMPUTE_ENGINE_SA --scopes=https://www.googleapis.com/auth/devstorage.read_only,https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring.write,https://www.googleapis.com/auth/servicecontrol,https://www.googleapis.com/auth/service.management.readonly,https://www.googleapis.com/auth/trace.append --tags=http-server,https-server --image=debian-10-buster-v20210420 --image-project=debian-cloud --boot-disk-size=10GB --boot-disk-type=pd-balanced --boot-disk-device-name=instance-1 --no-shielded-secure-boot --shielded-vtpm --shielded-integrity-monitoring --reservation-affinity=any
gcloud compute --project=$CDF_PROJECT firewall-rules create egress-allow-http --direction=INGRESS --priority=1000 --network=$VPC_NETWORK --action=ALLOW --rules=tcp:80 --source-ranges=0.0.0.0/0 --target-tags=https-server
gcloud compute --project=$CDF_PROJECT firewall-rules create egress-allow-https --direction=INGRESS --priority=1000 --network=$VPC_NETWORK --action=ALLOW --rules=tcp:443 --source-ranges=0.0.0.0/0 --target-tags=https-server
Membuat rute kustom
Buat rute kustom untuk terhubung ke instance VM gateway yang Anda buat.
Konsol
Untuk membuat rute di Konsol Google Cloud, lihat Menambahkan rute statis.
Saat mengonfigurasi rute, lakukan hal berikut:
- Tetapkan Priority ke lebih besar dari atau sama dengan
1001. - Gunakan project dan VPC yang sama dengan instance Cloud Data Fusion pribadi.
- Pastikan konfigurasi peering jaringan VPC Anda memungkinkan rute ekspor, sehingga VPC project tenant Cloud Data Fusion mengimpor rute kustom ini melalui peering jaringan VPC.
gcloud
Untuk membuat rute di gcloud CLI:
gcloud beta compute routes create $ROUTE --project=$CDF_PROJECT \ --network=$VPC_NETWORK --priority=1001 \ --destination-range=0.0.0.0/0 \ --next-hop-instance=$PROXY_VM \ --next-hop-instance-zone=$ZONE
Menyiapkan kontrol keluar untuk eksekusi pipeline
Setelah Anda dapat mengakses internet publik dengan nama host yang diizinkan di Preview dan Wrangler di lingkungan desain, deploy pipeline Anda. Pipeline Cloud Data Fusion yang di-deploy dijalankan di cluster Dataproc secara default.
Untuk memastikan semua traffic internet publik dari cluster Dataproc melewati satu atau beberapa VM Proxy, tambahkan zona dan data DNS pribadi. Langkah ini diperlukan karena Cloud NAT tidak mendukung pemfilteran.
Dalam data DNS, sertakan alamat IP VM proxy atau ILB.
Men-deploy pipeline
Setelah memverifikasi pipeline dalam fase desain, deploymentkan pipeline Anda. Pipeline yang di-deploy berjalan di cluster Dataproc secara default.
Untuk memastikan bahwa semua traffic internet publik dari cluster Dataproc
melalui satu atau beberapa VM Proxy, tambahkan rute kustom dengan tag instance
proxy dan prioritas 1000 ke VPC yang sama dengan VM
Dataproc:
Ubah pipeline Anda untuk menggunakan tag Dataproc karena Cloud NAT saat ini tidak mendukung pemfilteran keluar.
Langkah selanjutnya
- Pelajari Jaringan di Cloud Data Fusion lebih lanjut.