Cloud Composer 1 berada dalam mode pascapemeliharaan. Google tidak merilis update lebih lanjut ke Cloud Composer 1, termasuk Airflow versi baru, perbaikan bug, dan update keamanan. Sebaiknya rencanakan migrasi ke Cloud Composer 2.

Halaman ini diterjemahkan oleh Cloud Translation API.

Mengonfigurasi Kontrol Layanan VPC

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Kontrol Layanan VPC memungkinkan organisasi menentukan perimeter di sekitar resourceGoogle Cloud untuk memitigasi risiko pemindahan data yang tidak sah.

Lingkungan Cloud Composer dapat di-deploy dalam perimeter layanan. Dengan mengonfigurasi lingkungan Anda dengan Kontrol Layanan VPC, Anda dapat menjaga kerahasiaan data sensitif sekaligus memanfaatkan kemampuan orkestrasi alur kerja yang terkelola sepenuhnya di Cloud Composer.

Dukungan Kontrol Layanan VPC untuk Cloud Composer berarti:

Cloud Composer kini dapat dipilih sebagai layanan aman di dalam perimeter Kontrol Layanan VPC.
Semua resource pokok yang digunakan oleh Cloud Composer dikonfigurasi untuk mendukung arsitektur Kontrol Layanan VPC dan mengikuti aturannya.

Men-deploy lingkungan Cloud Composer dengan Kontrol Layanan VPC memberi Anda:

Mengurangi risiko pemindahan data yang tidak sah.
Perlindungan terhadap eksposur data karena kontrol akses yang salah dikonfigurasi.
Mengurangi risiko pengguna berbahaya menyalin data ke resourceGoogle Cloud yang tidak sah, atau penyerang eksternal yang mengakses resourceGoogle Cloud dari internet.

Tentang Kontrol Layanan VPC di Cloud Composer

Semua batasan jaringan Kontrol Layanan VPC juga berlaku untuk lingkungan Cloud Composer Anda. Lihat dokumentasi Kontrol Layanan VPC untuk mengetahui detailnya.

Jika lingkungan Cloud Composer dilindungi oleh perimeter, akses ke repositori PyPI publik akan dibatasi. Lihat Menginstal paket PyPI di Kontrol Layanan VPC untuk mengetahui informasi selengkapnya.
Jika lingkungan Anda menggunakan jaringan IP Pribadi, semua traffic internal akan dirutekan ke jaringan VPC Anda, kecuali traffic ke API, layanan, dan domain Google yang tersedia untuk lingkungan IP Pribadi melalui Akses Google Pribadi.
Bergantung pada cara Anda mengonfigurasi jaringan VPC, lingkungan IP Pribadi dapat memperoleh akses ke internet melalui jaringan VPC Anda.
Dalam mode Kontrol Layanan VPC, akses ke server web dilindungi oleh perimeter dan akses dari luar perimeter diblokir. Untuk mengizinkan akses dari luar perimeter layanan, konfigurasikan tingkat akses atau aturan masuk dan keluar sesuai kebutuhan. Selain itu, Anda dapat membatasi akses ke server web ke rentang IP tertentu.

Tentang konektivitas ke Google API dan layanan Google di Kontrol Layanan VPC

Cloud Composer 3 merutekan traffic ke layanan Google melalui restricted.googleapis.com, yang memungkinkan akses ke API, layanan, dan domain Google yang didukung oleh rentang ini.

Untuk mengetahui informasi selengkapnya dan daftar layanan serta domain yang tersedia melalui restricted.googleapis.com, lihat Konfigurasi jaringan dalam dokumentasi Virtual Private Cloud.

Cloud Composer 3 memblokir panggilan ke API, layanan, dan domain Google yang tidak ada dalam daftar API dan layanan yang diperlukan. Jika Anda ingin memanggil API dari DAG, pastikan untuk:

Menambahkan layanan ke layanan yang dibatasi
Menambahkan layanan ke layanan yang dapat diakses VPC

Misalnya, jika Anda menggunakan Operator VertexAI, tambahkan aiplatform.googleapis.com ke layanan yang dibatasi dan ke layanan yang dapat diakses VPC.

Untuk mengetahui informasi selengkapnya, lihat Mengelola perimeter layanan dalam dokumentasi Kontrol Layanan VPC.

Membuat perimeter layanan

Lihat Membuat perimeter layanan untuk mempelajari cara membuat dan mengonfigurasi perimeter layanan. Pastikan untuk memilih Cloud Composer sebagai salah satu layanan yang diamankan dalam perimeter.

Membuat lingkungan dalam perimeter

Langkah-langkah berikut diperlukan untuk men-deploy Cloud Composer di dalam perimeter:

Aktifkan Access Context Manager API dan Cloud Composer API untuk project Anda. Lihat Mengaktifkan API untuk referensi.
Pastikan perimeter layanan Anda memiliki layanan Google yang dapat diakses VPC berikut. Jika tidak, lingkungan Anda mungkin gagal dibuat:
- Cloud Composer API (composer.googleapis.com)
- Artifact Registry API (artifactregistry.googleapis.com)
- Compute Engine API (compute.googleapis.com)
- Kubernetes Engine API (container.googleapis.com)
- Container File System API (containerfilesystem.googleapis.com)
- Cloud DNS API (dns.googleapis.com)
- Service Account Credentials API (iamcredentials.googleapis.com)
- Cloud Logging API (logging.googleapis.com)
- Cloud Monitoring API (monitoring.googleapis.com)
- Cloud Pub/Sub API (pubsub.googleapis.com)
- Cloud SQL Admin API (sqladmin.googleapis.com)
- Cloud Storage API (storage.googleapis.com)
Buat lingkungan Cloud Composer baru:
1. Gunakan Google Cloud CLI untuk membuat lingkungan Anda.
2. Aktifkan IP Pribadi dengan argumen --enable-private-environment.
3. Tentukan parameter akses untuk server web dengan argumen --web-server-allow-all, --web-server-allow-ip, atau --web-server-deny-all. Untuk mengetahui informasi selengkapnya tentang cara menggunakan argumen ini, lihat Membuat lingkungan. Untuk meningkatkan perlindungan, hanya izinkan akses ke server web dari rentang IP tertentu.
4. Jangan izinkan penginstalan paket dari repositori internet publik dengan argumen --enable-private-builds-only.
  
  Contoh:
```
gcloud composer environments create example-environment \
  --location us-central1 \
  --enable-private-environment \
  --web-server-allow-all \
  --enable-private-builds-only
```
Secara default, akses ke UI dan API Airflow hanya diizinkan dari dalam perimeter keamanan. Jika Anda ingin menyediakannya di luar perimeter keamanan, konfigurasikan tingkat akses atau aturan traffic masuk dan keluar.

Menambahkan lingkungan yang ada ke perimeter

Anda dapat menambahkan project yang berisi lingkungan ke perimeter jika lingkungan Anda menggunakan IP Pribadi dan penginstalan paket PyPI dari repositori publik dinonaktifkan.

Untuk mengupdate lingkungan Cloud Composer 3 yang ada ke konfigurasi ini:

Pastikan Anda telah membuat atau mengonfigurasi perimeter seperti yang dijelaskan di bagian sebelumnya.
Gunakan Google Cloud CLI untuk mengupdate lingkungan Anda.
Aktifkan IP Pribadi dengan argumen --enable-private-environment.
Jangan izinkan penginstalan paket dari repositori internet publik dengan argumen --enable-private-builds-only.
Jika diperlukan, konfigurasi akses ke server web Airflow. Untuk meningkatkan perlindungan, hanya izinkan akses ke server web dari rentang IP tertentu.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment \
  --enable-private-builds-only

Menginstal paket PyPI di Kontrol Layanan VPC

Dalam konfigurasi Kontrol Layanan VPC default, Cloud Composer hanya mendukung penginstalan paket PyPI dari repositori pribadi yang dapat dijangkau dari ruang alamat IP internal jaringan VPC.

Semua lingkungan Cloud Composer dalam perimeter Kontrol Layanan VPC secara default tidak memiliki akses ke repositori PyPI publik.

Menginstal dari repositori pribadi

Konfigurasi yang direkomendasikan adalah menyiapkan repositori PyPI pribadi:

Isi dengan paket yang telah diseleksi yang digunakan oleh organisasi Anda, lalu konfigurasikan Cloud Composer untuk menginstal dependensi Python dari repositori pribadi.

Menginstal dari repositori publik

Untuk menginstal paket PyPI dari repositori eksternal:

Buat repositori jarak jauh Artifact Registry.
Berikan akses ke sumber upstream ke repositori ini.
Konfigurasikan Airflow untuk menginstal paket dari repositori Artifact Registry.

Log Kontrol Layanan VPC

Saat memecahkan masalah pembuatan lingkungan, Anda dapat menganalisis log audit yang dihasilkan oleh Kontrol Layanan VPC.

Selain pesan log lainnya, Anda dapat memeriksa log untuk mengetahui informasi tentang akun layanan cloud-airflow-prod@system.gserviceaccount.com dan service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com yang mengonfigurasi komponen lingkungan Anda.

Layanan Cloud Composer menggunakan akun layanan cloud-airflow-prod@system.gserviceaccount.com untuk mengelola komponen project tenant di lingkungan Anda.

Akun layanan service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com, yang juga dikenal sebagai Akun Layanan Agen Layanan Composer, mengelola komponen lingkungan di project layanan dan host.