Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Halaman ini menunjukkan cara mengonfigurasi batasan lokasi resource agar data yang disimpan oleh Cloud Composer tetap berada di dalam lokasi yang Anda tentukan.
Cara kerja pembatasan lokasi
Batasan lokasi untuk Cloud Composer ditentukan berdasarkan kebijakan organisasi yang diterapkan ke project tempat lingkungan Cloud Composer dibuat. Kebijakan ini ditetapkan di dalam project atau diwarisi dari organisasi.
Jika pembatasan lokasi diaktifkan, lingkungan tidak dapat dibuat di region yang dilarang oleh kebijakan. Jika region tercantum dalam Daftar penolakan, atau tidak tercantum dalam Daftar izin, Anda tidak dapat membuat lingkungan di region ini.
Untuk mengaktifkan pembuatan lingkungan, kebijakan harus mengizinkan seluruh region
dan bukan zona tertentu dalam region ini. Misalnya, region europe-west3
harus diizinkan oleh kebijakan untuk membuat
lingkungan Cloud Composer di region ini.
Cloud Composer memeriksa batasan lokasi di:
- Pembuatan lingkungan.
- Upgrade lingkungan, jika ada resource tambahan yang dibuat selama operasi.
- Pembaruan lingkungan, untuk lingkungan lama yang tidak menerapkan batasan lokasi pada dependensi Cloud Composer.
Selain memeriksa batasan lokasi, Cloud Composer melakukan hal berikut:
- Menyimpan image Airflow yang disesuaikan pengguna di repositori Artifact Registry regional. Sebagai contoh, image tersebut dibuat saat Anda menginstal image PyPI kustom di lingkungan Anda.
- Jika
US
multi-region dilarang secara eksplisit oleh kebijakan, penggunaan Cloud Build akan dinonaktifkan. Dalam hal ini, image Airflow yang disesuaikan pengguna dibangun di cluster lingkungan Anda.
Menginstal dependensi Python ke lingkungan IP pribadi dengan batasan lokasi resource
Jika Anda menetapkan batasan lokasi resource untuk project, maka Cloud Build tidak dapat digunakan untuk menginstal paket Python. Akibatnya, akses langsung ke repositori di internet publik dinonaktifkan.
Untuk menginstal dependensi Python di lingkungan IP Pribadi saat batasan lokasi Anda tidak mengizinkan multi-region US
, gunakan salah satu opsi berikut:
Gunakan repositori PyPI pribadi yang dihosting di jaringan VPC Anda.
Gunakan server proxy di jaringan VPC Anda untuk terhubung ke repositori PyPI di internet publik. Tentukan alamat proxy dalam file
/config/pip/pip.conf
di bucket Cloud Storage.Jika kebijakan keamanan Anda mengizinkan akses ke jaringan VPC Anda dari alamat IP eksternal, Anda dapat mengonfigurasi Cloud NAT.
Simpan dependensi Python di folder
dags
di bucket Cloud Storage, untuk menginstalnya sebagai library lokal. Opsi ini mungkin bukan pilihan yang baik jika pohon dependensi besar.
Membatasi lokasi untuk log Cloud Composer
Jika log Cloud Composer Anda berisi data sensitif, Anda mungkin ingin mengarahkan ulang log Cloud Composer ke bucket Cloud Storage regional. Untuk melakukannya, gunakan sink log. Setelah Anda mengalihkan log ke bucket Cloud Storage, log Anda tidak akan dikirim ke Cloud Logging.
gcloud
Buat bucket Cloud Storage baru.
gcloud storage buckets create gs://BUCKET_NAME --location=LOCATION
Ganti:
LOCATION
dengan region tempat lingkungan berada.BUCKET_NAME
dengan nama bucket. Contoh,composer-logs-us-central1-example-environment
.
Buat sink log baru.
gcloud logging sinks create \ composer-log-sink-ENVIRONMENT_NAME \ storage.googleapis.com/BUCKET_NAME \ --log-filter "resource.type=cloud_composer_environment AND \ resource.labels.environment_name=ENVIRONMENT_NAME AND \ resource.labels.location=LOCATION"
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.BUCKET_NAME
dengan nama bucket.LOCATION
dengan region tempat lingkungan berada.
Output perintah sebelumnya berisi nomor akun layanan. Berikan peran Storage Object Creator ke akun layanan ini:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:SA_NUMBER@gcp-sa-logging.iam.gserviceaccount.com" \ --role='roles/storage.objectCreator' \ --condition=None
Ganti:
PROJECT_ID
dengan Project ID.SA_NUMBER
dengan nomor akun layanan yang diberikan oleh perintahgcloud logging sinks create
pada langkah sebelumnya.
Mengecualikan log untuk lingkungan Anda dari Logging.
gcloud logging sinks update _Default \ --add-exclusion name=ENVIRONMENT_NAME-exclusion,filter=\ "resource.type=cloud_composer_environment AND \ resource.labels.environment_name=ENVIRONMENT_NAME AND \ resource.labels.location=LOCATION"
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan region tempat lingkungan berada.