Mengonfigurasi batasan lokasi resource

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Halaman ini menunjukkan cara mengonfigurasi batasan lokasi resource agar data yang disimpan oleh Cloud Composer tetap berada di dalam lokasi yang Anda tentukan.

Cara kerja pembatasan lokasi

Batasan lokasi untuk Cloud Composer ditentukan berdasarkan kebijakan organisasi yang diterapkan ke project tempat lingkungan Cloud Composer dibuat. Kebijakan ini ditetapkan di dalam project atau diwarisi dari organisasi.

Jika pembatasan lokasi diaktifkan, lingkungan tidak dapat dibuat di region yang dilarang oleh kebijakan. Jika region tercantum dalam Daftar penolakan, atau tidak tercantum dalam Daftar izin, Anda tidak dapat membuat lingkungan di region ini.

Untuk mengaktifkan pembuatan lingkungan, kebijakan harus mengizinkan seluruh region dan bukan zona tertentu dalam region ini. Misalnya, region europe-west3 harus diizinkan oleh kebijakan untuk membuat lingkungan Cloud Composer di region ini.

Cloud Composer memeriksa batasan lokasi di:

  • Pembuatan lingkungan.
  • Upgrade lingkungan, jika ada resource tambahan yang dibuat selama operasi.
  • Pembaruan lingkungan, untuk lingkungan lama yang tidak menerapkan batasan lokasi pada dependensi Cloud Composer.

Selain memeriksa batasan lokasi, Cloud Composer melakukan hal berikut:

  • Menyimpan image Airflow yang disesuaikan pengguna di repositori Artifact Registry regional. Sebagai contoh, image tersebut dibuat saat Anda menginstal image PyPI kustom di lingkungan Anda.
  • Jika US multi-region dilarang secara eksplisit oleh kebijakan, penggunaan Cloud Build akan dinonaktifkan. Dalam hal ini, image Airflow yang disesuaikan pengguna dibangun di cluster lingkungan Anda.

Menginstal dependensi Python ke lingkungan IP pribadi dengan batasan lokasi resource

Jika Anda menetapkan batasan lokasi resource untuk project, maka Cloud Build tidak dapat digunakan untuk menginstal paket Python. Akibatnya, akses langsung ke repositori di internet publik dinonaktifkan.

Untuk menginstal dependensi Python di lingkungan IP Pribadi saat batasan lokasi Anda tidak mengizinkan multi-region US, gunakan salah satu opsi berikut:

Membatasi lokasi untuk log Cloud Composer

Jika log Cloud Composer Anda berisi data sensitif, Anda mungkin ingin mengarahkan ulang log Cloud Composer ke bucket Cloud Storage regional. Untuk melakukannya, gunakan sink log. Setelah Anda mengalihkan log ke bucket Cloud Storage, log Anda tidak akan dikirim ke Cloud Logging.

gcloud

  1. Buat bucket Cloud Storage baru.

    gcloud storage buckets create gs://BUCKET_NAME --location=LOCATION
    

    Ganti:

    • LOCATION dengan region tempat lingkungan berada.
    • BUCKET_NAME dengan nama bucket. Contoh, composer-logs-us-central1-example-environment.
  2. Buat sink log baru.

    gcloud logging sinks create \
    composer-log-sink-ENVIRONMENT_NAME \
    storage.googleapis.com/BUCKET_NAME \
    --log-filter "resource.type=cloud_composer_environment AND \
    resource.labels.environment_name=ENVIRONMENT_NAME AND \
    resource.labels.location=LOCATION"
    

    Ganti:

    • ENVIRONMENT_NAME dengan nama lingkungan.
    • BUCKET_NAME dengan nama bucket.
    • LOCATION dengan region tempat lingkungan berada.
  3. Output perintah sebelumnya berisi nomor akun layanan. Berikan peran Storage Object Creator ke akun layanan ini:

    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="serviceAccount:SA_NUMBER@gcp-sa-logging.iam.gserviceaccount.com" \
    --role='roles/storage.objectCreator' \
    --condition=None
    

    Ganti:

    • PROJECT_ID dengan Project ID.
    • SA_NUMBER dengan nomor akun layanan yang diberikan oleh perintah gcloud logging sinks create pada langkah sebelumnya.
  4. Mengecualikan log untuk lingkungan Anda dari Logging.

    gcloud logging sinks update _Default \
    --add-exclusion name=ENVIRONMENT_NAME-exclusion,filter=\
    "resource.type=cloud_composer_environment AND \
    resource.labels.environment_name=ENVIRONMENT_NAME AND \
    resource.labels.location=LOCATION"
    

    Ganti:

    • ENVIRONMENT_NAME dengan nama lingkungan.
    • LOCATION dengan region tempat lingkungan berada.

Langkah berikutnya