Mengonfigurasi Kontrol Layanan VPC

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Kontrol Layanan VPC memungkinkan organisasi menentukan perimeter di seputar resourceGoogle Cloud untuk mengurangi risiko pemindahan data yang tidak sah.

Lingkungan Cloud Composer dapat di-deploy dalam perimeter layanan. Dengan mengonfigurasi lingkungan Anda menggunakan Kontrol Layanan VPC, Anda dapat menjaga privasi data sensitif sambil memanfaatkan kemampuan orkestrasi alur kerja yang terkelola sepenuhnya di Cloud Composer.

Dukungan Kontrol Layanan VPC untuk Cloud Composer berarti:

  • Cloud Composer kini dapat dipilih sebagai layanan yang diamankan dalam perimeter Kontrol Layanan VPC.
  • Semua resource pokok yang digunakan oleh Cloud Composer dikonfigurasi untuk mendukung arsitektur Kontrol Layanan VPC dan mengikuti aturannya.

Men-deploy lingkungan Cloud Composer dengan Kontrol Layanan VPC memberi Anda:

  • Mengurangi risiko pemindahan data yang tidak sah.
  • Perlindungan terhadap eksposur data karena kontrol akses yang salah dikonfigurasi.
  • Mengurangi risiko pengguna berbahaya menyalin data ke resource yang tidak sah, atau penyerang eksternal mengakses resource dari internet.Google Cloud Google Cloud

Tentang Kontrol Layanan VPC di Cloud Composer

  • Semua batasan jaringan Kontrol Layanan VPC juga berlaku untuk lingkungan Cloud Composer Anda. Lihat dokumentasi Kontrol Layanan VPC untuk mengetahui detailnya.
  • Jika lingkungan Cloud Composer dilindungi oleh perimeter, akses ke repositori PyPI publik dibatasi. Lihat Menginstal paket PyPI di Kontrol Layanan VPC untuk mengetahui informasi selengkapnya.

  • Jika lingkungan Anda menggunakan jaringan IP Pribadi, semua traffic internal dirutekan ke jaringan VPC Anda, kecuali traffic ke API, layanan, dan domain Google yang tersedia untuk lingkungan IP Pribadi melalui Akses Google Pribadi.

  • Bergantung pada cara Anda mengonfigurasi jaringan VPC, lingkungan IP Pribadi dapat memperoleh akses ke internet melalui jaringan VPC Anda.

  • Cloud Composer tidak mendukung penggunaan identitas pihak ketiga dalam aturan ingress dan egress untuk mengizinkan operasi UI Apache Airflow. Namun, Anda dapat menggunakan jenis identitas ANY_IDENTITY dalam aturan masuk dan keluar untuk mengizinkan akses ke semua identitas, termasuk identitas pihak ketiga. Untuk mengetahui informasi selengkapnya tentang jenis identitas ANY_IDENTITY, lihat Aturan traffic masuk dan keluar.

  • Dalam mode Kontrol Layanan VPC, akses ke server web dilindungi oleh perimeter dan akses dari luar perimeter diblokir. Untuk mengizinkan akses dari luar perimeter layanan, konfigurasikan tingkat akses atau aturan masuk dan keluar sesuai kebutuhan. Selain itu, Anda dapat membatasi akses ke server web untuk rentang IP tertentu.

Tentang konektivitas ke Google API dan layanan Google di Kontrol Layanan VPC

Cloud Composer 3 merutekan traffic ke layanan Google melalui restricted.googleapis.com, yang memungkinkan akses ke API, layanan, dan domain Google yang didukung oleh rentang ini.

Untuk mengetahui informasi selengkapnya dan daftar layanan serta domain yang tersedia melalui restricted.googleapis.com, lihat Konfigurasi jaringan dalam dokumentasi Virtual Private Cloud.

Cloud Composer 3 memblokir panggilan ke API, layanan, dan domain Google yang tidak ada dalam daftar API dan layanan yang diperlukan. Jika Anda ingin memanggil API dari DAG, pastikan untuk:

  • Tambahkan layanan ke layanan yang dibatasi
  • Tambahkan layanan ke layanan yang dapat diakses VPC

Misalnya, jika Anda menggunakan Operator VertexAI, tambahkan aiplatform.googleapis.com keduanya ke layanan terbatas dan layanan yang dapat diakses VPC.

Untuk mengetahui informasi selengkapnya, lihat Mengelola perimeter layanan dalam dokumentasi Kontrol Layanan VPC.

Membuat lingkungan dalam perimeter

Langkah-langkah berikut diperlukan untuk men-deploy Cloud Composer di dalam perimeter:

  1. Aktifkan Access Context Manager API dan Cloud Composer API untuk project Anda. Lihat Mengaktifkan API sebagai referensi.

  2. Buat perimeter dengan mengikuti petunjuk konfigurasi perimeter di dokumentasi Kontrol Layanan VPC. Pastikan daftar layanan yang dibatasi mencakup semua layanan yang digunakan oleh Cloud Composer, selain layanan lain yang ingin Anda batasi:

    • Cloud Composer API (composer.googleapis.com)
    • Artifact Registry API (artifactregistry.googleapis.com)
    • Compute Engine API (compute.googleapis.com)
    • Kubernetes Engine API (container.googleapis.com)
    • Container File System API (containerfilesystem.googleapis.com)
    • Cloud DNS API (dns.googleapis.com)
    • Service Account Credentials API (iamcredentials.googleapis.com)
    • Cloud Logging API (logging.googleapis.com)
    • Cloud Monitoring API (monitoring.googleapis.com)
    • Cloud Pub/Sub API (pubsub.googleapis.com)
    • Cloud SQL Admin API (sqladmin.googleapis.com)
    • Cloud Storage API (storage.googleapis.com)

    • Untuk semua layanan lain yang digunakan oleh DAG Anda:

      1. Tambahkan layanan ke layanan yang dibatasi.
      2. Tambahkan layanan ke layanan yang dapat diakses VPC.
  3. Buat lingkungan Cloud Composer baru:

    1. Gunakan Google Cloud CLI untuk membuat lingkungan Anda.
    2. Aktifkan IP Pribadi dengan argumen --enable-private-environment.
    3. Tentukan parameter akses untuk server web dengan argumen --web-server-allow-all, --web-server-allow-ip, atau --web-server-deny-all. Untuk mengetahui informasi selengkapnya tentang cara menggunakan argumen ini, lihat Membuat lingkungan. Untuk meningkatkan perlindungan, izinkan akses ke server web hanya dari rentang IP tertentu.
    4. Jangan izinkan penginstalan paket dari repositori internet publik dengan argumen --enable-private-builds-only.

      Contoh:

      gcloud composer environments create example-environment \
        --location us-central1 \
        --enable-private-environment \
        --web-server-allow-all \
        --enable-private-builds-only
      
  4. Secara default, akses ke Airflow UI dan API hanya diizinkan dari dalam perimeter keamanan. Jika Anda ingin membuatnya tersedia di luar perimeter keamanan, konfigurasi tingkat akses atau aturan traffic masuk dan keluar.

Menambahkan lingkungan yang ada ke perimeter

Anda dapat menambahkan project yang berisi lingkungan ke perimeter jika lingkungan Anda menggunakan IP Pribadi dan penginstalan paket PyPI dari repositori publik dinonaktifkan.

Untuk memperbarui lingkungan Cloud Composer 3 yang ada ke konfigurasi ini:

  1. Pastikan Anda telah membuat atau mengonfigurasi perimeter seperti yang dijelaskan di bagian sebelumnya.
  2. Gunakan Google Cloud CLI untuk memperbarui lingkungan Anda.
  3. Aktifkan IP Pribadi dengan argumen --enable-private-environment.
  4. Jangan izinkan penginstalan paket dari repositori internet publik dengan argumen --enable-private-builds-only.
  5. Jika diperlukan, konfigurasi akses ke server web Airflow. Untuk meningkatkan perlindungan, izinkan akses ke server web hanya dari rentang IP tertentu.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment \
  --enable-private-builds-only

Menginstal paket PyPI di Kontrol Layanan VPC

Dalam konfigurasi Kontrol Layanan VPC default, Cloud Composer hanya mendukung penginstalan paket PyPI dari repositori pribadi yang dapat dijangkau dari ruang alamat IP internal jaringan VPC.

Semua lingkungan Cloud Composer dalam perimeter Kontrol Layanan VPC tidak memiliki akses ke repositori PyPI publik secara default.

Menginstal dari repositori pribadi

Konfigurasi yang direkomendasikan adalah menyiapkan repositori PyPI pribadi:

  1. Isi dengan paket yang telah diseleksi dan digunakan oleh organisasi Anda, lalu konfigurasi Cloud Composer untuk menginstal dependensi Python dari repositori pribadi.

Menginstal dari repositori publik

Untuk menginstal paket PyPI dari repositori eksternal:

  1. Buat repositori jarak jauh Artifact Registry.
  2. Berikan akses ke sumber upstream untuk repositori ini.
  3. Konfigurasi Airflow untuk menginstal paket dari repositori Artifact Registry.

Log Kontrol Layanan VPC

Saat memecahkan masalah pembuatan lingkungan, Anda dapat menganalisis log audit yang dibuat oleh Kontrol Layanan VPC.

Selain pesan log lainnya, Anda dapat memeriksa log untuk mendapatkan informasi tentang akun layanan cloud-airflow-prod@system.gserviceaccount.com dan service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com yang mengonfigurasi komponen lingkungan Anda.

Layanan Cloud Composer menggunakan akun layanan cloud-airflow-prod@system.gserviceaccount.com untuk mengelola komponen project tenant lingkungan Anda.

Akun layanan service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com, yang juga dikenal sebagai Akun Layanan Agen Layanan Composer, mengelola komponen lingkungan di project layanan dan host.

Langkah berikutnya