Mengaktifkan agen IP Masquerade di lingkungan Cloud Composer

Cloud Composer 1 | Cloud Composer 2

Halaman ini menjelaskan cara mengaktifkan agen IP Masquerade untuk lingkungan Anda.

Tentang agen IP Masquerade di Cloud Composer

Cloud Composer mendukung agen IP Masquerade untuk lingkungan Anda.

Penyamaran IP adalah bentuk penafsiran alamat jaringan (NAT) yang digunakan untuk melakukan terjemahan alamat IP many-to-one. Hal ini memungkinkan beberapa klien untuk mengakses tujuan dari satu alamat IP.

Cloud Composer menjalankan workload Anda di GKE. Untuk fungsi yang benar, diperlukan rentang IP untuk node (VM) serta Pod dan Service GKE. Saat DAG dan tugas Airflow berkomunikasi dengan service lain, DAG dan tugas tersebut menggunakan IP Pod dan rentang IP Pod ini harus dapat dirutekan ke dan dari tujuan mana pun tempat tugas berinteraksi.

Dengan agen IP Masquerade, Anda memiliki opsi untuk menerjemahkan alamat IP Pod menjadi alamat IP node, sehingga tujuan dan layanan yang ditargetkan dari DAG Airflow dan tugas hanya menerima paket dari alamat IP node, bukan alamat IP Pod. Hal ini berguna di lingkungan yang hanya berharap menerima paket dari alamat IP node atau ketika rentang IP Pod tidak dapat dirutekan di luar cluster.

Selain itu, Anda dapat menggunakan agen IP Masquerade untuk menyimpan rentang jaringan dalam konfigurasi jaringan Anda. Misalnya, Anda dapat menggunakan rentang jaringan terpisah untuk Pod di dalam cluster lingkungan Anda dan menyamarkan traffic ini sebagai berasal dari rentang alamat IP node. Dengan cara ini, Anda menyimpan ruang alamat IP dalam satu rentang menggunakan alamat IP dari rentang berbeda untuk Pod di cluster lingkungan Anda.

Contoh:

  1. Anda dapat menggunakan rentang 10.0.0.0/8 untuk VM dan hanya rentang ini yang diizinkan oleh aturan firewall Anda.

  2. Untuk menyimpan rentang jaringan, gunakan rentang lain (misalnya, 192.168.0.0/16) untuk Pod di cluster lingkungan Anda.

  3. Agar dapat terhubung ke service apa pun dari Pod (pekerja Airflow), penyamaran IP diperlukan. Jika tidak, service akan menerima traffic dari 192.168.0.0/16 dan menghapusnya karena aturan firewall. Dengan mengaktifkan dan mengonfigurasi agen Masquerade IP, layanan akan mendapatkan permintaan dari 10.0.0.0/8, yang diterima.

Sebelum memulai

  • Agen IP Masquerade tidak dapat diaktifkan di Konsol Google Cloud.

Mengaktifkan agen IP Masquerade untuk lingkungan yang ada

Agen IP Masquerade tidak dapat diaktifkan untuk lingkungan yang sudah ada.

Mengaktifkan agen IP Masquerade saat membuat lingkungan

Anda dapat mengaktifkan agen IP Masquerade saat membuat lingkungan.

Untuk mengetahui informasi lebih lanjut mengenai cara membuat lingkungan Cloud Composer, lihat Membuat lingkungan.

Konsol

Agen IP Masquerade tidak dapat diaktifkan di Konsol Google Cloud.

gcloud

Saat Anda membuat lingkungan, argumen --enable-ip-masq-agent akan mengaktifkan agen IP Masqerade. Anda juga harus mengaktifkan alias IP dengan argumen --enable-ip-alias. 

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --enable-ip-alias \
    --enable-ip-masq-agent

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.

Contoh:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --enable-ip-alias \
    --enable-ip-masq-agent

API

Buat permintaan environments.create API. Tentukan konfigurasi dalam resource Environment.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "imageVersion": "composer-1.20.12-airflow-1.10.15"
    },
    "nodeConfig": {
      "ipAllocationPolicy": {
        "useIpAliases": true,
      },
      "enableIpMasqAgent": true
    }
  }
}

Ganti:

  • PROJECT_ID dengan Project ID.
  • LOCATION dengan region tempat lingkungan berada.
  • ENVIRONMENT_NAME dengan nama lingkungan.

Contoh:

  // POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

  {
    "name": "projects/example-project/locations/us-central1/environments/example-environment",
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-1.20.12-airflow-1.10.15"
      },
      "nodeConfig": {
        "ipAllocationPolicy": {
          "useIpAliases": true,
        },
        "enableIpMasqAgent": true
      }
    }
  }

Terraform

Saat Anda membuat lingkungan, kolom enable_ip_masq_agent di blok node_config akan mengaktifkan agen IP Masqerade. Anda juga harus mengaktifkan alias IP dengan kolom use_ip_aliases di blok ip_allocation_policy. 

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "composer-1.20.12-airflow-1.10.15"
    }
    node_config {
      ip_allocation_policy = [{
        use_ip_aliases = true
        // Other networking configuration
      }]
      enable_ip_masq_agent = true
    }
  }

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.

Contoh:

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-1.20.12-airflow-1.10.15"
    }
    node_config {
      ip_allocation_policy = [{
        use_ip_aliases = true
        // Other networking configuration
      }]
      enable_ip_masq_agent = true
    }
  }
}

Mengonfigurasi agen IP Masquerade

Untuk mengetahui informasi selengkapnya tentang cara menggunakan dan mengonfigurasi agen IP Masquerade di Cloud Composer 1, lihat Mengonfigurasi agen penyamaran IP di cluster Standar.

Langkah selanjutnya