Mengaktifkan agen Penyamaran IP di lingkungan Cloud Composer

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara mengaktifkan agen Penyamaran IP untuk lingkungan Anda.

Tentang agen Penyamaran IP di Cloud Composer

Cloud Composer mendukung Agen Penyamaran IP untuk lingkungan Anda.

Penyamaran IP adalah bentuk penafsiran alamat jaringan (NAT) yang digunakan untuk melakukan penafsiran alamat IP many-to-one. Hal ini memungkinkan beberapa klien untuk mengakses tujuan dari satu alamat IP.

Cloud Composer menjalankan beban kerja Anda di GKE. Agar dapat berfungsi dengan benar, VM memerlukan rentang IP untuk node (VM) serta Pod dan Layanan GKE. Saat DAG dan tugas Airflow berkomunikasi dengan layanan lain, keduanya menggunakan IP Pod dan rentang IP Pod ini harus dapat dirutekan ke dan dari tujuan apa pun yang berinteraksi dengan tugas.

Dengan agen IP Masquerade, Anda memiliki opsi untuk menerjemahkan alamat IP Pod ke alamat IP node, sehingga tujuan dan layanan yang ditargetkan dari DAG dan tugas Airflow hanya menerima paket dari alamat IP node, bukan alamat IP Pod. Hal ini berguna di lingkungan yang hanya mengharapkan untuk menerima paket dari alamat IP node atau jika rentang IP Pod tidak dapat dirutekan di luar cluster.

Selain itu, Anda dapat menggunakan agen Penyamaran IP untuk menyimpan rentang jaringan dalam konfigurasi jaringan. Misalnya, Anda dapat menggunakan rentang jaringan terpisah untuk Pod di dalam cluster lingkungan dan menyamarkan traffic ini sebagai berasal dari rentang alamat IP node. Dengan cara ini, Anda menghemat ruang alamat IP dalam satu rentang dengan menggunakan alamat IP dari rentang yang berbeda untuk Pod di cluster lingkungan Anda.

Contoh:

  1. Anda menggunakan rentang 10.0.0.0/8 untuk VM dan hanya rentang ini yang diizinkan oleh aturan firewall Anda.

  2. Untuk menyimpan rentang jaringan, Anda menggunakan rentang yang berbeda (misalnya, 192.168.0.0/16) untuk Pod di cluster lingkungan Anda.

  3. Agar dapat terhubung ke layanan apa pun dari Pod (pekerja Airflow), penyamaran IP diperlukan; jika tidak, layanan akan menerima traffic dari 192.168.0.0/16 dan menghentikannya karena aturan firewall. Dengan mengaktifkan dan mengonfigurasi agen IP Masquerade, layanan akan mendapatkan permintaan dari 10.0.0.0/8, yang diterima.

Sebelum memulai

  • Agen IP Masquerade tidak dapat diaktifkan di konsol Google Cloud.

Mengaktifkan agen Penyamaran IP untuk lingkungan yang ada

Anda tidak dapat mengaktifkan agen IP Masquerade untuk lingkungan yang ada.

Mengaktifkan agen Penyamaran IP saat membuat lingkungan

Anda dapat mengaktifkan agen Penyamaran IP saat membuat lingkungan.

Untuk mengetahui informasi selengkapnya tentang cara membuat lingkungan Cloud Composer, lihat Membuat lingkungan.

Konsol

Agen IP Masquerade tidak dapat diaktifkan di konsol Google Cloud.

gcloud

Saat Anda membuat lingkungan, argumen --enable-ip-masq-agent akan mengaktifkan agen IP Masqerade. Anda juga harus mengaktifkan alias IP dengan argumen --enable-ip-alias. 

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --enable-ip-alias \
    --enable-ip-masq-agent

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan tersebut berada.

Contoh:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --enable-ip-alias \
    --enable-ip-masq-agent

API

Buat permintaan API environments.create. Tentukan konfigurasi dalam resource Environment.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "imageVersion": "composer-1.20.12-airflow-1.10.15"
    },
    "nodeConfig": {
      "ipAllocationPolicy": {
        "useIpAliases": true,
      },
      "enableIpMasqAgent": true
    }
  }
}

Ganti:

  • PROJECT_ID dengan Project ID.
  • LOCATION dengan region tempat lingkungan tersebut berada.
  • ENVIRONMENT_NAME dengan nama lingkungan.

Contoh:

  // POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

  {
    "name": "projects/example-project/locations/us-central1/environments/example-environment",
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-1.20.12-airflow-1.10.15"
      },
      "nodeConfig": {
        "ipAllocationPolicy": {
          "useIpAliases": true,
        },
        "enableIpMasqAgent": true
      }
    }
  }

Terraform

Saat Anda membuat lingkungan, kolom enable_ip_masq_agent di blok node_config akan mengaktifkan agen IP Masqerade. Anda juga harus mengaktifkan alias IP dengan kolom use_ip_aliases di blok ip_allocation_policy. 

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "composer-1.20.12-airflow-1.10.15"
    }
    node_config {
      ip_allocation_policy = [{
        use_ip_aliases = true
        // Other networking configuration
      }]
      enable_ip_masq_agent = true
    }
  }

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan tersebut berada.

Contoh:

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-1.20.12-airflow-1.10.15"
    }
    node_config {
      ip_allocation_policy = [{
        use_ip_aliases = true
        // Other networking configuration
      }]
      enable_ip_masq_agent = true
    }
  }
}

Mengonfigurasi agen Penyamaran IP

Untuk informasi selengkapnya tentang cara menggunakan dan mengonfigurasi agen Penyamaran IP di Cloud Composer 1, lihat Mengonfigurasi agen penyamaran IP di cluster Standar.

Langkah selanjutnya