Cloud Composer 1 dalam mode pasca-pemeliharaan. Google tidak merilis update lebih lanjut untuk Cloud Composer 1, termasuk versi baru Airflow, perbaikan bug, dan update keamanan. Sebaiknya rencanakan migrasi ke Cloud Composer 2.

Mengonfigurasi jaringan yang diizinkan di Cloud Composer

Cloud Composer 1 | Cloud Composer 2

Halaman ini menjelaskan cara mengonfigurasi jaringan yang diberi otorisasi untuk lingkungan Anda.

Tentang jaringan yang diizinkan di Cloud Composer

Jaringan yang diizinkan memungkinkan Anda menentukan rentang CIDR yang dapat mengakses bidang kontrol cluster lingkungan Anda menggunakan HTTPS.

Misalnya, pada Cloud Composer 1, akses tersebut ke cluster lingkungan Anda diperlukan di lingkungan IP Pribadi untuk menjalankan perintah CLI Airflow(gcloud composer environments run). Jaringan tempat permintaan tersebut berasal harus diberi otorisasi untuk mengakses bidang kontrol cluster lingkungan Anda.

Jaringan yang diizinkan di lingkungan IP Pribadi dan Publik

Anda dapat menentukan jaringan yang diizinkan untuk lingkungan IP Publik dan IP Pribadi.

Dalam lingkungan IP Pribadi, Anda dapat mengonfigurasi jaringan yang diizinkan agar rentang alamat IP tertentu dapat mengakses bidang kontrol cluster lingkungan Anda. Misalnya, untuk mengizinkan rentang IP tertentu menjalankan perintah CLI Airflow dan kubectl. Secara default, di lingkungan IP Pribadi, Anda hanya dapat menjalankan perintah ini dari VM di subnetwork VPC lingkungan IP Pribadi.
Dalam lingkungan IP Publik, Anda dapat mengonfigurasi jaringan yang diizinkan untuk membatasi rentang alamat IP yang dapat mengakses bidang kontrol cluster lingkungan Anda. Secara default, di lingkungan IP Publik, tidak ada batasan pada rentang IP yang dapat menjalankan perintah CLI Airflow dan kubectl.

Sebelum memulai

Anda hanya dapat menentukan jaringan yang diizinkan menggunakan gcloud, Terraform, dan REST API.
Anda dapat menentukan jaringan yang diizinkan saat membuat lingkungan, atau untuk lingkungan yang ada.

Membuat lingkungan dengan jaringan yang diizinkan

gcloud

Untuk membuat lingkungan dengan jaringan yang diizinkan, gunakan argumen --enable-master-authorized-networks saat Anda membuat lingkungan. Kemudian, berikan daftar rentang CIDR yang dipisahkan koma dalam argumen --master-authorized-networks.

Cara menentukan jaringan yang diizinkan untuk lingkungan IP Pribadi:

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --enable-ip-alias \
    --enable-private-environment \
    --enable-master-authorized-networks \
    --master-authorized-networks AUTHORIZED_NETWORKS_IP_RANGES

Ganti:

ENVIRONMENT_NAME dengan nama lingkungan.
LOCATION dengan wilayah tempat lingkungan berada.
AUTHORIZED_NETWORKS_IP_RANGES dengan daftar rentang alamat IP yang dipisahkan koma dalam notasi CIDR. Rentang ini ditambahkan sebagai jaringan yang diotorisasi untuk cluster lingkungan Anda.

Contoh (lingkungan IP pribadi):

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --enable-ip-alias \
    --enable-private-environment \
    --enable-privately-used-public-ips \
    --enable-master-authorized-networks \
    --master-authorized-networks 192.0.2.0/23,192.0.4.0/23

API

Buat permintaan environments.create API. Di resource Environment, tentukan parameter konfigurasi untuk lingkungan dengan jaringan yang diizinkan.

Cara menentukan jaringan yang diizinkan untuk lingkungan IP Pribadi:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "ENVIRONMENT_NAME",
  "config": {
    "nodeConfig": {
      "ipAllocationPolicy": {

        "useIpAliases": true,
      }
    },
    "privateEnvironmentConfig": {
      "enablePrivateEnvironment": true,
    },
    "masterAuthorizedNetworksConfig": {
      "enabled": true,
      "cidrBlocks": [
        {
          "displayName": "AUTHORIZED_NETWORK_NAME",
          "cidrBlock": "AUTHORIZED_NETWORK_RANGE"
        }
      ]
    }
  }
}

Ganti:

ENVIRONMENT_NAME dengan nama lingkungan.
AUTHORIZED_NETWORK_NAME dengan nama untuk rentang IP jaringan yang diotorisasi. Anda menggunakan nama ini untuk mengidentifikasi blok ini. Kolom ini bersifat opsional.
AUTHORIZED_NETWORK_RANGE dengan rentang alamat IP dalam notasi CIDR. Rentang ini ditambahkan sebagai jaringan yang diotorisasi untuk cluster lingkungan Anda.
Jika Anda ingin menggunakan beberapa rentang IP, tambahkan rentang ekstra ke cidrBlocks.

Contoh (lingkungan IP pribadi):

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "example-environment",
  "config": {
    "nodeConfig": {
      "ipAllocationPolicy": {
        "useIpAliases": true,
      }
    },
    "privateEnvironmentConfig": {
      "enablePrivateEnvironment": true,
    },
    "masterAuthorizedNetworksConfig": {
      "enabled": true,
      "cidrBlocks": [
        {
          "displayName": "example_range_1",
          "cidrBlock": "192.0.2.0/23"
        },
        {
          "displayName": "example_range_2",
          "cidrBlock": "192.0.4.0/23"
        }
      ]
    }
  }
}

Terraform

Saat Anda membuat lingkungan, blok master_authorized_networks_config dalam blok config mengontrol jaringan yang diizinkan untuk lingkungan Anda.

Cara menentukan jaringan yang diizinkan untuk lingkungan IP Pribadi:

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    node_config {
      ip_allocation_policy = [{
        use_ip_aliases = true
      }]
    }
    private_environment_config {
      // Private environment parameters
    }

    master_authorized_networks_config {

      enabled = true

      cidr_blocks {
          cidr_block = "AUTHORIZED_NETWORK_RANGE"
          display_name = "AUTHORIZED_NETWORK_NAME"
      }

    }
  }
}

Ganti:

ENVIRONMENT_NAME dengan nama lingkungan.
LOCATION dengan wilayah tempat lingkungan berada.
AUTHORIZED_NETWORK_RANGE dengan rentang alamat IP dalam notasi CIDR. Rentang ini ditambahkan sebagai jaringan yang diotorisasi untuk cluster lingkungan Anda.
AUTHORIZED_NETWORK_NAME dengan nama untuk rentang IP jaringan yang diotorisasi. Anda menggunakan nama ini untuk mengidentifikasi blok ini.
Jika Anda ingin menggunakan beberapa rentang IP, tambahkan blok cidr_blocks tambahan ke master_authorized_networks_config.

Contoh (lingkungan IP pribadi):

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    node_config {

      // Specify your network and subnetwork
      network    = google_compute_network.example_network.id
      subnetwork = google_compute_subnetwork.example_subnet.id

      ip_allocation_policy = [{
        use_ip_aliases = true
      }]
    }

    private_environment_config {
      // Private environment parameters
    }

    master_authorized_networks_config {

      enabled = true

      cidr_blocks {
          cidr_block = "192.0.2.0/23"
          display_name = "example_range_1"
      }

      cidr_blocks {
          cidr_block = "192.0.4.0/23"
          display_name = "example_range_2"
      }
    }
  }
}

Menentukan jaringan yang diizinkan untuk lingkungan yang ada

Anda dapat menentukan jaringan yang diizinkan untuk lingkungan yang ada.

gcloud

Untuk menentukan jaringan yang diizinkan, gunakan argumen --enable-master-authorized-networks. Kemudian, berikan daftar rentang CIDR yang dipisahkan koma dalam argumen --master-authorized-networks.

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --enable-master-authorized-networks \
  --master-authorized-networks AUTHORIZED_NETWORKS_IP_RANGES

Ganti:

ENVIRONMENT_NAME dengan nama lingkungan.
LOCATION dengan wilayah tempat lingkungan berada.
AUTHORIZED_NETWORKS_IP_RANGES dengan daftar rentang alamat IP yang dipisahkan koma dalam notasi CIDR. Rentang ini ditambahkan sebagai jaringan yang diotorisasi untuk cluster lingkungan Anda.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --enable-master-authorized-networks \
  --master-authorized-networks 192.0.2.0/23,192.0.4.0/23

API

Buat permintaan environments.patch API.
Dalam permintaan ini:
1. Dalam parameter updateMask, tentukan mask config.softwareConfig.masterAuthorizedNetworksConfig.
2. Dalam isi permintaan, tentukan rentang CIDR untuk jaringan yang diizinkan.

"config": {

  "masterAuthorizedNetworksConfig": {
    "enabled": true,
    "cidrBlocks": [
      {
        "displayName": "AUTHORIZED_NETWORK_NAME",
        "cidrBlock": "AUTHORIZED_NETWORK_RANGE"
      }
    ]
  }
}

Ganti:

AUTHORIZED_NETWORK_NAME dengan nama untuk rentang IP jaringan yang diotorisasi. Anda menggunakan nama ini untuk mengidentifikasi blok ini. Kolom ini bersifat opsional.
AUTHORIZED_NETWORK_RANGE dengan rentang alamat IP dalam notasi CIDR. Rentang ini ditambahkan sebagai jaringan terotorisasi untuk cluster lingkungan Anda.
Jika Anda ingin menggunakan beberapa rentang IP, tambahkan rentang ekstra ke cidrBlocks.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.masterAuthorizedNetworksConfig

"config": {
  "masterAuthorizedNetworksConfig": {
    "enabled": true,
    "cidrBlocks": [
      {
        "displayName": "example_range_1",
        "cidrBlock": "192.0.2.0/23"
      },
      {
        "displayName": "example_range_2",
        "cidrBlock": "192.0.4.0/23"
      }
    ]
  }
}

Terraform

Blok master_authorized_networks_config dalam blok config mengontrol jaringan yang diizinkan untuk lingkungan Anda.

Guna menambahkan jaringan yang diizinkan untuk lingkungan IP Pribadi, tambahkan blok ini ke definisi lingkungan Anda:

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example_environment"
  region = "us-central1"

  config {

    // Other environment parameters

    master_authorized_networks_config {

      enabled = true

      cidr_blocks {
          cidr_block = "AUTHORIZED_NETWORK_RANGE"
          display_name = "AUTHORIZED_NETWORK_NAME"
      }

    }
  }
}

Ganti:

AUTHORIZED_NETWORK_RANGE dengan rentang alamat IP dalam notasi CIDR. Rentang ini ditambahkan sebagai jaringan yang diotorisasi untuk cluster lingkungan Anda.
AUTHORIZED_NETWORK_NAME dengan nama untuk rentang IP jaringan yang diotorisasi. Anda menggunakan nama ini untuk mengidentifikasi blok ini.
Jika Anda ingin menggunakan beberapa rentang IP, tambahkan blok cidr_blocks tambahan ke master_authorized_networks_config.

Contoh:

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    // Other environment parameters

    master_authorized_networks_config {

      enabled = true

      cidr_blocks {
          cidr_block = "192.0.2.0/23"
          display_name = "example_range_1"
      }

      cidr_blocks {
          cidr_block = "192.0.4.0/23"
          display_name = "example_range_2"
      }
    }
  }
}

Nonaktifkan jaringan yang diizinkan

Anda dapat menonaktifkan jaringan yang diizinkan untuk lingkungan yang ada:

Untuk lingkungan IP Pribadi, tindakan ini akan menghapus akses untuk rentang yang sebelumnya ditambahkan sebagai jaringan yang diizinkan.
Untuk lingkungan IP Publik, tindakan ini akan menghapus pembatasan yang telah dikonfigurasi sebelumnya.

gcloud

Untuk menonaktifkan jaringan yang diizinkan, gunakan argumen --disable-master-authorized-networks.

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-master-authorized-networks

Ganti:

ENVIRONMENT_NAME dengan nama lingkungan.
LOCATION dengan wilayah tempat lingkungan berada.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --disable-master-authorized-networks

API

Buat permintaan environments.patch API.
Dalam permintaan ini:
1. Dalam parameter updateMask, tentukan mask config.softwareConfig.masterAuthorizedNetworksConfig.
2. Dalam isi permintaan, tentukan false di kolom enabled.

"config": {

  "masterAuthorizedNetworksConfig": {
    "enabled": false
  }
}

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.masterAuthorizedNetworksConfig

"config": {
  "masterAuthorizedNetworksConfig": {
    "enabled": false,
  }
}

Terraform

Blok master_authorized_networks_config dalam blok config mengontrol jaringan yang diizinkan untuk lingkungan Anda.

Untuk menonaktifkan jaringan yang diizinkan, tetapkan kolom enabled dalam blok master_authorized_networks_config ke false.

Contoh:

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example_environment"
  region = "us-central1"

  config {

    // Other environment parameters

    master_authorized_networks_config {
      enabled = false
    }
  }
}

Mengonfigurasi jaringan yang diizinkan di Cloud Composer

Tentang jaringan yang diizinkan di Cloud Composer

Jaringan yang diizinkan di lingkungan IP Pribadi dan Publik

Sebelum memulai

Membuat lingkungan dengan jaringan yang diizinkan

gcloud

API

Terraform

Menentukan jaringan yang diizinkan untuk lingkungan yang ada

gcloud

API

Terraform

Nonaktifkan jaringan yang diizinkan

gcloud

API

Terraform

Langkah selanjutnya