Menggunakan bucket lingkungan kustom

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Di Cloud Composer 2, Anda dapat menentukan bucket Cloud Storage kustom sebagai bucket lingkungan saat Anda membuat lingkungan. Lingkungan Anda menggunakan data bucket dengan cara yang sama seperti bucket lingkungan default, dan bucket lingkungan default tidak dibuat.

Dengan bucket kustom, Anda dapat:

  • Gunakan konfigurasi bucket yang sesuai dengan persyaratan Anda.
  • Menggunakan bucket yang ada secara berkelanjutan untuk pengembangan atau pengujian berkala tujuan.
  • Menggunakan kembali bucket yang ada dari lingkungan sebelumnya serta menyimpan CI/CD dan data integrasi.
  • Hapus dan buat ulang lingkungan tanpa perlu mentransfer data antar bucket.
  • Mengisi otomatis bucket kustom dengan data yang diperlukan, seperti file DAG, dan kemudian menciptakan lingkungan.

Sebelum memulai

  • Fitur ini didukung mulai dari Cloud Composer versi 2.5.0. Versi Cloud Composer 2 sebelumnya tidak mendukung fitur ini aplikasi baru.
  • Bucket kustom harus berada di region yang sama dengan lingkungannya. Bucket multi-region dan dual-region tidak didukung.
  • Bucket kustom dan lingkungan harus berada dalam project yang sama.
  • Bucket kustom harus memiliki Kelas penyimpanan standar.
  • Bucket kustom tidak boleh memiliki kebijakan retensi atau kunci kebijakan retensi yang diterapkan padanya.
  • Anda tidak dapat menggunakan bucket kustom yang sama dengan beberapa lingkungan di perangkat lain di waktu yang sama. Cloud Composer akan menghasilkan error jika bucket yang ditentukan sudah digunakan oleh lingkungan lain. Anda dapat menghapus lingkungan, lalu menggunakan bucket yang sama untuk lingkungan lain.
  • Jika Anda menghapus lingkungan, lalu menggunakan bucket yang sama untuk lingkungan lain lingkungan baru ini tidak menampilkan log tugas Airflow dari lingkungan sebelumnya di UI Airflow. Log tetap berada di dalam bucket, tetapi lingkungan baru tidak mengaitkannya dengan operasi DAG apa pun.

Membuat lingkungan dengan bucket kustom

Konsol

Untuk menentukan bucket Cloud Storage kustom saat Anda membuat lingkungan:

  1. Di halaman Create environment, di Advanced configuration klik Show advanced configuration.
  2. Pilih Bucket kustom.
  3. Di kolom Bucket name, tentukan atau pilih bucket.

gcloud

Saat Anda membuat lingkungan, argumen --storage-bucket akan menentukan bucket kustom milik lingkungan kita.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --storage-bucket CUSTOM_STORAGE_BUCKET

Ganti kode berikut:

  • ENVIRONMENT_NAME: nama lingkungan Anda.
  • LOCATION: wilayah tempat lingkungan berada.
  • CUSTOM_STORAGE_BUCKET: nama bucket Cloud Storage. Anda juga dapat menentukan URI bucket (dengan awalan gs://).

Contoh:

gcloud composer environments create example-environment \
    --location us-cental1 \
    --storage-bucket us-central1-example-bucket

API

Saat Anda membuat lingkungan, di bagian Lingkungan > Resource StorageConfig, tentukan bucket kustom untuk lingkungan Anda.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "storageConfig": {
    "bucket": "CUSTOM_STORAGE_BUCKET"
  }
}

Ganti kode berikut:

  • PROJECT_ID: Project ID.
  • LOCATION: wilayah tempat lingkungan berada.
  • ENVIRONMENT_NAME: nama lingkungan Anda.
  • CUSTOM_STORAGE_BUCKET: nama bucket Cloud Storage (tanpa awalan gs://).

Contoh:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "storageConfig": {
    "bucket": "us-central1-example-bucket"
  }
}

Terraform

Saat Anda membuat lingkungan, kolom bucket di Blok storage_config menentukan bucket kustom lingkungan.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  storage_config {

    bucket = CUSTOM_STORAGE_BUCKET

  }
}

Ganti kode berikut:

  • ENVIRONMENT_NAME: nama lingkungan Anda.
  • LOCATION: wilayah tempat lingkungan berada.
  • CUSTOM_STORAGE_BUCKET: nama bucket Cloud Storage. Anda juga dapat menentukan URI bucket (dengan awalan gs://).

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  storage_config {

    bucket = "gs://us-central1-example-bucket"

  }
}

Langkah selanjutnya