Bucket für benutzerdefinierte Umgebung verwenden

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

In Cloud Composer 2 können Sie beim Erstellen einer Umgebung einen benutzerdefinierten Cloud Storage-Bucket als Bucket für die Umgebung angeben. Ihre Umgebung verwendet diesen Bucket auf dieselbe Weise wie den Bucket der Standardumgebung. Der Bucket der Standardumgebung wird nicht erstellt.

Mit einem benutzerdefinierten Bucket haben Sie folgende Möglichkeiten:

  • Verwenden Sie eine Bucket-Konfiguration, die Ihren Anforderungen entspricht.
  • Einen kontinuierlich vorhandenen Bucket für regelmäßige Entwicklungs- oder Testzwecke verwenden
  • Verwenden Sie einen vorhandenen Bucket aus einer früheren Umgebung und behalten Sie die CI/CD- und Datenintegrationen bei.
  • Eine Umgebung löschen und neu erstellen, ohne Daten zwischen Buckets übertragen zu müssen
  • Füllen Sie den benutzerdefinierten Bucket vorab mit den erforderlichen Daten, z. B. den DAG-Dateien, und erstellen Sie dann eine Umgebung.

Hinweise

  • Dieses Feature wird ab Cloud Composer-Version 2.5.0 unterstützt. Frühere Versionen von Cloud Composer 2 unterstützen diese Funktion nicht.
  • Der benutzerdefinierte Bucket muss sich in derselben Region wie die Umgebung befinden. Multiregionale und biregionale Buckets werden nicht unterstützt.
  • Der benutzerdefinierte Bucket und die Umgebung müssen sich im selben Projekt befinden.
  • Der benutzerdefinierte Bucket muss die Standard Storage-Klasse haben.
  • Auf den benutzerdefinierten Bucket dürfen keine Aufbewahrungsrichtlinien oder Sperren angewendet werden.
  • Ein benutzerdefinierter Bucket kann nicht für mehrere Umgebungen gleichzeitig verwendet werden. Cloud Composer generiert einen Fehler, wenn der angegebene Bucket bereits von einer anderen Umgebung verwendet wird. Sie können eine Umgebung löschen und denselben Bucket dann für eine andere Umgebung verwenden.
  • Wenn Sie eine Umgebung löschen und denselben Bucket für eine andere Umgebung verwenden, werden in der neuen Umgebung keine Airflow-Aufgabenlogs aus der vorherigen Umgebung in der Airflow-UI angezeigt. Die Logs verbleiben im Bucket, werden aber in der neuen Umgebung keinen DAG-Ausführungen zugeordnet.

Umgebung mit einem benutzerdefinierten Bucket erstellen

Console

So geben Sie beim Erstellen einer Umgebung einen benutzerdefinierten Cloud Storage-Bucket an:

  1. Klicken Sie auf der Seite Umgebung erstellen im Abschnitt Erweiterte Konfiguration auf Erweiterte Konfiguration anzeigen.
  2. Wählen Sie Benutzerdefinierter Bucket aus.
  3. Geben Sie im Feld Bucket-Name einen Bucket an oder wählen Sie einen aus.

gcloud

Wenn Sie eine Umgebung erstellen, gibt das Argument --storage-bucket den benutzerdefinierten Bucket der Umgebung an.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --storage-bucket CUSTOM_STORAGE_BUCKET

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Umgebung
  • LOCATION: Region, in der sich die Umgebung befindet.
  • CUSTOM_STORAGE_BUCKET: der Name eines Cloud Storage-Bucket. Sie können auch den Bucket-URI angeben (mit dem Präfix gs://).

Beispiel:

gcloud composer environments create example-environment \
    --location us-cental1 \
    --storage-bucket us-central1-example-bucket

API

Wenn Sie eine Umgebung erstellen, geben Sie in der Ressource Environment > StorageConfig einen benutzerdefinierten Bucket für die Umgebung an.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "storageConfig": {
    "bucket": "CUSTOM_STORAGE_BUCKET"
  }
}

Ersetzen Sie Folgendes:

  • PROJECT_ID: die Projekt-ID.
  • LOCATION: Region, in der sich die Umgebung befindet.
  • ENVIRONMENT_NAME: der Name Ihrer Umgebung
  • CUSTOM_STORAGE_BUCKET: der Name eines Cloud Storage-Bucket (ohne das Präfix gs://).

Beispiel:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "storageConfig": {
    "bucket": "us-central1-example-bucket"
  }
}

Terraform

Wenn Sie eine Umgebung erstellen, gibt das Feld bucket im Block storage_config den benutzerdefinierten Bucket der Umgebung an.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  storage_config {

    bucket = CUSTOM_STORAGE_BUCKET

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Umgebung
  • LOCATION: Region, in der sich die Umgebung befindet.
  • CUSTOM_STORAGE_BUCKET: der Name eines Cloud Storage-Bucket. Sie können auch den Bucket-URI angeben (mit dem Präfix gs://).

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  storage_config {

    bucket = "gs://us-central1-example-bucket"

  }
}

Nächste Schritte