Bucket für benutzerdefinierte Umgebung verwenden

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Hinweis: Diese Seite wurde noch nicht für Cloud Composer 3 überarbeitet und enthält Inhalte für Cloud Composer 2.

In Cloud Composer 2 können Sie beim Erstellen einer Umgebung einen benutzerdefinierten Cloud Storage-Bucket als Bucket der Umgebung angeben. Dieser Bucket wird in Ihrer Umgebung auf die gleiche Weise wie der Bucket der Standardumgebung verwendet. Der Bucket der Standardumgebung wird nicht erstellt.

Mit einem benutzerdefinierten Bucket haben Sie folgende Möglichkeiten:

• Verwenden Sie eine Bucket-Konfiguration, die Ihren Anforderungen entspricht.
• Verwenden Sie einen dauerhaft vorhandenen Bucket für regelmäßige Entwicklungs- oder Testzwecke.
• Vorhandenen Bucket aus einer früheren Umgebung wiederverwenden und CI/CD und Daten behalten Integrationen.
• Eine Umgebung löschen und neu erstellen, ohne Daten zwischen Bucketn übertragen zu müssen.
• Füllen Sie den benutzerdefinierten Bucket vorab mit den erforderlichen Daten wie Ihren DAG-Dateien aus und erstellen Sie dann eine Umgebung.

Hinweise

• Dieses Feature wird ab Cloud Composer unterstützt Version 2.5.0. Frühere Versionen von Cloud Composer 2 unterstützen dies nicht .
• Der benutzerdefinierte Bucket muss sich in derselben Region wie die Umgebung befinden. Multiregionale und Dual-Region-Buckets werden nicht unterstützt.
• Der benutzerdefinierte Bucket und die Umgebung müssen sich im selben Projekt befinden.
• Der benutzerdefinierte Bucket muss die Standardspeicherklasse haben.
• Der benutzerdefinierte Bucket darf keine Aufbewahrungsrichtlinien oder Aufbewahrungsrichtliniensperren angewendet wird.
• Es ist nicht möglich, denselben benutzerdefinierten Bucket für mehrere Umgebungen gleichzeitig zu verwenden. Cloud Composer generiert einen Fehler, wenn der angegebene Bucket bereits von einer anderen Umgebung verwendet wird. Es ist möglich, eine Umgebung löschen und dann denselben Bucket für eine andere verwenden.
• Wenn Sie eine Umgebung löschen und dann denselben Bucket für eine andere Umgebung verwenden, werden in der neuen Umgebung keine Airflow-Aufgabenprotokolle aus der vorherigen Umgebung in der Airflow-Benutzeroberfläche angezeigt. Die Protokolle verbleiben im Bucket, werden aber in der neuen Umgebung keinen DAG-Ausführungen zugeordnet.

Warnung: Cloud Composer ändert die Verschlüsselungseinstellungen eines benutzerdefinierten Buckets nicht und verschlüsselt ihn daher nicht mit einem CMEK-Schlüssel, auch wenn die Richtlinien des Projekts eine Verschlüsselung erfordern. Die benutzerdefinierte Die Verschlüsselung des Buckets wird nicht geändert, wenn Ihre Umgebung die CMEK-Verschlüsselung verwendet. Für Ihren benutzerdefinierten Bucket gelten die Richtlinien des zugehörigen Projekts. Sie können manuell verschlüsseln mit CMEK-Schlüsseln in den Bucket der Umgebung, bevor Sie eine Umgebung erstellen.

Umgebung mit benutzerdefiniertem Bucket erstellen

Console

So geben Sie beim Erstellen einer Umgebung einen benutzerdefinierten Cloud Storage-Bucket an:

1. Gehen Sie auf der Seite Umgebung erstellen im Bereich Erweiterte Konfiguration zu auf Erweiterte Konfiguration anzeigen.
2. Wählen Sie Benutzerdefinierter Bucket aus.
3. Geben Sie im Feld Bucket-Name einen Bucket an oder wählen Sie einen aus.

gcloud

Wenn Sie eine Umgebung erstellen, gibt das Argument --storage-bucket die den benutzerdefinierten Bucket der Umgebung.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --storage-bucket CUSTOM_STORAGE_BUCKET

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name Ihrer Umgebung
• LOCATION: die Region, in der sich die Umgebung befindet.
• CUSTOM_STORAGE_BUCKET: der Name eines Cloud Storage-Bucket. Sie können auch den Bucket-URI (mit dem Präfix gs://) angeben.

Beispiel:

gcloud composer environments create example-environment \
    --location us-cental1 \
    --storage-bucket us-central1-example-bucket

API

Geben Sie beim Erstellen einer Umgebung in der Ressource Umgebung > Speicherkonfiguration einen benutzerdefinierten Bucket für Ihre Umgebung an.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "storageConfig": {
    "bucket": "CUSTOM_STORAGE_BUCKET"
  }
}

Ersetzen Sie Folgendes:

• PROJECT_ID: die Projekt-ID.
• LOCATION: Region, in der sich die Umgebung befindet.
• ENVIRONMENT_NAME: der Name Ihrer Umgebung
• CUSTOM_STORAGE_BUCKET: der Name eines Cloud Storage-Bucket (ohne das Präfix gs://).

Beispiel:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "storageConfig": {
    "bucket": "us-central1-example-bucket"
  }
}

Terraform

Beim Erstellen einer Umgebung wird im Feld bucket im Block storage_config der benutzerdefinierte Bucket der Umgebung angegeben.

Achtung: Wenn Sie den Wert dieses Felds für eine vorhandene Umgebung ändern, löscht Terraform die vorhandene Umgebung und erstellt sie neu.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  storage_config {

    bucket = CUSTOM_STORAGE_BUCKET

  }
}

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name Ihrer Umgebung
• LOCATION: die Region, in der sich die Umgebung befindet.
• CUSTOM_STORAGE_BUCKET: der Name eines Cloud Storage-Bucket. Sie können auch den Bucket-URI (mit dem Präfix gs://) angeben.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  storage_config {

    bucket = "gs://us-central1-example-bucket"

  }
}

Nächste Schritte

• Bucket der Umgebung
• CMEK in Cloud Composer
• Umgebungen erstellen