Utiliser le bucket d'un environnement personnalisé

Cloud Composer 1 | Cloud Composer 2

Dans Cloud Composer 2, vous pouvez spécifier un bucket Cloud Storage personnalisé en tant que bucket d'environnement lorsque vous créez un environnement. Votre environnement utilise ce bucket de la même manière que le bucket de l'environnement par défaut. Le bucket de l'environnement par défaut n'est pas créé.

Avec un bucket personnalisé, vous pouvez:

• Utilisez une configuration de bucket conforme à vos exigences.
• Utilisez un bucket existant en continu à des fins de développement ou de test périodiques.
• Réutiliser un bucket existant d'un environnement précédent et conserver la CI/CD et les intégrations de données
• Supprimer et recréer un environnement sans avoir à transférer les données entre les buckets
• Préremplir le bucket personnalisé avec les données requises, telles que vos fichiers DAG, puis créez un environnement.

Avant de commencer

• Cette fonctionnalité est compatible à partir de la version 2.5.0 de Cloud Composer. Les versions antérieures de Cloud Composer 2 ne sont pas compatibles avec cette fonctionnalité.
• Le bucket personnalisé doit se trouver dans la même région que l'environnement. Les buckets multirégionaux et birégionaux ne sont pas compatibles.
• Le bucket personnalisé et l'environnement doivent se trouver dans le même projet.
• Le bucket personnalisé doit utiliser la classe de stockage standard.
• Aucune règle de conservation ni aucun verrouillage de règle de conservation n'est appliquée au bucket personnalisé.
• Il n'est pas possible d'utiliser un même bucket personnalisé avec plusieurs environnements à la fois. Cloud Composer génère une erreur si le bucket spécifié est déjà utilisé par un autre environnement. Il est possible de supprimer un environnement, puis d'utiliser le même bucket pour un autre environnement.
• Si vous supprimez un environnement, puis utilisez le même bucket pour un autre environnement, le nouvel environnement n'affiche pas les journaux des tâches Airflow de l'environnement précédent dans l'interface utilisateur Airflow. Les journaux restent dans le bucket, mais le nouvel environnement ne les associe à aucune exécution du DAG.

Avertissement :Cloud Composer ne modifie pas les paramètres de chiffrement d'un bucket personnalisé et ne le chiffre donc pas avec une clé CMEK (même si les règles du projet nécessitent un chiffrement). Plus précisément, le chiffrement du bucket personnalisé n'est pas modifié si votre environnement utilise le chiffrement CMEK. Votre bucket personnalisé respecte les règles du projet auquel il appartient. Vous pouvez chiffrer manuellement le bucket de l'environnement avec des clés CMEK avant de créer un environnement.

Créer un environnement avec un bucket personnalisé

Console

Pour spécifier un bucket Cloud Storage personnalisé lorsque vous créez un environnement, procédez comme suit:

1. Sur la page Créer un environnement, dans la section Configuration avancée, cliquez sur Afficher la configuration avancée.
2. Sélectionnez Bucket personnalisé.
3. Dans le champ Nom du bucket, spécifiez ou sélectionnez un bucket.

gcloud

Lorsque vous créez un environnement, l'argument --storage-bucket spécifie le bucket personnalisé de l'environnement.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --storage-bucket CUSTOM_STORAGE_BUCKET

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de votre environnement
• LOCATION: région dans laquelle se trouve l'environnement.
• CUSTOM_STORAGE_BUCKET: nom d'un bucket Cloud Storage. Vous pouvez également spécifier l'URI du bucket (avec le préfixe gs://).

Exemple :

gcloud composer environments create example-environment \
    --location us-cental1 \
    --storage-bucket us-central1-example-bucket

API

Lorsque vous créez un environnement, dans la ressource Environment > StorageConfig, spécifiez un bucket personnalisé pour votre environnement.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "storageConfig": {
    "bucket": "CUSTOM_STORAGE_BUCKET"
  }
}

Remplacez les éléments suivants :

• PROJECT_ID: ID du projet
• LOCATION: région dans laquelle se trouve l'environnement.
• ENVIRONMENT_NAME : nom de votre environnement
• CUSTOM_STORAGE_BUCKET: nom d'un bucket Cloud Storage (sans le préfixe gs://).

Exemple :

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "storageConfig": {
    "bucket": "us-central1-example-bucket"
  }
}

Terraform

Lorsque vous créez un environnement, le champ bucket du bloc storage_config spécifie le bucket personnalisé de l'environnement.

Attention :Si vous modifiez la valeur de ce champ pour un environnement existant, Terraform supprime l'environnement existant et le crée à nouveau.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  storage_config {

    bucket = CUSTOM_STORAGE_BUCKET

  }
}

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de votre environnement
• LOCATION: région dans laquelle se trouve l'environnement.
• CUSTOM_STORAGE_BUCKET: nom d'un bucket Cloud Storage. Vous pouvez également spécifier l'URI du bucket (avec le préfixe gs://).

Exemple :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  storage_config {

    bucket = "gs://us-central1-example-bucket"

  }
}

Étapes suivantes

• À propos du bucket de l'environnement
• CMEK dans Cloud Composer
• Créer des environnements