Faire évoluer des environnements

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Cette page explique comment procéder au scaling d'environnements Cloud Composer.

Scaling vertical et horizontal

Dans Cloud Composer 1, vous ne définissez pas de ressources de processeur et de mémoire spécifiques pour Les composants Cloud Composer et Airflow, tels que les nœuds de calcul et les planificateurs. Au lieu de cela, vous spécifiez le nombre et le type de machines pour les nœuds dans le cluster de votre environnement.

Remarque :Lors de la distribution des composants dans Cloud Composer 1, certains fichiers Airflow les composants peuvent être placés de manière inégale sur les nœuds disponibles. Dans un tel la charge du processeur ou de la mémoire d'un ou de plusieurs nœuds est plus élevée les autres nœuds du cluster.

Options de scaling horizontal :

• Ajuster le nombre de nœuds
• Ajuster le nombre de programmeurs

Options de scaling vertical :

• Ajuster le type de machine de l'instance Cloud SQL
• Ajuster le type de machine du serveur Web

Ajuster les paramètres du programmeur

Votre environnement peut exécuter plusieurs programmeurs Airflow à la fois. Utilisez plusieurs programmeurs pour répartir la charge entre les instances de programmeur, et ainsi améliorer les performances et la fiabilité.

Si votre environnement utilise Airflow 2, vous pouvez spécifier un certain nombre de programmeurs jusqu'à atteindre le nombre de nœuds de votre environnement.

L'augmentation du nombre de programmeurs n'améliore pas toujours les performances d'Airflow. Par exemple, le fait d'avoir un seul programmeur peut offrir de meilleures performances que deux. C'est le cas lorsque le programmeur supplémentaire n'est pas utilisé et consomme donc les ressources de votre environnement sans incidence sur les performances globales. Les performances réelles du programmeur dépendent du nombre de nœuds de calcul Airflow, du nombre de DAG et des tâches exécutées dans votre environnement, ainsi que de la configuration d'Airflow et de l'environnement.

Nous vous recommandons de commencer par deux programmeurs, puis de surveiller les performances de votre environnement. Si vous modifiez le nombre de programmeurs, vous pouvez toujours rétablir l'échelle du nombre de programmeurs d'origine de votre environnement.

Pour en savoir plus sur la configuration de plusieurs programmeurs, consultez la documentation Airflow.

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement.

4. Dans l'élément Ressources > Configuration des charges de travail : cliquez sur Modifier.

5. Dans l'élément Ressources > Nombre de planificateurs, cliquez sur Modifier.

6. Dans le volet Scheduler configuration (Configuration du planificateur), dans les Nombre de programmeurs, spécifiez le nombre de programmeurs pour votre environnement.

7. Cliquez sur Enregistrer.

gcloud

Les paramètres de planification Airflow suivants sont disponibles :

• --scheduler-count : nombre de planificateurs dans votre environnement.

Exécutez la commande Google Cloud CLI suivante :

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-count SCHEDULER_COUNT

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.

• LOCATION : région où se trouve l'environnement.

Exemple :

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-count 2

API

1. Rédigez une requête API environments.patch.

2. Dans cette requête :

   1. Dans le paramètre updateMask, spécifiez la Masque config.workloadsConfig.schedulerCount.

   2. Dans le corps de la requête, indiquez le nombre de planificateurs pour votre environnement.

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": SCHEDULER_COUNT
    }
  }
}

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.

• LOCATION: région dans laquelle se trouve l'environnement.

• SCHEDULER_COUNT: nombre de programmeurs.

Exemple :

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": 2
    }
  }
}

Terraform

Les champs suivants du bloc workloads_config.scheduler contrôlent Paramètres du programmeur Airflow. Chaque programmeur utilise la quantité spécifiée ressources.

• scheduler.count : nombre de planificateurs dans votre environnement.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      scheduler {
        count = SCHEDULER_COUNT
      }
    }

  }
}

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.

• LOCATION: région dans laquelle se trouve l'environnement.

• SCHEDULER_COUNT: nombre de programmeurs.

Exemple :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      scheduler {
        
        count = 2
      }
    }

  }
}

Ajuster les paramètres du déclencheur

Vous pouvez définir le nombre de déclencheurs sur zéro, mais vous avez besoin d'au moins une instance de déclencheur dans votre environnement (ou d'au moins deux dans les environnements hautement résilients) pour utiliser des opérateurs différables dans vos DAG.

En fonction du mode de résilience de votre environnement, différentes configurations sont possibles pour le nombre de déclencheurs :

• Résilience standard: vous pouvez exécuter jusqu'à 10. déclencheurs.
• Résilience élevée: au moins 2 déclencheurs, jusqu'à un maximum de 10.

Même si le nombre de déclencheurs est défini sur zéro, une définition de pod de déclencheur est créée et visible dans le cluster de votre environnement, mais aucune charge de travail de déclencheur n'est exécutée.

Vous pouvez également spécifier la quantité de processeurs, de mémoire et d'espace disque utilisés par Airflow. et les déclencheurs de votre environnement. Vous pouvez ainsi améliorer les performances votre environnement, en plus du scaling horizontal fourni par l'utilisation de plusieurs déclencheurs.

Remarque : Pour en savoir plus sur les valeurs et les limites possibles pour les ressources, consultez la section Limites des ressources.

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement.

4. Dans l'élément Ressources > Configuration des charges de travail, cliquez sur Modifier.

5. Dans le volet Configuration des charges de travail, ajustez les paramètres pour Airflow. déclencheurs:

   1. Dans le champ Nombre de déclencheurs de la section Déclencheur, saisissez le nombre de déclencheurs dans votre environnement.

      Si vous avez défini au moins un déclencheur pour votre environnement, utilisez également la classe les champs Processeur et Mémoire pour configurer l'allocation des ressources pour vos déclencheurs.

   2. Dans les champs CPU et Mémoire, spécifiez le nombre de processeurs, de mémoire et d'espace disque pour les déclencheurs Airflow. Chaque déclencheur utilise la quantité de ressources spécifiée.

6. Cliquez sur Enregistrer.

gcloud

Les paramètres suivants du déclencheur Airflow sont disponibles:

Attention : Utilisez toujours les trois arguments, --triggerer-cpu, --triggerer-memory et --triggerer-count. Si vous omettez un paramètre, sa valeur actuelle est réinitialisée: 0.5 vCPU (processeur virtuel) 0.5 de mémoire ou le nombre de déclencheurs le mode de résilience mobile.

• --triggerer-count: nombre de déclencheurs dans votre environnement.

  • Pour les environnements de résilience standards, utilisez une valeur comprise entre 0 et 10.
  • Pour les environnements hautement résilients, utilisez 0 ou une valeur comprise entre 2 et 10

• --triggerer-cpu: nombre de processeurs pour un déclencheur Airflow.

• --triggerer-memory : quantité de mémoire pour un déclencheur Airflow.

Exécutez la commande Google Cloud CLI suivante:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --triggerer-count TRIGGERER_COUNT \
  --triggerer-cpu TRIGGERER_CPU \
  --triggerer-memory TRIGGERER_MEMORY

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.
• LOCATION : région où se trouve l'environnement.
• TRIGGERER_COUNT: nombre de déclencheurs
• TRIGGERER_CPU : nombre de processeurs pour un déclencheur, en unités de processeur virtuel.
• TRIGGERER_MEMORY: quantité de mémoire pour un déclencheur.

Remarque : La valeur spécifiée pour la mémoire et l'espace disque doit être un nombre entier suivi d'une unité de taille (KB pour le kilo-octet, MB pour le mégaoctet ou GB pour le gigaoctet). L'unité de taille par défaut est GB. Par exemple, 10GB génère un espace disque de 10 Go.

Exemples :

• Passez à quatre instances de déclencheur:

  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 4 \
    --triggerer-cpu 1 \
    --triggerer-memory 1
  ```

- Disable triggerers by setting triggerer count to `0`. This operation
  doesn't require specifying CPU or memory for the triggerers.

```bash
  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 0
  ```

API

1. Dans le paramètre de requête updateMask, spécifiez le masque config.workloadsConfig.triggerer.

2. Dans le corps de la requête, spécifiez les trois paramètres des déclencheurs.

"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": TRIGGERER_COUNT,
      "cpu": TRIGGERER_CPU,
      "memoryGb": TRIGGERER_MEMORY
    }
  }
}

Remplacez les éléments suivants :

• TRIGGERER_COUNT : nombre de déclencheurs.

  • Pour les environnements de résilience standards, utilisez une valeur comprise entre 0 et 10.
  • Pour les environnements très résilients, utilisez 0 ou une valeur comprise entre 2 et 10.

• TRIGGERER_CPU: nombre de processeurs d'un déclencheur, en unités de vCPU.

• TRIGGERER_MEMORY: quantité de mémoire pour un déclencheur.

Exemples :

• Désactivez les déclencheurs en définissant le nombre de déclencheurs sur 0. Cette opération il n'est pas nécessaire de spécifier le processeur ni la mémoire pour les déclencheurs.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 0
    }
  }
}

• Passer à quatre instances de déclencheur :

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 4,
      "cpu": 1,
      "memoryGb": 1
    }
  }
}

Terraform

Les champs suivants du bloc workloads_config.triggerer contrôlent les paramètres du déclencheur Airflow. Chaque déclencheur utilise la quantité spécifiée ressources.

• triggerer.count: nombre de déclencheurs dans votre environnement.

  • Pour les environnements de résilience standards, utilisez une valeur comprise entre 0 et 10.
  • Pour les environnements hautement résilients, utilisez 0 ou une valeur comprise entre 2 et 10.

• triggerer.cpu : nombre de processeurs pour un déclencheur Airflow.

• triggerer.memory_gb : quantité de mémoire pour un déclencheur Airflow.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
    }

  }
}

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.
• LOCATION : région où se trouve l'environnement.
• TRIGGERER_COUNT: nombre de déclencheurs
• TRIGGERER_CPU : nombre de processeurs pour un déclencheur, en unités de processeur virtuel.
• TRIGGERER_MEMORY: quantité de mémoire d'un déclencheur, en Go.

Exemple :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
    }

  }
}

Ajuster les paramètres du serveur Web

Vous pouvez spécifier la quantité de processeurs, de mémoire et d'espace disque utilisés par le serveur Web Airflow dans votre environnement. Vous pouvez ainsi faire évoluer les performances de l'interface utilisateur d'Airflow, par exemple, pour répondre à la demande d'un grand nombre d'utilisateurs ou d'un grand nombre de DAG gérés.

Remarque :Pour en savoir plus sur les valeurs et limites possibles pour les ressources, consultez la section Limites de ressources.

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement.

4. Dans l'élément Ressources > Configuration des charges de travail, cliquez sur Modifier.

5. Dans le volet Configuration des charges de travail, ajustez les paramètres du serveur Web. Dans les champs Processeur, Mémoire et Stockage, spécifiez le nombre de processeurs, la mémoire et le stockage pour le serveur web.

6. Cliquez sur Enregistrer.

gcloud

Les paramètres suivants du serveur Web Airflow sont disponibles :

• --web-server-cpu : nombre de processeurs pour le serveur Web Airflow.
• --web-server-memory: quantité de mémoire pour le Web Airflow Google Cloud.
• --web-server-storage : quantité d'espace disque pour le serveur Web Airflow.

Exécutez la commande Google Cloud CLI suivante:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-cpu WEB_SERVER_CPU \
  --web-server-memory WEB_SERVER_MEMORY \
  --web-server-storage WEB_SERVER_STORAGE

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.
• LOCATION : région où se trouve l'environnement.
• WEB_SERVER_CPU : nombre de processeurs pour le serveur Web, en unités de processeur virtuel.
• WEB_SERVER_MEMORY: quantité de mémoire pour le serveur Web.
• WEB_SERVER_STORAGE: quantité de mémoire pour le serveur Web.

Remarque : La valeur spécifiée pour la mémoire et l'espace disque doit être un nombre entier suivi d'une unité de taille (KB pour le kilo-octet, MB pour le mégaoctet ou GB pour le gigaoctet). L'unité de taille par défaut est GB. Par exemple, 10GB génère un espace disque de 10 Go.

Exemple :

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-cpu 1 \
  --web-server-memory 2.5 \
  --web-server-storage 2

API

1. Rédigez une requête API environments.patch.

2. Dans cette requête :

   1. Dans le paramètre updateMask, spécifiez le masque config.workloadsConfig.webServer pour mettre à jour tous les serveurs Web paramètres. Vous pouvez également mettre à jour les paramètres individuels du serveur Web en spécifiant un masque pour ces valeurs: config.workloadsConfig.webServer.cpu config.workloadsConfig.webServer.memoryGb, config.workloadsConfig.webServer.storageGb

   2. Dans le corps de la requête, spécifiez les paramètres du nouveau serveur Web.

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": WEB_SERVER_CPU,
      "memoryGb": WEB_SERVER_MEMORY,
      "storageGb": WEB_SERVER_STORAGE
    }
  }
}

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.
• LOCATION : région où se trouve l'environnement.
• WEB_SERVER_CPU: le nombre de processeurs pour le serveur Web, en unités de vCPU.
• WEB_SERVER_MEMORY: quantité de mémoire pour le serveur Web, en Go.
• WEB_SERVER_STORAGE : taille du disque pour le serveur Web, en Go.

Exemple :

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2
    }
  }
}

Terraform

Les champs suivants du bloc workloads_config.web_server contrôlent les paramètres du serveur Web.

• web_server.cpu : nombre de processeurs pour le serveur Web.
• web_server.memory_gb : quantité de mémoire pour le serveur Web.
• web_server.storage_gb : quantité d'espace disque pour le serveur Web.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
    }

  }
}

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.
• LOCATION : région où se trouve l'environnement.
• WEB_SERVER_CPU: le nombre de processeurs pour le serveur Web, en unités de vCPU.
• WEB_SERVER_MEMORY: quantité de mémoire pour le serveur Web, en Go.
• WEB_SERVER_STORAGE : taille du disque pour le serveur Web, en Go.

Exemple :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      web_server {
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
      }
    }

  }
}

Ajuster la taille de l'environnement

La taille de l'environnement contrôle les paramètres de performances des L'infrastructure Cloud Composer, qui comprend, par exemple, la base de données Airflow.

Envisagez de sélectionner une plus grande taille d'environnement si vous souhaitez exécuter un grand nombre de DAG et de tâches.

Remarque : La taille de l'environnement est différente de celle prédéfinie. Les paramètres d'environnement prédéfinis, que vous pouvez sélectionner lorsque vous créez un environnement, déterminent toutes les limites ainsi que les paramètres de scaling et de performances de votre environnement, ce qui inclut la taille de l'environnement. La taille de l'environnement détermine uniquement les paramètres de performance de l'infrastructure Cloud Composer gérée de votre environnement.

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement.

4. Dans l'élément Ressources > Configuration des charges de travail, cliquez sur Modifier.

5. Dans l'élément Ressources > Infrastructure principale, cliquez sur Modifier.

6. Dans le volet Infrastructure de base, dans le champ Taille de l'environnement, spécifiez la taille de l'environnement.

7. Cliquez sur Enregistrer.

gcloud

L'argument --environment-size contrôle la taille de l'environnement :

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --environment-size ENVIRONMENT_SIZE

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.
• LOCATION : région où se trouve l'environnement.
• ENVIRONMENT_SIZE : small, medium ou large.

Exemple :

gcloud composer environments update example-environment \
    --location us-central1 \
    --environment-size medium

API

1. Créez une requête API environments.patch.

2. Dans cette requête :

   1. Dans le paramètre updateMask, spécifiez le masque config.environmentSize.

   2. Dans le corps de la requête, spécifiez la taille de l'environnement.

  "config": {
    "environmentSize": "ENVIRONMENT_SIZE"
  }

Remplacez les éléments suivants :

• ENVIRONMENT_SIZE: taille de l'environnement, ENVIRONMENT_SIZE_SMALL. ENVIRONMENT_SIZE_MEDIUM ou ENVIRONMENT_SIZE_LARGE.

Exemple :

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize

"config": {
  "environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}

Terraform

Le champ environment_size du bloc config contrôle la taille de l'environnement :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    environment_size = "ENVIRONMENT_SIZE"

  }
}

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.
• LOCATION: région dans laquelle se trouve l'environnement.
• ENVIRONMENT_SIZE : taille de l'environnement, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM ou ENVIRONMENT_SIZE_LARGE.

Exemple :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    }
  }
}

Ajuster le nombre de nœuds

Vous pouvez modifier le nombre de nœuds dans votre environnement.

Ce nombre correspond au nombre de nœuds de calcul Airflow dans votre environnement. En plus des nœuds de calcul Airflow, les nœuds d'environnement exécutent également Airflow les programmeurs et d'autres composants d'environnement.

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement.

4. Dans Nœuds de calcul > Nombre de nœuds, cliquez sur Modifier.

5. Dans le champ Nombre de nœuds du volet Configuration des nœuds de calcul, spécifiez le nombre de nœuds dans votre environnement.

6. Cliquez sur Enregistrer.

gcloud

L'argument --node-count contrôle le nombre de nœuds dans votre environnement :

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --zone NODE_ZONE \
    --node-count NODE_COUNT

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.
• LOCATION : région où se trouve l'environnement.
• NODE_COUNT: nombre de nœuds. Le nombre minimal de nœuds est de 3.
• NODE_ZONE : zone Compute Engine des VM de votre environnement.

Exemple :

gcloud composer environments update example-environment \
    --location us-central1 \
    --zone us-central1-a \
    --node-count 6

API

1. Créez une requête API environments.patch.

2. Dans cette requête :

   1. Dans le paramètre updateMask, spécifiez le masque config.nodeCount.

   2. Dans le corps de la requête, spécifiez le nombre de nœuds de votre environnement.

  "config": {
    "nodeCount": NODE_COUNT
  }

Remplacez les éléments suivants :

• NODE_COUNT : nombre de nœuds. Le nombre minimal de nœuds est de 3.

Exemple :

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount

"config": {
  "nodeCount": 6
}

Terraform

Le champ node_count du bloc node_config spécifie le nombre de les nœuds de votre environnement.

resource "google_composer_environment" "example" {

  config {
    node_config {
      node_count = NODE_COUNT
    }
}

Remplacez les éléments suivants :

• NODE_COUNT: nombre de nœuds.

Exemple :

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      node_count = 4
    }

}

Remarque : La modification du nombre de nœuds d'un environnement ne déclenche pas la recréation des images Airflow utilisées pour l'environnement.

Ajuster le type de machine de l'instance Cloud SQL

Vous pouvez modifier le type de machine de l'instance Cloud SQL qui stocke le Base de données Airflow de votre environnement.

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement.

4. Dans l'élément Ressources > Type de machine Cloud SQL, cliquez sur Modifier.

5. Dans le volet Configuration Cloud SQL, dans la liste déroulante Type de machine Cloud SQL, sélectionnez le type de machine pour l'instance Cloud SQL de votre environnement.

6. Cliquez sur Enregistrer.

gcloud

Les arguments --cloud-sql-machine-type contrôlent le type de machine de l'instance Cloud SQL dans votre environnement.

Exécutez la commande Google Cloud CLI suivante:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --cloud-sql-machine-type SQL_MACHINE_TYPE

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.
• LOCATION: région dans laquelle se trouve l'environnement.
• SQL_MACHINE_TYPE: le type de machine pour l'instance Cloud SQL.

Exemple :

gcloud composer environments update example-environment \
  --location us-central1 \
  --cloud-sql-machine-type db-n1-standard-2

API

1. Créez un Requête API environments.patch.

2. Dans cette requête :

   1. Dans le paramètre updateMask, spécifiez la Masque config.databaseConfig.machineType.

   2. Dans le corps de la requête, spécifiez le type de machine pour l'instance Cloud SQL.

{
  "config": {
    "databaseConfig": {
      "machineType": "SQL_MACHINE_TYPE"
    }
  }
}

Remplacez les éléments suivants :

• SQL_MACHINE_TYPE : type de machine pour l'instance Cloud SQL.

Exemple :

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType

{
  "config": {
    "databaseConfig": {
      "machineType": "db-n1-standard-2"
    }
  }
}

Terraform

Le champ machine_type du bloc database_config spécifie le type de machine pour l'instance Cloud SQL.

resource "google_composer_environment" "example" {

  config {
    database_config {
      machine_type = "SQL_MACHINE_TYPE"
    }
  }
}

Remplacez les éléments suivants :

• SQL_MACHINE_TYPE: type de machine pour l'instance Cloud SQL.

Exemple :

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    database_config {
      machine_type = "db-n1-standard-2"
    }
}

Ajuster le type de machine du serveur Web

Vous pouvez modifier le type de machine pour le serveur Web Airflow de votre environnement.

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement.

4. Dans l'élément Ressources > Type de machine du serveur Web, cliquez sur Modifier.

5. Dans le volet Configuration du serveur Web, dans le fichier la liste déroulante Type de machine du serveur Web, sélectionnez le type de machine pour le serveur Web Airflow.

6. Cliquez sur Enregistrer.

gcloud

Les arguments --web-server-machine-type contrôlent le type de machine de l'instance de serveur Web Airflow dans votre environnement.

Exécutez la commande Google Cloud CLI suivante :

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-machine-type WS_MACHINE_TYPE

Remplacez les éléments suivants :

• ENVIRONMENT_NAME : nom de l'environnement.
• LOCATION : région où se trouve l'environnement.
• WS_MACHINE_TYPE : type de machine pour l'instance de serveur Web Airflow.

Exemple :

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-machine-type composer-n1-webserver-2

API

1. Créez un Requête API environments.patch.

2. Dans cette requête :

   1. Dans le paramètre updateMask, spécifiez la Masque config.webServerConfig.machineType.

   2. Dans le corps de la requête, spécifiez le type de machine pour le serveur Web.

{
  "config": {
    "webServerConfig": {
      "machineType": "WS_MACHINE_TYPE"
    }
  }
}

Remplacez les éléments suivants :

• WS_MACHINE_TYPE: le Type de machine pour l'instance de serveur Web Airflow.

Exemple :

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType

{
  "config": {
    "webServerConfig": {
      "machineType": "composer-n1-webserver-2"
    }
  }
}

Terraform

Le champ machine_type du bloc web_server_config spécifie le type de machine pour l'instance de serveur Web Airflow.

resource "google_composer_environment" "example" {

  config {
    web_server_config {
      machine_type = "WS_MACHINE_TYPE"
    }
  }
}

Remplacez les éléments suivants :

• WS_MACHINE_TYPE: le Type de machine pour l'instance de serveur Web Airflow.

Exemple :

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    web_server_config {
      machine_type = "composer-n1-webserver-2"
    }
}

Étape suivante

• Scaling et performances des environnements
• Tarifs de Cloud Composer
• Mettre à jour des environnements
• Architecture des environnements