Cloud Composer 1 | Cloud Composer 2
Cette page explique comment effectuer le scaling d'environnements Cloud Composer.
Scaling vertical et horizontal
Dans Cloud Composer 1, vous ne définissez pas de ressources de processeur et de mémoire spécifiques pour Cloud Composer et les composants Airflow tels que les nœuds de calcul et les programmeurs. À la place, vous spécifiez le nombre et le type de machines pour les nœuds du cluster de votre environnement.
Options de scaling horizontal :
- Ajuster le nombre de nœuds
- Ajuster le nombre de programmeurs
Options de scaling vertical :
- Ajuster le type de machine de l'instance Cloud SQL
- Ajuster le type de machine du serveur Web
Ajuster les paramètres du programmeur
Votre environnement peut exécuter plusieurs programmeurs Airflow à la fois. Utilisez plusieurs programmeurs pour répartir la charge entre les instances de programmeur, et ainsi améliorer les performances et la fiabilité.
Si votre environnement utilise Airflow 2, vous pouvez spécifier un nombre de programmeurs en fonction du nombre de nœuds de votre environnement.
L'augmentation du nombre de programmeurs n'améliore pas toujours les performances d'Airflow. Par exemple, le fait d'avoir un seul programmeur peut offrir de meilleures performances que deux. C'est le cas lorsque le programmeur supplémentaire n'est pas utilisé et consomme donc les ressources de votre environnement sans incidence sur les performances globales. Les performances réelles du programmeur dépendent du nombre de nœuds de calcul Airflow, du nombre de DAG et des tâches exécutées dans votre environnement, ainsi que de la configuration d'Airflow et de l'environnement.
Nous vous recommandons de commencer par deux programmeurs, puis de surveiller les performances de votre environnement. Si vous modifiez le nombre de programmeurs, vous pouvez toujours rétablir l'échelle du nombre de programmeurs d'origine de votre environnement.
Pour en savoir plus sur la configuration de plusieurs programmeurs, consultez la documentation Airflow.
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement.
Dans l'élément Ressources > Configuration des charges de travail, cliquez sur Modifier.
Dans l'élément Ressources > Nombre de programmeurs, cliquez sur Modifier.
Dans le volet Scheduler configuration (Configuration du programmeur), dans le champ Number of schedulers (Nombre de programmeurs), spécifiez le nombre de programmeurs pour votre environnement.
Cliquez sur Enregistrer.
gcloud
Les paramètres suivants du programmeur Airflow sont disponibles:
--scheduler-count
: nombre de programmeurs dans votre environnement.
Exécutez la commande Google Cloud CLI suivante:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--scheduler-count SCHEDULER_COUNT
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.
Exemple :
gcloud composer environments update example-environment \
--location us-central1 \
--scheduler-count 2
API
Rédigez une requête API
environments.patch
.Dans cette requête :
Dans le paramètre
updateMask
, spécifiez le masqueconfig.workloadsConfig.schedulerCount
.Dans le corps de la requête, spécifiez le nombre de programmeurs pour votre environnement.
"config": {
"workloadsConfig": {
"scheduler": {
"count": SCHEDULER_COUNT
}
}
}
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.SCHEDULER_COUNT
: nombre de programmeurs.
Exemple :
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler
"config": {
"workloadsConfig": {
"scheduler": {
"count": 2
}
}
}
Terraform
Les champs suivants du bloc workloads_config.scheduler
contrôlent les paramètres du programmeur Airflow. Chaque programmeur utilise la quantité spécifiée de ressources.
scheduler.count
: nombre de programmeurs dans votre environnement.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
scheduler {
count = SCHEDULER_COUNT
}
}
}
}
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.SCHEDULER_COUNT
: nombre de programmeurs.
Exemple :
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
scheduler {
count = 2
}
}
}
}
Ajuster les paramètres du déclencheur
Vous pouvez définir le nombre de déclencheurs sur zéro, mais vous avez besoin d'au moins une instance de déclencheur dans votre environnement (ou d'au moins deux dans les environnements hautement résilients) pour utiliser des opérateurs différables dans vos DAG.
Selon le mode de résilience de votre environnement, il existe différentes configurations possibles pour le nombre de déclencheurs:
- Résilience standard: vous pouvez exécuter jusqu'à 10 déclencheurs.
- Résilience élevée: au moins 2 déclencheurs et jusqu'à 10
Même si le nombre de déclencheurs est défini sur zéro, une définition de pod de déclencheur est créée et visible dans le cluster de votre environnement, mais aucune charge de travail de déclencheur réelle n'est exécutée.
Vous pouvez également spécifier la quantité de processeurs, de mémoire et d'espace disque utilisés par les déclencheurs Airflow dans votre environnement. De cette manière, vous pouvez améliorer les performances de votre environnement, en plus du scaling horizontal fourni en utilisant plusieurs déclencheurs.
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement.
Dans l'élément Ressources > Configuration des charges de travail, cliquez sur Modifier.
Dans le volet Configuration des charges de travail, ajustez les paramètres des déclencheurs Airflow:
Dans le champ Nombre de déclencheurs de la section Déclencheur, saisissez le nombre de déclencheurs dans votre environnement.
Si vous définissez au moins un déclencheur pour votre environnement, utilisez également les champs Processeur et Mémoire afin de configurer l'allocation de ressources pour vos déclencheurs.
Dans les champs Processeur et Mémoire, spécifiez le nombre de processeurs, la mémoire et l'espace de stockage pour les déclencheurs Airflow. Chaque déclencheur utilise la quantité de ressources spécifiée.
Cliquez sur Enregistrer.
gcloud
Les paramètres suivants du déclencheur Airflow sont disponibles:
--triggerer-count
: nombre de déclencheurs dans votre environnement.- Pour les environnements de résilience standards, utilisez une valeur comprise entre
0
et10
. - Pour les environnements hautement résilients, utilisez
0
ou une valeur comprise entre2
et10
.
- Pour les environnements de résilience standards, utilisez une valeur comprise entre
--triggerer-cpu
: nombre de processeurs pour un déclencheur Airflow.--triggerer-memory
: quantité de mémoire pour un déclencheur Airflow.
Exécutez la commande Google Cloud CLI suivante:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--triggerer-count TRIGGERER_COUNT \
--triggerer-cpu TRIGGERER_CPU \
--triggerer-memory TRIGGERER_MEMORY
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.TRIGGERER_COUNT
: nombre de déclencheurs.TRIGGERER_CPU
: nombre de processeurs d'un déclencheur, en unités de vCPU.TRIGGERER_MEMORY
: quantité de mémoire pour un déclencheur.
Exemples :
- Passez à quatre instances de déclencheur:
gcloud composer environments update example-environment \
--location us-central1 \
--triggerer-count 4 \
--triggerer-cpu 1 \
--triggerer-memory 1
```
- Disable triggerers by setting triggerer count to `0`. This operation
doesn't require specifying CPU or memory for the triggerers.
```bash
gcloud composer environments update example-environment \
--location us-central1 \
--triggerer-count 0
```
API
Dans le paramètre de requête
updateMask
, spécifiez le masqueconfig.workloadsConfig.triggerer
.Dans le corps de la requête, spécifiez les trois paramètres des déclencheurs.
"config": {
"workloadsConfig": {
"triggerer": {
"count": TRIGGERER_COUNT,
"cpu": TRIGGERER_CPU,
"memoryGb": TRIGGERER_MEMORY
}
}
}
Remplacez les éléments suivants :
TRIGGERER_COUNT
: nombre de déclencheurs.- Pour les environnements de résilience standards, utilisez une valeur comprise entre
0
et10
. - Pour les environnements hautement résilients, utilisez
0
ou une valeur comprise entre2
et10
.
- Pour les environnements de résilience standards, utilisez une valeur comprise entre
TRIGGERER_CPU
: nombre de processeurs d'un déclencheur, en unités de vCPU.TRIGGERER_MEMORY
: quantité de mémoire pour un déclencheur.
Exemples :
- Désactivez les déclencheurs en définissant le nombre de déclencheurs sur
0
. Cette opération ne nécessite pas de spécifier de processeur ni de mémoire pour les déclencheurs.
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
"workloadsConfig": {
"triggerer": {
"count": 0
}
}
}
- Passez à quatre instances de déclencheur:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
"workloadsConfig": {
"triggerer": {
"count": 4,
"cpu": 1,
"memoryGb": 1
}
}
}
Terraform
Les champs suivants du bloc workloads_config.triggerer
contrôlent les paramètres du déclencheur Airflow. Chaque déclencheur utilise la quantité spécifiée de ressources.
triggerer.count
: nombre de déclencheurs dans votre environnement.- Pour les environnements de résilience standards, utilisez une valeur comprise entre
0
et10
. - Pour les environnements hautement résilients, utilisez
0
ou une valeur comprise entre2
et10
.
- Pour les environnements de résilience standards, utilisez une valeur comprise entre
triggerer.cpu
: nombre de processeurs pour un déclencheur Airflow.triggerer.memory_gb
: quantité de mémoire pour un déclencheur Airflow.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
triggerer {
count = TRIGGERER_COUNT
cpu = TRIGGERER_CPU
memory_gb = TRIGGERER_MEMORY
}
}
}
}
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.TRIGGERER_COUNT
: nombre de déclencheurs.TRIGGERER_CPU
: nombre de processeurs d'un déclencheur, en unités de vCPU.TRIGGERER_MEMORY
: quantité de mémoire d'un déclencheur, en Go.
Exemple :
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
triggerer {
count = 1
cpu = 0.5
memory_gb = 0.5
}
}
}
}
Ajuster les paramètres du serveur Web
Vous pouvez spécifier la quantité de processeurs, de mémoire et d'espace disque utilisés par le serveur Web Airflow dans votre environnement. De cette manière, vous pouvez adapter les performances de l'interface utilisateur Airflow, par exemple, pour qu'elles correspondent à la demande provenant d'un grand nombre d'utilisateurs ou d'un grand nombre de DAG gérés.
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement.
Dans l'élément Ressources > Configuration des charges de travail, cliquez sur Modifier.
Dans le volet Configuration des charges de travail, ajustez les paramètres du serveur Web. Dans les champs Processeur, Mémoire et Stockage, spécifiez le nombre de processeurs, la mémoire et l'espace de stockage pour le serveur Web.
Cliquez sur Enregistrer.
gcloud
Les paramètres de serveur Web Airflow suivants sont disponibles:
--web-server-cpu
: nombre de processeurs pour le serveur Web Airflow.--web-server-memory
: quantité de mémoire pour le serveur Web Airflow.--web-server-storage
: quantité d'espace disque pour le serveur Web Airflow.
Exécutez la commande Google Cloud CLI suivante:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--web-server-cpu WEB_SERVER_CPU \
--web-server-memory WEB_SERVER_MEMORY \
--web-server-storage WEB_SERVER_STORAGE
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.WEB_SERVER_CPU
: nombre de processeurs pour le serveur Web, exprimé en vCPU.WEB_SERVER_MEMORY
: quantité de mémoire pour le serveur Web.WEB_SERVER_STORAGE
: quantité de mémoire pour le serveur Web.
Exemple :
gcloud composer environments update example-environment \
--location us-central1 \
--web-server-cpu 1 \
--web-server-memory 2.5 \
--web-server-storage 2
API
Rédigez une requête API
environments.patch
.Dans cette requête :
Dans le paramètre
updateMask
, spécifiez le masqueconfig.workloadsConfig.webServer
pour mettre à jour tous les paramètres du serveur Web. Vous pouvez également mettre à jour des paramètres de serveur Web individuels en spécifiant un masque pour ces paramètres :config.workloadsConfig.webServer.cpu
,config.workloadsConfig.webServer.memoryGb
etconfig.workloadsConfig.webServer.storageGb
.Dans le corps de la requête, spécifiez les paramètres du nouveau serveur Web.
"config": {
"workloadsConfig": {
"webServer": {
"cpu": WEB_SERVER_CPU,
"memoryGb": WEB_SERVER_MEMORY,
"storageGb": WEB_SERVER_STORAGE
}
}
}
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.WEB_SERVER_CPU
: nombre de processeurs pour le serveur Web, exprimé en vCPU.WEB_SERVER_MEMORY
: quantité de mémoire pour le serveur Web, en Go.WEB_SERVER_STORAGE
: taille du disque du serveur Web, en Go.
Exemple :
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb
"config": {
"workloadsConfig": {
"webServer": {
"cpu": 0.5,
"memoryGb": 2.5,
"storageGb": 2
}
}
}
Terraform
Les champs suivants du bloc workloads_config.web_server
contrôlent les paramètres du serveur Web.
web_server.cpu
: le nombre de processeurs pour le serveur Web.web_server.memory_gb
: quantité de mémoire pour le serveur Web.web_server.storage_gb
: quantité d'espace disque pour le serveur Web.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
web_server {
cpu = WEB_SERVER_CPU
memory_gb = WEB_SERVER_MEMORY
storage_gb = WEB_SERVER_STORAGE
}
}
}
}
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.WEB_SERVER_CPU
: nombre de processeurs pour le serveur Web, exprimé en vCPU.WEB_SERVER_MEMORY
: quantité de mémoire pour le serveur Web, en Go.WEB_SERVER_STORAGE
: taille du disque du serveur Web, en Go.
Exemple :
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
web_server {
cpu = 0.5
memory_gb = 1.875
storage_gb = 1
}
}
}
}
Ajuster la taille de l'environnement
La taille de l'environnement contrôle les paramètres de performances de l'infrastructure Cloud Composer gérée, qui inclut, par exemple, la base de données Airflow.
Envisagez de sélectionner une plus grande taille d'environnement si vous souhaitez exécuter un grand nombre de DAG et de tâches.
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement.
Dans l'élément Ressources > Configuration des charges de travail, cliquez sur Modifier.
Dans l'élément Ressources > Infrastructure de base, cliquez sur Modifier.
Dans le volet Infrastructure principale, spécifiez la taille de l'environnement dans le champ Taille de l'environnement.
Cliquez sur Enregistrer.
gcloud
L'argument --environment-size
contrôle la taille de l'environnement :
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--environment-size ENVIRONMENT_SIZE
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.ENVIRONMENT_SIZE
:small
,medium
oularge
.
Exemple :
gcloud composer environments update example-environment \
--location us-central1 \
--environment-size medium
API
Créez une requête API
environments.patch
.Dans cette requête :
Dans le paramètre
updateMask
, spécifiez le masqueconfig.environmentSize
.Dans le corps de la requête, spécifiez la taille de l'environnement.
"config": {
"environmentSize": "ENVIRONMENT_SIZE"
}
Remplacez les éléments suivants :
ENVIRONMENT_SIZE
: taille de l'environnement,ENVIRONMENT_SIZE_SMALL
,ENVIRONMENT_SIZE_MEDIUM
ouENVIRONMENT_SIZE_LARGE
.
Exemple :
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize
"config": {
"environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}
Terraform
Le champ environment_size
du bloc config
contrôle la taille de l'environnement:
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
environment_size = "ENVIRONMENT_SIZE"
}
}
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.ENVIRONMENT_SIZE
: taille de l'environnement,ENVIRONMENT_SIZE_SMALL
,ENVIRONMENT_SIZE_MEDIUM
ouENVIRONMENT_SIZE_LARGE
.
Exemple :
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
environment_size = "ENVIRONMENT_SIZE_SMALL"
}
}
}
Ajuster le nombre de nœuds
Vous pouvez modifier le nombre de nœuds dans votre environnement.
Ce nombre correspond au nombre de nœuds de calcul Airflow dans votre environnement. En plus d'exécuter des nœuds de calcul Airflow, les nœuds d'environnement exécutent également les programmeurs Airflow et d'autres composants d'environnement.
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement.
Dans Nœuds de calcul > Nombre de nœuds, cliquez sur Modifier.
Dans le volet Configuration des nœuds de calcul, dans le champ Nombre de nœuds, spécifiez le nombre de nœuds de votre environnement.
Cliquez sur Enregistrer.
gcloud
L'argument --node-count
contrôle le nombre de nœuds dans votre environnement :
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--zone NODE_ZONE \
--node-count NODE_COUNT
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.NODE_COUNT
: nombre de nœuds Le nombre minimal de nœuds est de3
.NODE_ZONE
: zone Compute Engine des VM de votre environnement.
Exemple :
gcloud composer environments update example-environment \
--location us-central1 \
--zone us-central1-a \
--node-count 6
API
Créez une requête API
environments.patch
.Dans cette requête :
Dans le paramètre
updateMask
, spécifiez le masqueconfig.nodeCount
.Dans le corps de la requête, spécifiez le nombre de nœuds de votre environnement.
"config": {
"nodeCount": NODE_COUNT
}
Remplacez les éléments suivants :
NODE_COUNT
: nombre de nœuds Le nombre minimal de nœuds est de3
.
Exemple :
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount
"config": {
"nodeCount": 6
}
Terraform
Le champ node_count
du bloc node_config
spécifie le nombre de nœuds dans votre environnement.
resource "google_composer_environment" "example" {
config {
node_config {
node_count = NODE_COUNT
}
}
Remplacez les éléments suivants :
NODE_COUNT
: nombre de nœuds
Exemple :
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
node_config {
node_count = 4
}
}
Ajuster le type de machine de l'instance Cloud SQL
Vous pouvez modifier le type de machine de l'instance Cloud SQL qui stocke la base de données Airflow de votre environnement.
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement.
Dans la section Ressources > Type de machine Cloud SQL, cliquez sur Modifier.
Dans le volet Configuration Cloud SQL, dans la liste déroulante Type de machine Cloud SQL, sélectionnez le type de machine de l'instance Cloud SQL de votre environnement.
Cliquez sur Enregistrer.
gcloud
Les arguments --cloud-sql-machine-type
contrôlent le type de machine de l'instance Cloud SQL dans votre environnement.
Exécutez la commande Google Cloud CLI suivante:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--cloud-sql-machine-type SQL_MACHINE_TYPE
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.SQL_MACHINE_TYPE
: type de machine de l'instance Cloud SQL.
Exemple :
gcloud composer environments update example-environment \
--location us-central1 \
--cloud-sql-machine-type db-n1-standard-2
API
Créez une requête API
environments.patch
.Dans cette requête :
Dans le paramètre
updateMask
, spécifiez le masqueconfig.databaseConfig.machineType
.Dans le corps de la requête, spécifiez le type de machine pour l'instance Cloud SQL.
{
"config": {
"databaseConfig": {
"machineType": "SQL_MACHINE_TYPE"
}
}
}
Remplacez les éléments suivants :
SQL_MACHINE_TYPE
: type de machine pour l'instance Cloud SQL.
Exemple :
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType
{
"config": {
"databaseConfig": {
"machineType": "db-n1-standard-2"
}
}
}
Terraform
Le champ machine_type
du bloc database_config
spécifie le type de machine pour l'instance Cloud SQL.
resource "google_composer_environment" "example" {
config {
database_config {
machine_type = "SQL_MACHINE_TYPE"
}
}
}
Remplacez les éléments suivants :
SQL_MACHINE_TYPE
: type de machine pour l'instance Cloud SQL.
Exemple :
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
database_config {
machine_type = "db-n1-standard-2"
}
}
Ajuster le type de machine du serveur Web
Vous pouvez modifier le type de machine pour le serveur Web Airflow de votre environnement.
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement.
Dans l'élément Ressources > Type de machine du serveur Web, cliquez sur Modifier.
Dans le volet Configuration du serveur Web, dans la liste déroulante Type de machine du serveur Web, sélectionnez le type de machine du serveur Web Airflow.
Cliquez sur Enregistrer.
gcloud
Les arguments --web-server-machine-type
contrôlent le type de machine de l'instance de serveur Web Airflow dans votre environnement.
Exécutez la commande Google Cloud CLI suivante:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--web-server-machine-type WS_MACHINE_TYPE
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnement.LOCATION
: région dans laquelle se trouve l'environnement.WS_MACHINE_TYPE
: type de machine pour l'instance de serveur Web Airflow.
Exemple :
gcloud composer environments update example-environment \
--location us-central1 \
--web-server-machine-type composer-n1-webserver-2
API
Créez une requête API
environments.patch
.Dans cette requête :
Dans le paramètre
updateMask
, spécifiez le masqueconfig.webServerConfig.machineType
.Dans le corps de la requête, spécifiez le type de machine pour le serveur Web.
{
"config": {
"webServerConfig": {
"machineType": "WS_MACHINE_TYPE"
}
}
}
Remplacez les éléments suivants :
WS_MACHINE_TYPE
: type de machine pour l'instance de serveur Web Airflow.
Exemple :
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType
{
"config": {
"webServerConfig": {
"machineType": "composer-n1-webserver-2"
}
}
}
Terraform
Le champ machine_type
du bloc web_server_config
spécifie le type de machine de l'instance du serveur Web Airflow.
resource "google_composer_environment" "example" {
config {
web_server_config {
machine_type = "WS_MACHINE_TYPE"
}
}
}
Remplacez les éléments suivants :
WS_MACHINE_TYPE
: type de machine pour l'instance de serveur Web Airflow.
Exemple :
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
web_server_config {
machine_type = "composer-n1-webserver-2"
}
}
Étapes suivantes
- Scaling et performances des environnements
- Tarifs de Cloud Composer
- Mettre à jour des environnements
- Architecture des environnements