Entornos de escalabilidad

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página se describe cómo escalar entornos de Cloud Composer.

Otras páginas sobre el escalado:

• Para obtener una guía sobre cómo seleccionar los parámetros de escalado y rendimiento óptimos para tu entorno, consulta Optimizar el rendimiento y los costes del entorno.
• Para obtener información sobre cómo funciona el escalado del entorno, consulta el artículo Escalado del entorno.

Escalar vertical y horizontalmente

Opciones de escalado horizontal:

• Ajusta el número mínimo y máximo de trabajadores.
• Ajusta el número de programadores y activadores.

Opciones de escalado vertical:

• Ajusta los parámetros de escala y rendimiento de los trabajadores, los programadores, los activadores y los servidores web.
• Ajusta el tamaño del entorno.

Importante: En los casos prácticos de producción, te recomendamos que utilices entornos de alta disponibilidad. La base de datos de Airflow de tu entorno es zonal. Durante una interrupción zonal, las tareas de Airflow que se ejecutan en la zona afectada se interrumpen y Airflow las marca como fallidas. Los entornos de alta resiliencia son más resistentes a este problema porque sus bases de datos se encuentran en dos zonas independientes.

Límites de recursos

Componente	Recuento mínimo	Recuento máximo	vCPU mínima	vCPU máximo	Incremento mínimo de vCPU	Memoria mínima (GB)	Memoria máxima (GB)	Incremento mínimo de memoria (GB)	Memoria mínima por 1 vCPU (GB)	Memoria máxima por 1 vCPU (GB)	Almacenamiento mínimo (GB)	Almacenamiento máximo (GB)	Incremento mínimo de almacenamiento (GB)
Programadores	1	10	0,5	28	0,25	0,5	80	-	1	6,5	0,05	10	-
Activadores	0	10	0,5	1	0,25	0,5	80	-	1	6,5	-	-	-
Servidor web	-	-	0,5	28	0,25	1	80	-	1	6,5	0,05	10	-
Trabajadores	1	100	0,5	28	0,25	0,5	80	-	1	6,5	0,05	10	-

Nota: Cuando configures los límites de recursos de los componentes de Airflow, asegúrate de que superen los requisitos mínimos de recursos de tu caso de uso. Los contenedores sidecar que se ejecutan junto al contenedor del componente principal de Airflow utilizan algunos de los recursos asignados.

Ajustar los parámetros de los trabajadores

Puedes definir el número mínimo y máximo de trabajadores de tu entorno. Cloud Composer escala automáticamente tu entorno dentro de los límites establecidos. Puedes ajustar estos límites en cualquier momento.

Puedes especificar la cantidad de CPUs, memoria y espacio en disco que utilizan los workers de Airflow en tu entorno. De esta forma, puedes aumentar el rendimiento de tu entorno, además de la escalabilidad horizontal que se consigue usando varios workers.

Nota: Para obtener información sobre los valores y límites posibles de los recursos, consulta la sección Límites de recursos.

Consola

1. En la Google Cloud consola, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el elemento Recursos > Configuración de cargas de trabajo, haga clic en Editar.

5. En el panel Configuración de cargas de trabajo, ajusta los parámetros de los trabajadores de Airflow:

   • En el campo Número mínimo de trabajadores, especifica el número de trabajadores de Airflow que tu entorno debe ejecutar siempre. El número de trabajadores de tu entorno no será inferior a este número durante el funcionamiento normal del entorno, aunque un número menor de trabajadores pueda gestionar la carga.

     Nota: El número de trabajadores puede ser inferior al mínimo temporalmente durante las operaciones de mantenimiento y cuando actualices o mejores tu entorno.

   • En el campo Número máximo de trabajadores, especifica el número máximo de trabajadores de Airflow que puede ejecutar tu entorno. El número de trabajadores de tu entorno no supera este número, aunque se necesite un número mayor de trabajadores para gestionar la carga.

   • En los campos CPU, Memoria y Almacenamiento, especifica el número de CPUs, la memoria y el almacenamiento de los trabajadores de Airflow. Cada trabajador usa la cantidad de recursos especificada.

6. Haz clic en Guardar.

gcloud

Están disponibles los siguientes parámetros de los workers de Airflow:

• --min-workers: el número de trabajadores de Airflow que tu entorno debe ejecutar siempre. El número de trabajadores de tu entorno no será inferior a este número, aunque un número menor de trabajadores pueda gestionar la carga.
• --max-workers: número máximo de trabajadores de Airflow que puede ejecutar tu entorno. El número de trabajadores de tu entorno no supera este número, aunque se necesite un número mayor para gestionar la carga.
• --worker-cpu: número de CPUs de un trabajador de Airflow.
• --worker-memory: la cantidad de memoria de un trabajador de Airflow.
• --worker-storage: la cantidad de espacio en disco de un trabajador de Airflow.

Ejecuta el siguiente comando de la CLI de Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --min-workers WORKERS_MIN \
  --max-workers WORKERS_MAX \
  --worker-cpu WORKER_CPU \
  --worker-memory WORKER_MEMORY \
  --worker-storage WORKER_STORAGE

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• WORKERS_MIN: número mínimo de trabajadores de Airflow.
• WORKERS_MAX: número máximo de trabajadores de Airflow.
• WORKER_CPU: número de CPUs de un trabajador, en unidades de vCPU.
• WORKER_MEMORY: la cantidad de memoria de un trabajador.
• WORKER_STORAGE: el tamaño del disco de un trabajador.

Nota: El valor especificado para la memoria y el espacio en disco debe ser un número entero seguido de una unidad de tamaño: KB para kilobyte, MB para megabyte o GB para gigabyte. La unidad de tamaño predeterminada es GB. Por ejemplo, 10GB produce un almacenamiento de 10 gigabytes.

Ejemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --min-workers 2 \
  --max-workers 6 \
  --worker-cpu 1 \
  --worker-memory 2 \
  --worker-storage 2

API

1. Crea una solicitud de la API environments.patch.

2. En esta solicitud:

   1. En el parámetro updateMask, especifica los campos que quieras actualizar. Por ejemplo, para actualizar todos los parámetros de los trabajadores, especifica la máscara config.workloadsConfig.worker.cpu,config.workloadsConfig.worker.memoryGb,config.workloadsConfig.worker.storageGB,config.softwareConfig.workloadsConfig.worker.minCount,config.softwareConfig.workloadsConfig.worker.maxCount.

   2. En el cuerpo de la solicitud, especifica los nuevos parámetros del trabajador.

"config": {
  "workloadsConfig": {
    "worker": {
      "minCount": WORKERS_MIN,
      "maxCount": WORKERS_MAX,
      "cpu": WORKER_CPU,
      "memoryGb": WORKER_MEMORY,
      "storageGb": WORKER_STORAGE
    }
  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• WORKERS_MIN: número mínimo de trabajadores de Airflow.
• WORKERS_MAX: número máximo de trabajadores de Airflow.
• WORKER_CPU: número de CPUs de un trabajador, en unidades de vCPU.
• WORKER_MEMORY: la cantidad de memoria de un trabajador, en GB.
• WORKER_STORAGE: tamaño del disco de un trabajador en GB.

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.worker.minCount,
// config.workloadsConfig.worker.maxCount
// config.workloadsConfig.worker.cpu,
// config.workloadsConfig.worker.memoryGb,
// config.workloadsConfig.worker.storageGB

"config": {
  "workloadsConfig": {
    "worker": {
      "minCount": 2,
      "maxCount": 6,
      "cpu": 1,
      "memoryGb": 2,
      "storageGb": 2
    }
  }
}

Terraform

Los siguientes campos del bloque workloads_config.worker controlan los parámetros del trabajador de Airflow. Cada trabajador usa la cantidad de recursos especificada.

• worker.min_count: el número de trabajadores de Airflow que tu entorno debe ejecutar siempre. El número de trabajadores de tu entorno no será inferior a este número, aunque un número menor de trabajadores pueda gestionar la carga.
• worker.max_count: número máximo de trabajadores de Airflow que puede ejecutar tu entorno. El número de trabajadores de tu entorno no supera este número, aunque se necesite un número mayor para gestionar la carga.
• worker.cpu: número de CPUs de un trabajador de Airflow.
• El worker.memory_gb: la cantidad de memoria de un trabajador de Airflow.
• El worker.storage_gb: la cantidad de espacio en disco de un trabajador de Airflow.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      worker {
        min_count = WORKERS_MIN
        max_count = WORKERS_MAX
        cpu = WORKER_CPU
        memory_gb = WORKER_MEMORY
        storage_gb = WORKER_STORAGE
      }
    }

  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• WORKERS_MIN: número mínimo de trabajadores de Airflow.
• WORKERS_MAX: número máximo de trabajadores de Airflow.
• WORKER_CPU: número de CPUs de un trabajador, en unidades de vCPU.
• WORKER_MEMORY: la cantidad de memoria de un trabajador, en GB.
• WORKER_STORAGE: tamaño del disco de un trabajador en GB.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      worker {
        min_count = 2
        max_count = 6
        cpu = 1
        memory_gb = 2
        storage_gb = 2
      }
    }

  }
}

Ajustar los parámetros del programador

Tu entorno puede ejecutar más de un programador de Airflow al mismo tiempo. Usa varios programadores para distribuir la carga entre varias instancias del programador y así mejorar el rendimiento y la fiabilidad.

Puedes tener hasta 10 programadores en tu entorno.

Cuando escales programadores, ten en cuenta lo siguiente:

• En los entornos de Cloud Composer 3, los procesadores de DAG de Airflow se ejecutan como componentes de entorno independientes de los programadores. Como el procesador de DAG descarga el análisis de los DAGs del programador, puede que quieras redistribuir los recursos que se habían asignado a los programadores de Airflow.

  Como los programadores no analizan los DAGs en Cloud Composer 3, tienen límites de recursos más bajos para la CPU y la memoria que en Cloud Composer 2.

• Aumentar el número de programadores no siempre mejora el rendimiento de Airflow.

  Por ejemplo, esto puede ocurrir cuando no se utiliza el programador adicional y consume recursos de tu entorno sin contribuir al rendimiento general. El rendimiento real del programador depende del número de trabajadores de Airflow, del número de DAGs y tareas que se ejecutan en tu entorno, y de la configuración de Airflow y del entorno.

• Te recomendamos que empieces con dos programadores y, después, monitorices el rendimiento de tu entorno. Si cambias el número de programadores, siempre puedes volver a ajustar tu entorno al número original de programadores.

Para obtener más información sobre cómo configurar varias programaciones, consulta la documentación de Airflow.

Puedes especificar la cantidad de CPUs, memoria y espacio en disco que utilizan los programadores de Airflow en tu entorno. De esta forma, puedes aumentar el rendimiento de tu entorno, además del escalado horizontal que se consigue usando varios programadores.

Nota: Para obtener información sobre los valores y límites posibles de los recursos, consulta la sección Límites de recursos.

Consola

1. En la Google Cloud consola, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el elemento Recursos > Configuración de cargas de trabajo, haga clic en Editar.

5. En el panel Configuración de cargas de trabajo, ajusta los parámetros de los programadores de Airflow:

   • En la lista desplegable Número de programadores, selecciona el número de programadores de tu entorno.

   • En los campos CPU, Memoria y Almacenamiento, especifica el número de CPUs, la memoria y el almacenamiento de los programadores de Airflow. Cada programador usa la cantidad de recursos especificada.

6. Haz clic en Guardar.

gcloud

Están disponibles los siguientes parámetros del programador de Airflow:

• --scheduler-count: número de programadores de tu entorno.

• --scheduler-cpu: número de CPUs de un programador de Airflow.

• --scheduler-memory: cantidad de memoria de un programador de Airflow.

• --scheduler-storage: la cantidad de espacio en disco de un programador de Airflow.

Ejecuta el siguiente comando de la CLI de Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-cpu SCHEDULER_CPU \
  --scheduler-memory SCHEDULER_MEMORY \
  --scheduler-storage SCHEDULER_STORAGE \
  --scheduler-count SCHEDULER_COUNT

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.

• LOCATION: la región en la que se encuentra el entorno.

• SCHEDULER_CPU: número de CPUs de un programador, en unidades de vCPU.

• SCHEDULER_MEMORY: cantidad de memoria de un programador.

• SCHEDULER_STORAGE: tamaño del disco de un programador.

• SCHEDULER_COUNT: número de programadores.

Nota: El valor especificado para la memoria y el espacio en disco debe ser un número entero seguido de una unidad de tamaño: KB para kilobyte, MB para megabyte o GB para gigabyte. La unidad de tamaño predeterminada es GB. Por ejemplo, 10GB produce un almacenamiento de 10 gigabytes.

Ejemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-cpu 0.5 \
  --scheduler-memory 2.5 \
  --scheduler-storage 2 \
  --scheduler-count 2

API

1. Crea una solicitud de la API environments.patch.

2. En esta solicitud:

   1. En el parámetro updateMask, especifique la máscara config.workloadsConfig.scheduler para actualizar todos los parámetros del programador o solo el número de programadores. También puede actualizar parámetros de programador individuales, excepto count, especificando una máscara. Por ejemplo, config.workloadsConfig.scheduler.cpu.

   2. En el cuerpo de la solicitud, especifica los nuevos parámetros del programador.

"config": {
  "workloadsConfig": {
    "scheduler": {
      "cpu": SCHEDULER_CPU,
      "memoryGb": SCHEDULER_MEMORY,
      "storageGb": SCHEDULER_STORAGE,
      "count": SCHEDULER_COUNT
    }
  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.

• LOCATION: la región en la que se encuentra el entorno.

• SCHEDULER_CPU: número de CPUs de un programador, en unidades de vCPU.

• SCHEDULER_MEMORY: la cantidad de memoria de un programador, en GB.

• SCHEDULER_STORAGE: tamaño del disco de un programador, en GB.

• SCHEDULER_COUNT: número de programadores.

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler

"config": {
  "workloadsConfig": {
    "scheduler": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2,
      "count": 2
    }
  }
}

Terraform

Los siguientes campos del bloque workloads_config.scheduler controlan los parámetros del programador de Airflow. Cada programador usa la cantidad especificada de recursos.

• scheduler.count: número de programadores de tu entorno.

• scheduler.cpu: número de CPUs de un programador de Airflow.

• scheduler.memory_gb: cantidad de memoria de un programador de Airflow.

• scheduler.storage_gb: la cantidad de espacio en disco de un programador.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      scheduler {
        cpu = SCHEDULER_CPU
        memory_gb = SCHEDULER_MEMORY
        storage_gb = SCHEDULER_STORAGE
        count = SCHEDULER_COUNT
      }
    }

  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.

• LOCATION: la región en la que se encuentra el entorno.

• SCHEDULER_CPU: número de CPUs de un programador, en unidades de vCPU.

• SCHEDULER_MEMORY: la cantidad de memoria de un programador, en GB.

• SCHEDULER_STORAGE: tamaño del disco de un programador, en GB.

• SCHEDULER_COUNT: número de programadores.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      scheduler {
        
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
        
        count = 2
      }
    }

  }
}

Ajustar los parámetros del activador

Puedes definir el número de activadores en cero, pero necesitas al menos una instancia de activador en tu entorno (o al menos dos en entornos de alta resiliencia) para usar operadores aplazables en tus DAGs.

En función del modo de resiliencia de tu entorno, hay diferentes configuraciones posibles para el número de activadores:

• Resistencia estándar: puedes ejecutar hasta 10 activadores.
• Alta resiliencia: al menos 2 activadores y un máximo de 10.

Aunque el número de activadores sea cero, se crea una definición de pod de activador y se puede ver en el clúster de tu entorno, pero no se ejecuta ninguna carga de trabajo de activador.

También puedes especificar la cantidad de CPUs, memoria y espacio en disco que utilizan los activadores de Airflow en tu entorno. De esta forma, puedes aumentar el rendimiento de tu entorno, además de la escalabilidad horizontal que se consigue usando varios activadores.

Nota: Para obtener información sobre los valores y límites posibles de los recursos, consulta la sección Límites de recursos.

Consola

1. En la Google Cloud consola, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el elemento Recursos > Configuración de cargas de trabajo, haga clic en Editar.

5. En el panel Configuración de cargas de trabajo, ajusta los parámetros de los activadores de Airflow:

   1. En la sección Activador, en el campo Número de activadores, introduce el número de activadores de tu entorno.

      Si define al menos un activador para su entorno, utilice también los campos CPU y Memoria para configurar la asignación de recursos de los activadores.

   2. En CPU y Memoria, especifica el número de CPUs, la memoria y el almacenamiento de los activadores de Airflow. Cada activador usa la cantidad de recursos especificada.

6. Haz clic en Guardar.

gcloud

Están disponibles los siguientes parámetros de activador de Airflow:

Precaución: Utiliza siempre los tres argumentos: --triggerer-cpu, --triggerer-memory y --triggerer-count. Si omite un parámetro, su valor actual se restablecerá al valor predeterminado: 0.5 vCPU, 0.5 GB de memoria o el número de activadores del modo de resiliencia de su entorno.

• --triggerer-count: el número de activadores de tu entorno.

  • En los entornos de resiliencia estándar, utiliza un valor entre 0 y 10.
  • En entornos de alta resiliencia, usa 0 o un valor entre 2 y 10.

• --triggerer-cpu: número de CPUs de un activador de Airflow.

• --triggerer-memory: cantidad de memoria de un activador de Airflow.

Ejecuta el siguiente comando de la CLI de Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --triggerer-count TRIGGERER_COUNT \
  --triggerer-cpu TRIGGERER_CPU \
  --triggerer-memory TRIGGERER_MEMORY

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• TRIGGERER_COUNT: el número de activadores.
• TRIGGERER_CPU: número de CPUs de un activador, en unidades de vCPU.
• TRIGGERER_MEMORY: la cantidad de memoria de un activador.

Nota: El valor especificado para la memoria y el espacio en disco debe ser un número entero seguido de una unidad de tamaño: KB para kilobyte, MB para megabyte o GB para gigabyte. La unidad de tamaño predeterminada es GB. Por ejemplo, 10GB produce un almacenamiento de 10 gigabytes.

Ejemplos:

• Escala a cuatro instancias de activador:

gcloud composer environments update example-environment \
  --location us-central1 \
  --triggerer-count 4 \
  --triggerer-cpu 1 \
  --triggerer-memory 1

• Inhabilita los activadores configurando el recuento de activadores en 0. Esta operación no requiere que se especifiquen la CPU ni la memoria de los activadores.

gcloud composer environments update example-environment \
  --location us-central1 \
  --triggerer-count 0

API

1. En el parámetro de consulta updateMask, especifique la máscara config.workloadsConfig.triggerer.

2. En el cuerpo de la solicitud, especifica los tres parámetros de los activadores.

"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": TRIGGERER_COUNT,
      "cpu": TRIGGERER_CPU,
      "memoryGb": TRIGGERER_MEMORY
    }
  }
}

Haz los cambios siguientes:

• TRIGGERER_COUNT: el número de activadores.

  • En los entornos de resiliencia estándar, utiliza un valor entre 0 y 10.
  • En entornos de alta resiliencia, usa 0 o un valor entre 2 y 10.

• TRIGGERER_CPU: número de CPUs de un activador, en unidades de vCPU.

• TRIGGERER_MEMORY: la cantidad de memoria de un activador.

Ejemplos:

• Inhabilita los activadores configurando el recuento de activadores en 0. Esta operación no requiere que se especifiquen la CPU ni la memoria de los activadores.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 0
    }
  }
}

• Escala a cuatro instancias de activador:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 4,
      "cpu": 1,
      "memoryGb": 1
    }
  }
}

Terraform

Los siguientes campos del bloque workloads_config.triggerer controlan los parámetros del activador de Airflow. Cada activador usa la cantidad especificada de recursos.

• triggerer.count: el número de activadores de tu entorno.

  • En los entornos de resiliencia estándar, utiliza un valor entre 0 y 10.
  • En entornos de alta resiliencia, usa 0 o un valor entre 2 y 10.

• triggerer.cpu: número de CPUs de un activador de Airflow.

• triggerer.memory_gb: la cantidad de memoria de un activador de Airflow.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
    }

  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• TRIGGERER_COUNT: el número de activadores.
• TRIGGERER_CPU: número de CPUs de un activador, en unidades de vCPU.
• TRIGGERER_MEMORY: la cantidad de memoria de un activador, en GB.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
    }

  }
}

Ajustar los parámetros del servidor web

Puedes especificar la cantidad de CPUs, memoria y espacio en disco que utiliza el servidor web de Airflow en tu entorno. De esta forma, puedes escalar el rendimiento de la interfaz de usuario de Airflow, por ejemplo, para adaptarlo a la demanda de un gran número de usuarios o de DAGs gestionados.

Nota: Para obtener información sobre los valores y límites posibles de los recursos, consulta la sección Límites de recursos.

Consola

1. En la Google Cloud consola, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el elemento Recursos > Configuración de cargas de trabajo, haga clic en Editar.

5. En el panel Configuración de cargas de trabajo, ajusta los parámetros del servidor web. En los campos CPU, Memoria y Almacenamiento, especifica el número de CPUs, la memoria y el almacenamiento del servidor web.

6. Haz clic en Guardar.

gcloud

Están disponibles los siguientes parámetros del servidor web de Airflow:

• --web-server-cpu: número de CPUs del servidor web de Airflow.
• --web-server-memory: cantidad de memoria del servidor web de Airflow.
• --web-server-storage: la cantidad de espacio en disco del servidor web de Airflow.

Ejecuta el siguiente comando de la CLI de Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-cpu WEB_SERVER_CPU \
  --web-server-memory WEB_SERVER_MEMORY \
  --web-server-storage WEB_SERVER_STORAGE

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• WEB_SERVER_CPU: número de CPUs del servidor web, en unidades de vCPU.
• WEB_SERVER_MEMORY: cantidad de memoria del servidor web.
• WEB_SERVER_STORAGE: cantidad de memoria del servidor web.

Nota: El valor especificado para la memoria y el espacio en disco debe ser un número entero seguido de una unidad de tamaño: KB para kilobyte, MB para megabyte o GB para gigabyte. La unidad de tamaño predeterminada es GB. Por ejemplo, 10GB produce un almacenamiento de 10 gigabytes.

Ejemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-cpu 1 \
  --web-server-memory 2.5 \
  --web-server-storage 2

API

1. Crea una solicitud de la API environments.patch.

2. En esta solicitud:

   1. En el parámetro updateMask, especifique la máscara config.workloadsConfig.webServer para actualizar todos los parámetros del servidor web. También puede actualizar parámetros de servidor web concretos especificando una máscara para esos parámetros: config.workloadsConfig.webServer.cpu, config.workloadsConfig.webServer.memoryGb, config.workloadsConfig.webServer.storageGb.

   2. En el cuerpo de la solicitud, especifica los parámetros del nuevo servidor web.

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": WEB_SERVER_CPU,
      "memoryGb": WEB_SERVER_MEMORY,
      "storageGb": WEB_SERVER_STORAGE
    }
  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• WEB_SERVER_CPU: número de CPUs del servidor web, en unidades de vCPU.
• WEB_SERVER_MEMORY: la cantidad de memoria del servidor web, en GB.
• WEB_SERVER_STORAGE: tamaño del disco del servidor web en GB.

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2
    }
  }
}

Terraform

Los siguientes campos del bloque workloads_config.web_server controlan los parámetros del servidor web.

• web_server.cpu: número de CPUs del servidor web.
• web_server.memory_gb: la cantidad de memoria del servidor web.
• El web_server.storage_gb: la cantidad de espacio en disco del servidor web.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
    }

  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• WEB_SERVER_CPU: número de CPUs del servidor web, en unidades de vCPU.
• WEB_SERVER_MEMORY: la cantidad de memoria del servidor web, en GB.
• WEB_SERVER_STORAGE: tamaño del disco del servidor web en GB.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      web_server {
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
      }
    }

  }
}

Ajustar el tamaño del entorno

El tamaño del entorno controla los parámetros de rendimiento de la infraestructura gestionada de Cloud Composer, que incluye, por ejemplo, la base de datos de Airflow.

Si quieres ejecutar un gran número de DAGs y tareas, te recomendamos que selecciones un tamaño de entorno mayor.

Nota: El tamaño del entorno es diferente de los preajustes del entorno. Los preajustes de entorno, que puedes seleccionar al crear un entorno, determinan todos los límites, la escala y los parámetros de rendimiento del entorno, incluido el tamaño del entorno. El tamaño del entorno solo determina los parámetros de rendimiento de la infraestructura de Cloud Composer gestionada de tu entorno.

Consola

1. En la Google Cloud consola, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el elemento Recursos > Configuración de cargas de trabajo, haga clic en Editar.

5. En el elemento Recursos > Infraestructura principal, haz clic en Editar.

6. En el panel Infraestructura principal, en el campo Tamaño del entorno, especifique el tamaño del entorno.

7. Haz clic en Guardar.

gcloud

El argumento --environment-size controla el tamaño del entorno:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --environment-size ENVIRONMENT_SIZE

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• ENVIRONMENT_SIZE: small, medium o large.

Ejemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --environment-size medium

API

1. Crea una solicitud de la API environments.patch.

2. En esta solicitud:

   1. En el parámetro updateMask, especifique la máscara config.environmentSize.

   2. En el cuerpo de la solicitud, especifica el tamaño del entorno.

  "config": {
    "environmentSize": "ENVIRONMENT_SIZE"
  }

Haz los cambios siguientes:

• ENVIRONMENT_SIZE: el tamaño del entorno, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM o ENVIRONMENT_SIZE_LARGE.

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize

"config": {
  "environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}

Terraform

El campo environment_size del bloque config controla el tamaño del entorno:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    environment_size = "ENVIRONMENT_SIZE"

  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• ENVIRONMENT_SIZE: el tamaño del entorno, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM o ENVIRONMENT_SIZE_LARGE.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    }
  }
}

Siguientes pasos

• Escalado del entorno y rendimiento
• Precios de Cloud Composer
• Actualizar entornos
• Arquitectura del entorno