Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
En esta página, se describe cómo escalar entornos de Cloud Composer.
Escalamiento vertical y horizontal
En Cloud Composer 1, no se definen recursos de CPU y memoria específicos para componentes de Cloud Composer y Airflow, como trabajadores programadores. En su lugar, especifica la cantidad y el tipo de máquinas para los nodos en en el clúster de tu entorno.
Opciones de escalamiento horizontal:
- Ajusta la cantidad de nodos
- Ajusta la cantidad de programadores
Opciones de escalamiento vertical:
- Ajusta el tipo de máquina de la instancia de Cloud SQL
- Ajusta el tipo de máquina del servidor web
Ajusta los parámetros del programador
Tu entorno puede ejecutar más de un programador de Airflow al mismo tiempo. Usa varios programadores para distribuir la carga entre varias instancias del programador a fin de mejorar el rendimiento y la confiabilidad.
Si tu entorno usa Airflow 2, puedes especificar una cantidad de programadores a la cantidad de nodos de tu entorno.
Aumentar la cantidad de programadores no siempre mejora el rendimiento de Airflow. Por ejemplo, tener solo un programador puede proporcionar un mejor rendimiento que tener dos. Esto puede suceder cuando no se usa el programador adicional y, por lo tanto, consume recursos de tu entorno sin contribuir al rendimiento general. El rendimiento real del programador depende de la cantidad de trabajadores de Airflow, la cantidad de DAG y tareas que se ejecutan en tu entorno y la configuración de Airflow y el entorno.
Recomendamos comenzar con dos programadores y, luego, supervisar el rendimiento del entorno. Si cambias la cantidad de programadores, siempre puedes volver a escalar el entorno a la cantidad original.
Para obtener más información sobre la configuración de varios programadores, consulta la documentación de Airflow.
Console
En la consola de Google Cloud, ve a la página Entornos.
En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.
Ve a la pestaña Configuración del entorno.
En el elemento Recursos > Configuración de las cargas de trabajo, Haz clic en Editar.
En el elemento Recursos > Cantidad de programadores, Haz clic en Editar.
En el panel Configuración del programador, en la En el campo Número de programadores, especifica la cantidad de programadores para tu entorno.
Haz clic en Guardar.
gcloud
Están disponibles los siguientes parámetros del programador de Airflow:
--scheduler-count
: Es la cantidad de programadores en tu entorno.
Ejecuta el siguiente comando de Google Cloud CLI:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--scheduler-count SCHEDULER_COUNT
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.
Ejemplo:
gcloud composer environments update example-environment \
--location us-central1 \
--scheduler-count 2
API
Realiza una solicitud a la API de
environments.patch
.En esta solicitud, realiza lo siguiente:
En el parámetro
updateMask
, especifica la Máscara deconfig.workloadsConfig.schedulerCount
.En el cuerpo de la solicitud, especifica la cantidad de programadores para tu en un entorno de nube.
"config": {
"workloadsConfig": {
"scheduler": {
"count": SCHEDULER_COUNT
}
}
}
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.SCHEDULER_COUNT
: Es la cantidad de programadores.
Ejemplo:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler
"config": {
"workloadsConfig": {
"scheduler": {
"count": 2
}
}
}
Terraform
Los siguientes campos del bloque workloads_config.scheduler
controlan la
Parámetros del programador de Airflow. Cada programador utiliza la cantidad especificada de
de Google Cloud.
scheduler.count
: Es la cantidad de programadores en tu entorno.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
scheduler {
count = SCHEDULER_COUNT
}
}
}
}
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.SCHEDULER_COUNT
: Es la cantidad de programadores.
Ejemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
scheduler {
count = 2
}
}
}
}
Ajusta los parámetros del activador
Puedes establecer la cantidad de activadores en cero, pero necesitas al menos uno instancia de activador en tu entorno (o al menos dos en entornos entornos), para usar operadores diferibles en tus DAG.
Según la configuración del entorno modo de resiliencia Existen diferentes opciones de configuración posibles para la cantidad de activadores:
- Resiliencia estándar: puede ejecutar hasta (10) activadores.
- Resiliencia alta: al menos 2 activadores, hasta un máximo de
Incluso si la cantidad de activadores se establece en cero, la definición de un Pod del activador se crea y es visible en el clúster de tu entorno, pero no hay un activador se ejecutan las cargas de trabajo.
También puedes especificar la cantidad de CPU, memoria y espacio en el disco que Airflow usa. activadores de tu entorno. De esta manera, puedes aumentar el rendimiento para tu entorno, además del escalamiento horizontal que se proporciona mediante el uso de activadores.
Console
En la consola de Google Cloud, ve a la página Entornos.
En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.
Ve a la pestaña Configuración del entorno.
En el elemento Recursos > Configuración de las cargas de trabajo, Haz clic en Editar.
En el panel Configuración de cargas de trabajo, ajusta los parámetros de Airflow activadores:
En la sección Activador, en el campo Cantidad de activadores, ingresa la cantidad de activadores en tu entorno.
Si configuras al menos un activador para tu entorno, usa también los campos CPU y Memoria para configurar la asignación de recursos para los activadores.
En CPU y Memoria, especifica la cantidad de CPU, memoria y almacenamiento para activadores de Airflow. Cada activador usa la cantidad especificada de recursos.
Haz clic en Guardar.
gcloud
Los siguientes parámetros del activador de Airflow están disponibles:
--triggerer-count
: Es la cantidad de activadores en tu entorno.- Para entornos de resiliencia estándar, usa un valor entre
0
y10
. - Para entornos de alta resiliencia, usa
0
, o un valor entre2
y10
- Para entornos de resiliencia estándar, usa un valor entre
--triggerer-cpu
: Es la cantidad de CPU para un activador de Airflow.--triggerer-memory
: Es la cantidad de memoria de un Airflow. activador.
Ejecuta el siguiente comando de Google Cloud CLI:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--triggerer-count TRIGGERER_COUNT \
--triggerer-cpu TRIGGERER_CPU \
--triggerer-memory TRIGGERER_MEMORY
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.TRIGGERER_COUNT
: Es la cantidad de activadores.TRIGGERER_CPU
: Es la cantidad de CPU para un activador, en unidades de CPU virtual.TRIGGERER_MEMORY
: Es la cantidad de memoria para un activador.
Ejemplos:
- Escala a cuatro instancias del activador:
gcloud composer environments update example-environment \
--location us-central1 \
--triggerer-count 4 \
--triggerer-cpu 1 \
--triggerer-memory 1
```
- Disable triggerers by setting triggerer count to `0`. This operation
doesn't require specifying CPU or memory for the triggerers.
```bash
gcloud composer environments update example-environment \
--location us-central1 \
--triggerer-count 0
```
API
En el parámetro de consulta
updateMask
, especifica la Máscara deconfig.workloadsConfig.triggerer
.En el cuerpo de la solicitud, especifica los tres parámetros para los activadores.
"config": {
"workloadsConfig": {
"triggerer": {
"count": TRIGGERER_COUNT,
"cpu": TRIGGERER_CPU,
"memoryGb": TRIGGERER_MEMORY
}
}
}
Reemplaza lo siguiente:
TRIGGERER_COUNT
: Es la cantidad de activadores.- Para entornos de resiliencia estándar, usa un valor entre
0
y10
. - Para entornos de alta resiliencia, usa
0
, o un valor entre2
y10
- Para entornos de resiliencia estándar, usa un valor entre
TRIGGERER_CPU
: Es la cantidad de CPU para un activador, en unidades de CPU virtual.TRIGGERER_MEMORY
: Es la cantidad de memoria para un activador.
Ejemplos:
- Para inhabilitar activadores, establece el recuento de activadores en
0
. Esta operación no requiere especificar CPU o memoria para los activadores.
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
"workloadsConfig": {
"triggerer": {
"count": 0
}
}
}
- Escala a cuatro instancias del activador:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
"workloadsConfig": {
"triggerer": {
"count": 4,
"cpu": 1,
"memoryGb": 1
}
}
}
Terraform
Los siguientes campos del bloque workloads_config.triggerer
controlan la
Parámetros del activador de Airflow. Cada activador usa la cantidad especificada de
de Google Cloud.
triggerer.count
: Es la cantidad de activadores en tu entorno.- Para entornos de resiliencia estándar, usa un valor entre
0
y10
. - Para entornos de alta resiliencia, usa
0
, o un valor entre2
y10
- Para entornos de resiliencia estándar, usa un valor entre
triggerer.cpu
: Es la cantidad de CPU para un activador de Airflow.triggerer.memory_gb
: Es la cantidad de memoria para un activador de Airflow.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
triggerer {
count = TRIGGERER_COUNT
cpu = TRIGGERER_CPU
memory_gb = TRIGGERER_MEMORY
}
}
}
}
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.TRIGGERER_COUNT
: Es la cantidad de activadores.TRIGGERER_CPU
: Es la cantidad de CPU para un activador, en unidades de CPU virtual.TRIGGERER_MEMORY
: Es la cantidad de memoria para un activador, en GB.
Ejemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
triggerer {
count = 1
cpu = 0.5
memory_gb = 0.5
}
}
}
}
Ajusta los parámetros del servidor web
Puedes especificar la cantidad de CPU, memoria y espacio en disco que Airflow usará servidor web en tu entorno. De esta manera, puede escalar el rendimiento de Airflow de Airflow, para coincidir con la demanda que proviene de una gran cantidad de usuarios o una gran cantidad de DAG administrados.
Console
En la consola de Google Cloud, ve a la página Entornos.
En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.
Ve a la pestaña Configuración del entorno.
En el elemento Recursos > Configuración de las cargas de trabajo, Haz clic en Editar.
En el panel Configuración de cargas de trabajo, ajusta los parámetros de los servidor web. En los campos CPU, Memoria y Almacenamiento, especifica la cantidad de CPU, memoria y almacenamiento para el servidor web.
Haz clic en Guardar.
gcloud
Los siguientes parámetros del servidor web de Airflow están disponibles:
--web-server-cpu
: Es la cantidad de CPU para el servidor web de Airflow.--web-server-memory
: Es la cantidad de memoria para la Web de Airflow. servidor.--web-server-storage
: Es la cantidad de espacio en el disco para Airflow. servidor web.
Ejecuta el siguiente comando de Google Cloud CLI:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--web-server-cpu WEB_SERVER_CPU \
--web-server-memory WEB_SERVER_MEMORY \
--web-server-storage WEB_SERVER_STORAGE
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.WEB_SERVER_CPU
: Es la cantidad de CPU para el servidor web en unidades de CPU virtual.WEB_SERVER_MEMORY
: Es la cantidad de memoria del servidor web.WEB_SERVER_STORAGE
: Es la cantidad de memoria para el servidor web.
Ejemplo:
gcloud composer environments update example-environment \
--location us-central1 \
--web-server-cpu 1 \
--web-server-memory 2.5 \
--web-server-storage 2
API
Realiza una solicitud a la API de
environments.patch
.En esta solicitud, realiza lo siguiente:
En el parámetro
updateMask
, especifica la máscaraconfig.workloadsConfig.webServer
para actualizar todos los servidores web parámetros. También puedes actualizar los parámetros individuales del servidor web especificando una máscara para esos parámetros:config.workloadsConfig.webServer.cpu
,config.workloadsConfig.webServer.memoryGb
,config.workloadsConfig.webServer.storageGb
En el cuerpo de la solicitud, especifica los parámetros nuevos del servidor web.
"config": {
"workloadsConfig": {
"webServer": {
"cpu": WEB_SERVER_CPU,
"memoryGb": WEB_SERVER_MEMORY,
"storageGb": WEB_SERVER_STORAGE
}
}
}
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.WEB_SERVER_CPU
: Es la cantidad de CPU para el servidor web en unidades de CPU virtual.WEB_SERVER_MEMORY
: Es la cantidad de memoria para el servidor web, en GB.WEB_SERVER_STORAGE
: Es el tamaño del disco para el servidor web, en GB.
Ejemplo:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb
"config": {
"workloadsConfig": {
"webServer": {
"cpu": 0.5,
"memoryGb": 2.5,
"storageGb": 2
}
}
}
Terraform
Los siguientes campos del bloque workloads_config.web_server
controlan la
los parámetros del servidor web.
web_server.cpu
: Es la cantidad de CPU para el servidor web.- La
web_server.memory_gb
: Es la cantidad de memoria para el servidor web. - La
web_server.storage_gb
: Es la cantidad de espacio en disco para el servidor web.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
web_server {
cpu = WEB_SERVER_CPU
memory_gb = WEB_SERVER_MEMORY
storage_gb = WEB_SERVER_STORAGE
}
}
}
}
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.WEB_SERVER_CPU
: Es la cantidad de CPU para el servidor web en unidades de CPU virtual.WEB_SERVER_MEMORY
: Es la cantidad de memoria para el servidor web, en GB.WEB_SERVER_STORAGE
: Es el tamaño del disco para el servidor web, en GB.
Ejemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
web_server {
cpu = 0.5
memory_gb = 1.875
storage_gb = 1
}
}
}
}
Ajusta el tamaño del entorno
El tamaño del entorno controla los parámetros de rendimiento de la cuenta infraestructura de Cloud Composer que incluye, por ejemplo, los de la base de datos de Airflow.
Considera seleccionar un tamaño de entorno más grande si deseas ejecutar una gran cantidad de DAG y tareas.
Console
En la consola de Google Cloud, ve a la página Entornos.
En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.
Ve a la pestaña Configuración del entorno.
En el elemento Recursos > Configuración de las cargas de trabajo, Haz clic en Editar.
En el elemento Recursos > Infraestructura principal, Haz clic en Editar.
En el panel Core infrastructure, en el campo Environment size, especificar el tamaño del entorno.
Haz clic en Guardar.
gcloud
El argumento --environment-size
controla el tamaño del entorno:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--environment-size ENVIRONMENT_SIZE
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.ENVIRONMENT_SIZE
:small
,medium
olarge
.
Ejemplo:
gcloud composer environments update example-environment \
--location us-central1 \
--environment-size medium
API
Crea una solicitud a la API de
environments.patch
.En esta solicitud, realiza lo siguiente:
En el parámetro
updateMask
, especifica la máscaraconfig.environmentSize
.En el cuerpo de la solicitud, especifica el tamaño del entorno.
"config": {
"environmentSize": "ENVIRONMENT_SIZE"
}
Reemplaza lo siguiente:
ENVIRONMENT_SIZE
: Es el tamaño del entorno,ENVIRONMENT_SIZE_SMALL
.ENVIRONMENT_SIZE_MEDIUM
oENVIRONMENT_SIZE_LARGE
.
Ejemplo:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize
"config": {
"environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}
Terraform
El campo environment_size
en el bloque config
controla el entorno.
tamaño:
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
environment_size = "ENVIRONMENT_SIZE"
}
}
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.ENVIRONMENT_SIZE
: Es el tamaño del entorno,ENVIRONMENT_SIZE_SMALL
.ENVIRONMENT_SIZE_MEDIUM
oENVIRONMENT_SIZE_LARGE
.
Ejemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
environment_size = "ENVIRONMENT_SIZE_SMALL"
}
}
}
Ajusta la cantidad de nodos
Puedes cambiar la cantidad de nodos en tu entorno.
Este número corresponde a la cantidad de trabajadores de Airflow en tu entorno. Además de ejecutar trabajadores de Airflow, los nodos de tu entorno también ejecutan Airflow programadores y otros componentes del entorno.
Console
En la consola de Google Cloud, ve a la página Entornos.
En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.
Ve a la pestaña Configuración del entorno.
En el elemento Nodos trabajadores > Recuento de nodos, haz clic en Editar.
En el panel Configuración de nodos trabajadores, en el campo Recuento de nodos, especificar la cantidad de nodos en tu entorno.
Haz clic en Guardar.
gcloud
El argumento --node-count
controla la cantidad de nodos en el entorno:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--zone NODE_ZONE \
--node-count NODE_COUNT
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.NODE_COUNT
: Es la cantidad de nodos. La cantidad mínima de nodos es3
.NODE_ZONE
: Es la zona de Compute Engine para las VMs de tu entorno.
Ejemplo:
gcloud composer environments update example-environment \
--location us-central1 \
--zone us-central1-a \
--node-count 6
API
Crea una solicitud a la API de
environments.patch
.En esta solicitud, realiza lo siguiente:
En el parámetro
updateMask
, especifica la máscaraconfig.nodeCount
.En el cuerpo de la solicitud, especifica la cantidad de nodos para tu entorno.
"config": {
"nodeCount": NODE_COUNT
}
Reemplaza lo siguiente:
NODE_COUNT
: Es la cantidad de nodos. La cantidad mínima de nodos es3
.
Ejemplo:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount
"config": {
"nodeCount": 6
}
Terraform
El campo node_count
en el bloque node_config
especifica la cantidad de
en tu entorno.
resource "google_composer_environment" "example" {
config {
node_config {
node_count = NODE_COUNT
}
}
Reemplaza lo siguiente:
NODE_COUNT
: Es la cantidad de nodos.
Ejemplo:
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
node_config {
node_count = 4
}
}
Ajusta el tipo de máquina de la instancia de Cloud SQL
Puedes cambiar el tipo de máquina de la instancia de Cloud SQL que almacena la La base de datos Airflow de tu entorno.
Console
En la consola de Google Cloud, ve a la página Entornos.
En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.
Ve a la pestaña Configuración del entorno.
En el elemento Recursos > Tipo de máquina de Cloud SQL, Haz clic en Editar.
En el panel Configuración de Cloud SQL, en la Lista desplegable Tipo de máquina de Cloud SQL, selecciona el tipo de máquina para la instancia de Cloud SQL de tu entorno.
Haz clic en Guardar.
gcloud
Los argumentos --cloud-sql-machine-type
controlan el tipo de máquina de la instancia de Cloud SQL en tu entorno.
Ejecuta el siguiente comando de Google Cloud CLI:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--cloud-sql-machine-type SQL_MACHINE_TYPE
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.SQL_MACHINE_TYPE
: el tipo de máquina de la instancia de Cloud SQL.
Ejemplo:
gcloud composer environments update example-environment \
--location us-central1 \
--cloud-sql-machine-type db-n1-standard-2
API
Crea un Solicitud a la API de
environments.patch
.En esta solicitud, realiza lo siguiente:
En el parámetro
updateMask
, especifica la Máscara deconfig.databaseConfig.machineType
.En el cuerpo de la solicitud, especifica el tipo de máquina para la instancia de Cloud SQL.
{
"config": {
"databaseConfig": {
"machineType": "SQL_MACHINE_TYPE"
}
}
}
Reemplaza lo siguiente:
SQL_MACHINE_TYPE
: Es el tipo de máquina. para la instancia de Cloud SQL.
Ejemplo:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType
{
"config": {
"databaseConfig": {
"machineType": "db-n1-standard-2"
}
}
}
Terraform
El campo machine_type
en el bloque database_config
especifica el tipo de máquina para la instancia de Cloud SQL.
resource "google_composer_environment" "example" {
config {
database_config {
machine_type = "SQL_MACHINE_TYPE"
}
}
}
Reemplaza lo siguiente:
SQL_MACHINE_TYPE
: Es el tipo de máquina. para la instancia de Cloud SQL.
Ejemplo:
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
database_config {
machine_type = "db-n1-standard-2"
}
}
Ajusta el tipo de máquina del servidor web
Puedes cambiar el tipo de máquina para el servidor web de Airflow de tu entorno.
Console
En la consola de Google Cloud, ve a la página Entornos.
En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.
Ve a la pestaña Configuración del entorno.
En el elemento Recursos > Tipo de máquina del servidor web, Haz clic en Editar.
En el panel Configuración del servidor web, en la Lista desplegable Tipo de máquina del servidor web, selecciona el tipo de máquina para el servidor web de Airflow.
Haz clic en Guardar.
gcloud
Los argumentos --web-server-machine-type
controlan el tipo de máquina de la instancia del servidor web de Airflow en tu entorno.
Ejecuta el siguiente comando de Google Cloud CLI:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--web-server-machine-type WS_MACHINE_TYPE
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre del entorno.LOCATION
: Es la región en la que se encuentra el entorno.WS_MACHINE_TYPE
: el tipo de máquina para la instancia del servidor web de Airflow.
Ejemplo:
gcloud composer environments update example-environment \
--location us-central1 \
--web-server-machine-type composer-n1-webserver-2
API
Crea un Solicitud a la API de
environments.patch
.En esta solicitud, realiza lo siguiente:
En el parámetro
updateMask
, especifica la Máscara deconfig.webServerConfig.machineType
.En el cuerpo de la solicitud, especifica el tipo de máquina para el servidor web.
{
"config": {
"webServerConfig": {
"machineType": "WS_MACHINE_TYPE"
}
}
}
Reemplaza lo siguiente:
WS_MACHINE_TYPE
: el tipo de máquina para la instancia del servidor web de Airflow.
Ejemplo:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType
{
"config": {
"webServerConfig": {
"machineType": "composer-n1-webserver-2"
}
}
}
Terraform
El campo machine_type
en el bloque web_server_config
especifica la
para la instancia del servidor web de Airflow.
resource "google_composer_environment" "example" {
config {
web_server_config {
machine_type = "WS_MACHINE_TYPE"
}
}
}
Reemplaza lo siguiente:
WS_MACHINE_TYPE
: el tipo de máquina para la instancia del servidor web de Airflow.
Ejemplo:
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
web_server_config {
machine_type = "composer-n1-webserver-2"
}
}
¿Qué sigue?
- Escalamiento y rendimiento del entorno
- Precios de Cloud Composer
- Actualización de entornos
- Arquitectura del entorno