Entornos de escalabilidad

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página se describe cómo escalar entornos de Cloud Composer.

Escalar vertical y horizontalmente

En Cloud Composer 1, no se definen recursos específicos de CPU y memoria para los componentes de Cloud Composer y Airflow, como los trabajadores y los programadores. En su lugar, especifica el número y el tipo de máquinas de los nodos del clúster de tu entorno.

Nota: Durante la distribución de componentes en Cloud Composer 1, es posible que algunos componentes de Airflow se coloquen de forma desigual en los nodos disponibles. En este caso, la carga de CPU o de memoria de uno o varios nodos es mayor que la de otros nodos del clúster.

Opciones de escalado horizontal:

• Ajustar el número de nodos
• Ajustar el número de programadores

Opciones de escalado vertical:

• Ajustar el tipo de máquina de la instancia de Cloud SQL
• Ajustar el tipo de máquina del servidor web

Nota: Cuando configures los límites de recursos de los componentes de Airflow, asegúrate de que superen los requisitos mínimos de recursos de tu caso de uso. Los contenedores sidecar que se ejecutan junto al contenedor del componente principal de Airflow utilizan algunos de los recursos asignados.

Ajustar los parámetros del programador

Tu entorno puede ejecutar más de un programador de Airflow al mismo tiempo. Usa varios programadores para distribuir la carga entre varias instancias del programador y así mejorar el rendimiento y la fiabilidad.

Si tu entorno usa Airflow 2, puedes especificar un número de programadores que no supere el número de nodos de tu entorno.

Cuando escales programadores, ten en cuenta lo siguiente:

• En los entornos de Cloud Composer 3, los procesadores de DAG de Airflow se ejecutan como componentes de entorno independientes de los programadores. Como el procesador de DAG descarga el análisis de los DAGs del programador, puede que quieras redistribuir los recursos que se habían asignado a los programadores de Airflow.

  Como los programadores no analizan los DAGs en Cloud Composer 3, tienen límites de recursos más bajos para la CPU y la memoria que en Cloud Composer 2.

• Aumentar el número de programadores no siempre mejora el rendimiento de Airflow.

  Por ejemplo, esto puede ocurrir cuando no se utiliza el programador adicional y consume recursos de tu entorno sin contribuir al rendimiento general. El rendimiento real del programador depende del número de trabajadores de Airflow, del número de DAGs y tareas que se ejecutan en tu entorno, y de la configuración de Airflow y del entorno.

• Te recomendamos que empieces con dos programadores y, después, monitorices el rendimiento de tu entorno. Si cambias el número de programadores, siempre puedes volver a ajustar tu entorno al número original de programadores.

Para obtener más información sobre cómo configurar varias programaciones, consulta la documentación de Airflow.

Consola

1. En la Google Cloud consola, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el elemento Recursos > Configuración de cargas de trabajo, haga clic en Editar.

5. En el elemento Recursos > Número de programadores, haz clic en Editar.

6. En el panel Configuración del programador, en el campo Número de programadores, especifica el número de programadores de tu entorno.

7. Haz clic en Guardar.

gcloud

Están disponibles los siguientes parámetros del programador de Airflow:

• --scheduler-count: número de programadores de tu entorno.

Ejecuta el siguiente comando de la CLI de Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-count SCHEDULER_COUNT

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.

• LOCATION: la región en la que se encuentra el entorno.

Ejemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-count 2

API

1. Crea una solicitud de la API environments.patch.

2. En esta solicitud:

   1. En el parámetro updateMask, especifique la máscara config.workloadsConfig.schedulerCount.

   2. En el cuerpo de la solicitud, especifica el número de programadores de tu entorno.

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": SCHEDULER_COUNT
    }
  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.

• LOCATION: la región en la que se encuentra el entorno.

• SCHEDULER_COUNT: número de programadores.

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": 2
    }
  }
}

Terraform

Los siguientes campos del bloque workloads_config.scheduler controlan los parámetros del programador de Airflow. Cada programador usa la cantidad especificada de recursos.

• scheduler.count: número de programadores de tu entorno.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      scheduler {
        count = SCHEDULER_COUNT
      }
    }

  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.

• LOCATION: la región en la que se encuentra el entorno.

• SCHEDULER_COUNT: número de programadores.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      scheduler {
        
        count = 2
      }
    }

  }
}

Ajustar los parámetros del activador

Puedes definir el número de activadores en cero, pero necesitas al menos una instancia de activador en tu entorno (o al menos dos en entornos de alta resiliencia) para usar operadores aplazables en tus DAGs.

En función del modo de resiliencia de tu entorno, hay diferentes configuraciones posibles para el número de activadores:

• Resistencia estándar: puedes ejecutar hasta 10 activadores.
• Alta resiliencia: al menos 2 activadores y un máximo de 10.

Aunque el número de activadores sea cero, se crea una definición de pod de activador y se puede ver en el clúster de tu entorno, pero no se ejecuta ninguna carga de trabajo de activador.

También puedes especificar la cantidad de CPUs, memoria y espacio en disco que utilizan los activadores de Airflow en tu entorno. De esta forma, puedes aumentar el rendimiento de tu entorno, además de la escalabilidad horizontal que se consigue usando varios activadores.

Nota: Para obtener información sobre los valores y límites posibles de los recursos, consulta la sección Límites de recursos.

Consola

1. En la Google Cloud consola, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el elemento Recursos > Configuración de cargas de trabajo, haga clic en Editar.

5. En el panel Configuración de cargas de trabajo, ajusta los parámetros de los activadores de Airflow:

   1. En la sección Activador, en el campo Número de activadores, introduce el número de activadores de tu entorno.

      Si define al menos un activador para su entorno, utilice también los campos CPU y Memoria para configurar la asignación de recursos de los activadores.

   2. En CPU y Memoria, especifica el número de CPUs, la memoria y el almacenamiento de los activadores de Airflow. Cada activador usa la cantidad de recursos especificada.

6. Haz clic en Guardar.

gcloud

Están disponibles los siguientes parámetros de activador de Airflow:

Precaución: Utiliza siempre los tres argumentos: --triggerer-cpu, --triggerer-memory y --triggerer-count. Si omite un parámetro, su valor actual se restablecerá al valor predeterminado: 0.5 vCPU, 0.5 GB de memoria o el número de activadores del modo de resiliencia de su entorno.

• --triggerer-count: el número de activadores de tu entorno.

  • En los entornos de resiliencia estándar, utiliza un valor entre 0 y 10.
  • En entornos de alta resiliencia, usa 0 o un valor entre 2 y 10.

• --triggerer-cpu: número de CPUs de un activador de Airflow.

• --triggerer-memory: cantidad de memoria de un activador de Airflow.

Ejecuta el siguiente comando de la CLI de Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --triggerer-count TRIGGERER_COUNT \
  --triggerer-cpu TRIGGERER_CPU \
  --triggerer-memory TRIGGERER_MEMORY

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• TRIGGERER_COUNT: el número de activadores.
• TRIGGERER_CPU: número de CPUs de un activador, en unidades de vCPU.
• TRIGGERER_MEMORY: la cantidad de memoria de un activador.

Nota: El valor especificado para la memoria y el espacio en disco debe ser un número entero seguido de una unidad de tamaño: KB para kilobyte, MB para megabyte o GB para gigabyte. La unidad de tamaño predeterminada es GB. Por ejemplo, 10GB produce un almacenamiento de 10 gigabytes.

Ejemplos:

• Escala a cuatro instancias de activador:

gcloud composer environments update example-environment \
  --location us-central1 \
  --triggerer-count 4 \
  --triggerer-cpu 1 \
  --triggerer-memory 1

• Inhabilita los activadores configurando el recuento de activadores en 0. Esta operación no requiere que se especifiquen la CPU ni la memoria de los activadores.

gcloud composer environments update example-environment \
  --location us-central1 \
  --triggerer-count 0

API

1. En el parámetro de consulta updateMask, especifique la máscara config.workloadsConfig.triggerer.

2. En el cuerpo de la solicitud, especifica los tres parámetros de los activadores.

"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": TRIGGERER_COUNT,
      "cpu": TRIGGERER_CPU,
      "memoryGb": TRIGGERER_MEMORY
    }
  }
}

Haz los cambios siguientes:

• TRIGGERER_COUNT: el número de activadores.

  • En los entornos de resiliencia estándar, utiliza un valor entre 0 y 10.
  • En entornos de alta resiliencia, usa 0 o un valor entre 2 y 10.

• TRIGGERER_CPU: número de CPUs de un activador, en unidades de vCPU.

• TRIGGERER_MEMORY: la cantidad de memoria de un activador.

Ejemplos:

• Inhabilita los activadores configurando el recuento de activadores en 0. Esta operación no requiere que se especifiquen la CPU ni la memoria de los activadores.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 0
    }
  }
}

• Escala a cuatro instancias de activador:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 4,
      "cpu": 1,
      "memoryGb": 1
    }
  }
}

Terraform

Los siguientes campos del bloque workloads_config.triggerer controlan los parámetros del activador de Airflow. Cada activador usa la cantidad especificada de recursos.

• triggerer.count: el número de activadores de tu entorno.

  • En los entornos de resiliencia estándar, utiliza un valor entre 0 y 10.
  • En entornos de alta resiliencia, usa 0 o un valor entre 2 y 10.

• triggerer.cpu: número de CPUs de un activador de Airflow.

• triggerer.memory_gb: la cantidad de memoria de un activador de Airflow.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
    }

  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• TRIGGERER_COUNT: el número de activadores.
• TRIGGERER_CPU: número de CPUs de un activador, en unidades de vCPU.
• TRIGGERER_MEMORY: la cantidad de memoria de un activador, en GB.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
    }

  }
}

Ajustar los parámetros del servidor web

Puedes especificar la cantidad de CPUs, memoria y espacio en disco que utiliza el servidor web de Airflow en tu entorno. De esta forma, puedes escalar el rendimiento de la interfaz de usuario de Airflow, por ejemplo, para adaptarlo a la demanda de un gran número de usuarios o de DAGs gestionados.

Nota: Para obtener información sobre los valores y límites posibles de los recursos, consulta la sección Límites de recursos.

Consola

1. En la Google Cloud consola, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el elemento Recursos > Configuración de cargas de trabajo, haga clic en Editar.

5. En el panel Configuración de cargas de trabajo, ajusta los parámetros del servidor web. En los campos CPU, Memoria y Almacenamiento, especifica el número de CPUs, la memoria y el almacenamiento del servidor web.

6. Haz clic en Guardar.

gcloud

Están disponibles los siguientes parámetros del servidor web de Airflow:

• --web-server-cpu: número de CPUs del servidor web de Airflow.
• --web-server-memory: cantidad de memoria del servidor web de Airflow.
• --web-server-storage: la cantidad de espacio en disco del servidor web de Airflow.

Ejecuta el siguiente comando de la CLI de Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-cpu WEB_SERVER_CPU \
  --web-server-memory WEB_SERVER_MEMORY \
  --web-server-storage WEB_SERVER_STORAGE

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• WEB_SERVER_CPU: número de CPUs del servidor web, en unidades de vCPU.
• WEB_SERVER_MEMORY: cantidad de memoria del servidor web.
• WEB_SERVER_STORAGE: cantidad de memoria del servidor web.

Nota: El valor especificado para la memoria y el espacio en disco debe ser un número entero seguido de una unidad de tamaño: KB para kilobyte, MB para megabyte o GB para gigabyte. La unidad de tamaño predeterminada es GB. Por ejemplo, 10GB produce un almacenamiento de 10 gigabytes.

Ejemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-cpu 1 \
  --web-server-memory 2.5 \
  --web-server-storage 2

API

1. Crea una solicitud de la API environments.patch.

2. En esta solicitud:

   1. En el parámetro updateMask, especifique la máscara config.workloadsConfig.webServer para actualizar todos los parámetros del servidor web. También puede actualizar parámetros de servidor web concretos especificando una máscara para esos parámetros: config.workloadsConfig.webServer.cpu, config.workloadsConfig.webServer.memoryGb, config.workloadsConfig.webServer.storageGb.

   2. En el cuerpo de la solicitud, especifica los parámetros del nuevo servidor web.

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": WEB_SERVER_CPU,
      "memoryGb": WEB_SERVER_MEMORY,
      "storageGb": WEB_SERVER_STORAGE
    }
  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• WEB_SERVER_CPU: número de CPUs del servidor web, en unidades de vCPU.
• WEB_SERVER_MEMORY: la cantidad de memoria del servidor web, en GB.
• WEB_SERVER_STORAGE: tamaño del disco del servidor web en GB.

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2
    }
  }
}

Terraform

Los siguientes campos del bloque workloads_config.web_server controlan los parámetros del servidor web.

• web_server.cpu: número de CPUs del servidor web.
• web_server.memory_gb: la cantidad de memoria del servidor web.
• El web_server.storage_gb: la cantidad de espacio en disco del servidor web.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
    }

  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• WEB_SERVER_CPU: número de CPUs del servidor web, en unidades de vCPU.
• WEB_SERVER_MEMORY: la cantidad de memoria del servidor web, en GB.
• WEB_SERVER_STORAGE: tamaño del disco del servidor web en GB.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      web_server {
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
      }
    }

  }
}

Ajustar el tamaño del entorno

El tamaño del entorno controla los parámetros de rendimiento de la infraestructura gestionada de Cloud Composer, que incluye, por ejemplo, la base de datos de Airflow.

Si quieres ejecutar un gran número de DAGs y tareas, te recomendamos que selecciones un tamaño de entorno mayor.

Nota: El tamaño del entorno es diferente de los preajustes del entorno. Los preajustes de entorno, que puedes seleccionar al crear un entorno, determinan todos los límites, la escala y los parámetros de rendimiento del entorno, incluido el tamaño del entorno. El tamaño del entorno solo determina los parámetros de rendimiento de la infraestructura de Cloud Composer gestionada de tu entorno.

Consola

1. En la Google Cloud consola, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el elemento Recursos > Configuración de cargas de trabajo, haga clic en Editar.

5. En el elemento Recursos > Infraestructura principal, haz clic en Editar.

6. En el panel Infraestructura principal, en el campo Tamaño del entorno, especifique el tamaño del entorno.

7. Haz clic en Guardar.

gcloud

El argumento --environment-size controla el tamaño del entorno:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --environment-size ENVIRONMENT_SIZE

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• ENVIRONMENT_SIZE: small, medium o large.

Ejemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --environment-size medium

API

1. Crea una solicitud de la API environments.patch.

2. En esta solicitud:

   1. En el parámetro updateMask, especifique la máscara config.environmentSize.

   2. En el cuerpo de la solicitud, especifica el tamaño del entorno.

  "config": {
    "environmentSize": "ENVIRONMENT_SIZE"
  }

Haz los cambios siguientes:

• ENVIRONMENT_SIZE: el tamaño del entorno, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM o ENVIRONMENT_SIZE_LARGE.

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize

"config": {
  "environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}

Terraform

El campo environment_size del bloque config controla el tamaño del entorno:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    environment_size = "ENVIRONMENT_SIZE"

  }
}

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• ENVIRONMENT_SIZE: el tamaño del entorno, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM o ENVIRONMENT_SIZE_LARGE.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    }
  }
}

Ajustar el número de nodos

Puedes cambiar el número de nodos de tu entorno.

Este número corresponde al número de trabajadores de Airflow de tu entorno. Además de ejecutar trabajadores de Airflow, los nodos de tu entorno también ejecutan programadores de Airflow y otros componentes del entorno.

Consola

1. En la Google Cloud consola, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el elemento Nodos de trabajo > Número de nodos, haz clic en Editar.

5. En el panel Configuración de nodos de trabajador, en el campo Número de nodos, especifica el número de nodos de tu entorno.

6. Haz clic en Guardar.

gcloud

El argumento --node-count controla el número de nodos de tu entorno:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --zone NODE_ZONE \
    --node-count NODE_COUNT

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• NODE_COUNT: número de nodos. El número mínimo de nodos es 3.
• NODE_ZONE: la zona de Compute Engine de las VMs de tu entorno.

Ejemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --zone us-central1-a \
    --node-count 6

API

1. Crea una solicitud de la API environments.patch.

2. En esta solicitud:

   1. En el parámetro updateMask, especifique la máscara config.nodeCount.

   2. En el cuerpo de la solicitud, especifica el número de nodos de tu entorno.

  "config": {
    "nodeCount": NODE_COUNT
  }

Haz los cambios siguientes:

• NODE_COUNT: número de nodos. El número mínimo de nodos es 3.

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount

"config": {
  "nodeCount": 6
}

Terraform

El campo node_count del bloque node_config especifica el número de nodos de tu entorno.

resource "google_composer_environment" "example" {

  config {
    node_config {
      node_count = NODE_COUNT
    }
}

Haz los cambios siguientes:

• NODE_COUNT: número de nodos.

Ejemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      node_count = 4
    }

}

Nota: Si cambias el número de nodos de un entorno, no se volverán a compilar las imágenes de Airflow que se usen en ese entorno.

Ajustar el tipo de máquina de la instancia de Cloud SQL

Puedes cambiar el tipo de máquina de la instancia de Cloud SQL que almacena la base de datos de Airflow de tu entorno.

Consola

1. En la Google Cloud consola, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el elemento Recursos > Tipo de máquina de Cloud SQL, haz clic en Editar.

5. En el panel Configuración de Cloud SQL, en la lista desplegable Tipo de máquina de Cloud SQL, selecciona el tipo de máquina de la instancia de Cloud SQL de tu entorno.

6. Haz clic en Guardar.

gcloud

Los argumentos de --cloud-sql-machine-type controlan el tipo de máquina de la instancia de Cloud SQL de tu entorno.

Ejecuta el siguiente comando de la CLI de Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --cloud-sql-machine-type SQL_MACHINE_TYPE

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• SQL_MACHINE_TYPE: el tipo de máquina de la instancia de Cloud SQL.

Ejemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --cloud-sql-machine-type db-n1-standard-2

API

1. Crea una solicitud de la API environments.patch.

2. En esta solicitud:

   1. En el parámetro updateMask, especifique la máscara config.databaseConfig.machineType.

   2. En el cuerpo de la solicitud, especifica el tipo de máquina de la instancia de Cloud SQL.

{
  "config": {
    "databaseConfig": {
      "machineType": "SQL_MACHINE_TYPE"
    }
  }
}

Haz los cambios siguientes:

• SQL_MACHINE_TYPE: el tipo de máquina de la instancia de Cloud SQL.

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType

{
  "config": {
    "databaseConfig": {
      "machineType": "db-n1-standard-2"
    }
  }
}

Terraform

El campo machine_type del bloque database_config especifica el tipo de máquina de la instancia de Cloud SQL.

resource "google_composer_environment" "example" {

  config {
    database_config {
      machine_type = "SQL_MACHINE_TYPE"
    }
  }
}

Haz los cambios siguientes:

• SQL_MACHINE_TYPE: el tipo de máquina de la instancia de Cloud SQL.

Ejemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    database_config {
      machine_type = "db-n1-standard-2"
    }
}

Ajustar el tipo de máquina del servidor web

Puedes cambiar el tipo de máquina del servidor web de Airflow de tu entorno.

Consola

1. En la Google Cloud consola, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el elemento Recursos > Tipo de máquina del servidor web, haga clic en Editar.

5. En el panel Configuración del servidor web, en la lista desplegable Tipo de máquina del servidor web, selecciona el tipo de máquina del servidor web de Airflow.

6. Haz clic en Guardar.

gcloud

Los argumentos de --web-server-machine-type controlan el tipo de máquina de la instancia del servidor web de Airflow de tu entorno.

Ejecuta el siguiente comando de la CLI de Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-machine-type WS_MACHINE_TYPE

Haz los cambios siguientes:

• ENVIRONMENT_NAME: el nombre del entorno.
• LOCATION: la región en la que se encuentra el entorno.
• WS_MACHINE_TYPE: el tipo de máquina de la instancia del servidor web de Airflow.

Ejemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-machine-type composer-n1-webserver-2

API

1. Crea una solicitud de la API environments.patch.

2. En esta solicitud:

   1. En el parámetro updateMask, especifique la máscara config.webServerConfig.machineType.

   2. En el cuerpo de la solicitud, especifica el tipo de máquina del servidor web.

{
  "config": {
    "webServerConfig": {
      "machineType": "WS_MACHINE_TYPE"
    }
  }
}

Haz los cambios siguientes:

• WS_MACHINE_TYPE: el tipo de máquina de la instancia del servidor web de Airflow.

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType

{
  "config": {
    "webServerConfig": {
      "machineType": "composer-n1-webserver-2"
    }
  }
}

Terraform

El campo machine_type del bloque web_server_config especifica el tipo de máquina de la instancia del servidor web de Airflow.

resource "google_composer_environment" "example" {

  config {
    web_server_config {
      machine_type = "WS_MACHINE_TYPE"
    }
  }
}

Haz los cambios siguientes:

• WS_MACHINE_TYPE: el tipo de máquina de la instancia del servidor web de Airflow.

Ejemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    web_server_config {
      machine_type = "composer-n1-webserver-2"
    }
}

Siguientes pasos

• Escalado del entorno y rendimiento
• Precios de Cloud Composer
• Actualizar entornos
• Arquitectura del entorno