Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
En esta página, se explica cómo definir los períodos de mantenimiento de tus entornos.
Acerca de los períodos de mantenimiento
Un período de mantenimiento es un período en el que permites que Cloud Composer realice operaciones de mantenimiento. Por ejemplo, puedes garantizar que las ejecuciones de tus tareas críticas no sean interrumpidas especificar períodos de mantenimiento fuera de los horarios de programación del DAG.
Con los períodos de mantenimiento, puedes controlar los períodos en los que el mantenimiento de tu entorno puede ocurrir:
Si defines períodos de mantenimiento personalizados para tu entorno, Cloud Composer realiza el mantenimiento durante estos períodos definidos.
Si no defines períodos de mantenimiento personalizados para tu entorno o especificas un valor vacío, Cloud Composer realizará el mantenimiento durante los períodos de mantenimiento predeterminados.
Qué sucede durante los períodos de mantenimiento
Cuando especificas períodos de mantenimiento, proporcionas al menos 12 horas de tiempo en una sola semana para las operaciones de mantenimiento:
Tu entorno permanece disponible durante los períodos de mantenimiento. Algunos componentes de tu entorno pueden dejar de estar disponibles de forma temporal cuando se agregan las operaciones están en curso.
Se requieren las 12 horas para que Cloud Composer tenga tiempo suficiente programar y realizar todas las operaciones de mantenimiento. Esto no significa que las operaciones de mantenimiento tardan 12 horas o incluso ocurren todas las semanas.
Puedes seguir ejecutando tus DAG durante los períodos de mantenimiento, siempre que es aceptable que algunas tareas se puedan interrumpir y reintentar. Si ejecutas DAGs durante los períodos de mantenimiento, asegúrate de habilitar las reintentos de tareas. Puedes configurar reintentos de tareas a nivel de configuración de Airflow, DAG o tarea.
Las operaciones de mantenimiento tienen los siguientes efectos en tu entorno:
Es posible que la IU de Airflow no esté disponible temporalmente.
Cloud Composer podría realizar una operación de actualización automática de la infraestructura si hay actualizaciones disponibles.
Es posible que no puedas cambiar algunos parámetros de tu entorno de forma temporal.
Algunas tareas de Airflow pueden interrumpirse. Después de la operación de mantenimiento se completa, Airflow programa reintentos para estas tareas (si no está configurado de lo contrario).
Períodos de mantenimiento predeterminados
Los períodos de mantenimiento predeterminados en Cloud Composer 3 se definen de la siguiente manera:
- Todas las horas se muestran en la zona horaria local de la región en la que se encuentra tu entorno, pero se ignora el horario de verano.
- Los martes, miércoles, jueves y viernes, los períodos de mantenimiento son de 00:00:00 a 02:00:00.
- Los sábados, domingos y lunes, los períodos de mantenimiento son desde las 12:00 a.m. a 04:00:00.
Cómo usar los períodos de mantenimiento
Las operaciones de mantenimiento pueden afectar la ejecución de tus DAG y Airflow tareas, por lo que te recomendamos que hagas lo siguiente:
Define los períodos de mantenimiento para tus entornos de Cloud Composer.
Programa ejecuciones de DAG fuera de los períodos de mantenimiento especificados con Los parámetros
start_date
yschedule_interval
en tus DAG.
Especifica períodos de mantenimiento para entornos nuevos
Puedes especificar períodos de mantenimiento cuando creas un entorno. Para obtener más información, consulta Crea entornos.
Especifica períodos de mantenimiento para entornos existentes
Console
Para definir o cambiar los períodos de mantenimiento de un entorno existente, actualiza el entorno:
En la consola de Google Cloud, ve a la página Entornos.
Selecciona tu entorno.
Ve a la pestaña Configuración del entorno.
Junto a la entrada Períodos de mantenimiento, haz clic en Editar.
En el cuadro de diálogo Períodos de mantenimiento, selecciona la casilla de verificación Configurar tiempo personalizado para el período de mantenimiento.
Establece la Hora de inicio, la Zona horaria, los Días y la Duración, para que la hora combinada del programa especificado sea de al menos 12 horas en un período progresivo de 7 días. Por ejemplo, un período de 4 horas todos los lunes, miércoles y viernes proporciona la cantidad de tiempo requerida.
Haz clic en Guardar y espera a que se actualice tu entorno.
gcloud
Cuando actualizas un entorno, los siguientes argumentos definen los parámetros de períodos de mantenimiento:
--maintenance-window-start
establece la hora de inicio de un período de mantenimiento.--maintenance-window-end
establece la hora de finalización de un período de mantenimiento.--maintenance-window-recurrence
establece la recurrencia del período de mantenimiento.
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--maintenance-window-start 'DATETIME_START' \
--maintenance-window-end 'DATETIME_END' \
--maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'
Reemplaza lo siguiente:
ENVIRONMENT_NAME
por el nombre del entorno.DATETIME_START
por la fecha y hora de inicio en el formato de entrada de fecha y hora. Solo se usa la hora especificada del día, se ignora la fecha especificada.DATETIME_END
por la fecha y hora de finalización en el formato de entrada de fecha y hora. Solo se usa la hora especificada del día, se ignora la fecha especificada. La fecha y hora especificadas deben ser posteriores a la fecha de inicio.MAINTENANCE_RECURRENCE
por una RRULE RFC 5545 para la recurrencia de los períodos de mantenimiento. Cloud Composer admite dos formatos:El formato
FREQ=DAILY
especifica una recurrencia diaria.El formato
FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA
especifica una recurrencia en los días de la semana seleccionados.
En el siguiente ejemplo, se especifica un período de mantenimiento de 6 horas entre la 1:00 y 07:00 (UTC) los miércoles, sábados y domingos Se ignora la fecha del 1 de enero de 2023.
gcloud composer environments update example-environment \
--location us-central1 \
--maintenance-window-start '2023-01-01T01:00:00Z' \
--maintenance-window-end '2023-01-01T07:00:00Z' \
--maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'
API
Realiza una solicitud a la API de
environments.patch
.En esta solicitud, realiza lo siguiente:
En el parámetro
updateMask
, especifica la máscaraconfig.maintenanceWindow
.En el cuerpo de la solicitud, especifica los parámetros para los períodos de mantenimiento.
{
"config": {
"maintenanceWindow": {
"startTime": "DATETIME_START",
"endTime": "DATETIME_END",
"recurrence": "MAINTENANCE_RECURRENCE"
}
}
}
Reemplaza lo siguiente:
DATETIME_START
por la fecha y hora de inicio en el formato de entrada de fecha y hora. Solo se usa la hora especificada del día, se ignora la fecha especificada.DATETIME_END
por la fecha y hora de finalización en el formato de entrada de fecha y hora. Solo se usa la hora especificada del día, se ignora la fecha especificada. La fecha y hora especificadas deben ser posteriores a la fecha de inicio.MAINTENANCE_RECURRENCE
por una RRULE RFC 5545 para la recurrencia de los períodos de mantenimiento. Cloud Composer admite dos formatos:- El formato
FREQ=DAILY
especifica una recurrencia diaria. - El formato
FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA
especifica una recurrencia en los días de la semana seleccionados.
- El formato
En el siguiente ejemplo, se especifica un período de mantenimiento de 6 horas entre la 1:00 y 07:00 (UTC) los miércoles, sábados y domingos Se ignora la fecha del 1 de enero de 2023.
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.maintenanceWindow
{
"config": {
"maintenanceWindow": {
"startTime": "2023-01-01T01:00:00Z",
"endTime": "2023-01-01T07:00:00Z",
"recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
}
}
}
Terraform
El bloque maintenance_window
especifica los períodos de mantenimiento de tu
entorno:
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
maintenance_window {
start_time = "DATETIME_START"
end_time = "DATETIME_END"
recurrence = "MAINTENANCE_RECURRENCE"
}
}
}
Reemplaza lo siguiente:
ENVIRONMENT_NAME
por el nombre del entorno.LOCATION
por la región en la que se encuentra el entorno.DATETIME_START
por la fecha y hora de inicio en el formato de entrada de fecha y hora. Solo se usa la hora especificada del día, se ignora la fecha especificada.DATETIME_END
por la fecha y hora de finalización en el formato de entrada de fecha y hora. Solo se usa la hora especificada del día, se ignora la fecha especificada. La fecha y hora especificadas deben ser posteriores a la fecha de inicio.MAINTENANCE_RECURRENCE
por una RRULE RFC 5545 para la recurrencia de los períodos de mantenimiento. Cloud Composer admite dos formatos:- El formato
FREQ=DAILY
especifica una recurrencia diaria. - El formato
FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA
especifica una recurrencia en los días de la semana seleccionados.
- El formato
En el siguiente ejemplo, se especifica un período de mantenimiento de 6 horas entre la 1:00 y 07:00 (UTC) los miércoles, sábados y domingos Se ignora la fecha del 1 de enero de 2023.
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
maintenance_window {
start_time = "2023-01-01T01:00:00Z"
end_time = "2023-01-01T07:00:00Z"
recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
}
}
}