Spécifier des intervalles de maintenance

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Cette page explique comment définir des intervalles de maintenance pour vos environnements.

À propos des intervalles de maintenance

Un intervalle de maintenance est une période pendant laquelle vous autorisez Cloud Composer à effectuer des opérations de maintenance. Par exemple : pouvez vous assurer que vos exécutions de tâches critiques ne sont pas interrompues par en spécifiant des intervalles de maintenance en dehors des heures de planification du DAG.

Les intervalles de maintenance vous permettent de contrôler les périodes pendant lesquelles la maintenance peut s'effectuer pour votre environnement :

• Si vous définissez des intervalles de maintenance personnalisés pour votre environnement, Cloud Composer effectue la maintenance pendant ces périodes définies.

• Si vous ne définissez pas d'intervalles de maintenance personnalisés pour votre environnement, Cloud Composer effectue la maintenance pendant la intervalles de maintenance.

Remarque : Configurez toujours les fenêtres de maintenance via les interfaces Cloud Composer, comme la console Google Cloud, le SDK Google Cloud, Terraform et l'API Cloud Composer. Évitez de configurer des intervalles de maintenance au niveau du cluster de votre environnement, sauf si l'équipe du service client Cloud vous y invite.

Attention : En cas d'urgence, par exemple lors de la correction d'une faille de sécurité critique, certaines opérations de maintenance peuvent être effectuées en dehors des intervalles de maintenance réguliers.

Que se passe-t-il pendant les intervalles de maintenance ?

Lorsque vous spécifiez des intervalles de maintenance, vous devez prévoir au moins 12 heures par semaine pour les opérations de maintenance :

• Votre environnement reste disponible pendant les intervalles de maintenance. Certains composants de votre environnement peut devenir temporairement indisponible lors de la maintenance sont en cours.

• Ces 12 heures sont requises pour que Cloud Composer dispose de suffisamment de temps pour planifier et effectuer toutes les opérations de maintenance. Cela ne signifie pas que les opérations de maintenance prennent 12 heures complètes ni même qu'elles ont lieu chaque semaine.

Vous pouvez toujours exécuter vos DAG pendant les intervalles de maintenance, à condition qu'ils acceptable que certaines tâches puissent être interrompues et relancées. Si vous exécutez des DAG pendant les intervalles de maintenance, assurez-vous d'activer la répétition des tentatives de tâches. Vous pouvez configurer les nouvelles tentatives de tâches au niveau de la configuration Airflow, du DAG ou de la tâche.

Les tâches qui prennent moins de 55 minutes à s'exécuter ne sont généralement pas affectées par les opérations de maintenance, mais elles doivent toujours avoir des nouvelles tentatives activées pour résister aux redémarrages du planificateur. Le planificateur peut redémarrer pendant les opérations Cloud Composer standards, en dehors des périodes de maintenance.

Cloud Composer informe les nœuds de calcul Airflow qu'une opération de maintenance est sur le point d'avoir lieu. Un nœud de calcul Airflow termine les tâches déjà lancées et ne sélectionne pas de nouvelles tâches. Ces nouvelles tâches sont exécutées par des nœuds de calcul Airflow qui ne subissent pas d'opérations de maintenance.

Si vous utilisez un environnement hautement résilient, les composants Airflow de votre environnement sont susceptibles d'être redémarrés à différents moments lors d'une opération de maintenance (cela dépend du type d'opération de maintenance). Globalement, l'utilisation d'un environnement hautement résilient réduit les temps d'arrêt de votre environnement lors des opérations de maintenance.

Les opérations de maintenance ont les effets suivants sur votre environnement :

• Il est possible que l'interface utilisateur d'Airflow soit temporairement indisponible.

• Il est possible que vous ne puissiez pas modifier certains paramètres de votre environnement ni passer à une version ultérieure pendant un certain temps.

• Diriger les requêtes SQL vers la base de données Airflow peut prendre plus de temps que d'habitude et peut nécessiter une nouvelle tentative.

• Certaines tâches Airflow qui prennent plus de 55 minutes peut être interrompue. Une fois l'opération de maintenance terminée, Airflow planifie des nouvelles tentatives pour ces tâches (si ce n'est pas configuré autrement).

Intervalles de maintenance par défaut

Les intervalles de maintenance par défaut dans Cloud Composer 2 proviennent de 00:00:00 à 4:00:00 (GMT) chaque semaine, le vendredi, le samedi et le dimanche

Comment utiliser des intervalles de maintenance

Les opérations de maintenance peuvent avoir un impact sur l'exécution de vos DAG et des tâches Airflow. Nous vous recommandons donc de procéder comme suit :

1. Définissez des intervalles de maintenance pour vos environnements Cloud Composer.

2. Programmez les exécutions de DAG en dehors des intervalles de maintenance spécifiés en utilisant les paramètres start_date et schedule_interval dans vos DAG.

Spécifier des intervalles de maintenance pour les nouveaux environnements

Vous pouvez spécifier des intervalles de maintenance lorsque vous créez un environnement. Pour en savoir plus, consultez la page Créer des environnements.

Spécifier des intervalles de maintenance pour les environnements existants

Console

Pour définir ou modifier des intervalles de maintenance pour un environnement existant, mettez à jour l'environnement :

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Sélectionnez votre environnement.

3. Accédez à l'onglet Configuration de l'environnement.

4. À côté de l'entrée Intervalles de maintenance, cliquez sur Modifier.

5. Dans la boîte de dialogue Intervalles de maintenance, cochez la case Définir une heure personnalisée pour les intervalles de maintenance.

6. Définissez l'heure de début, le fuseau horaire, les jours et la durée de manière à obtenir une planification équivalant au minimum à 12 heures sur une période glissante de sept jours. Par exemple, une périodicité de 4 heures tous les lundis, mercredis et vendredis fournit bien la durée requise.

7. Cliquez sur Enregistrer et attendez la mise à jour de votre environnement.

gcloud

Lorsque vous mettez à jour un environnement, les arguments suivants définissent les paramètres des intervalles de maintenance :

• --maintenance-window-start définit l'heure de début d'un intervalle de maintenance.
• --maintenance-window-end définit l'heure de fin d'un intervalle de maintenance.
• --maintenance-window-recurrence définit la récurrence de l'intervalle de maintenance.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --maintenance-window-start 'DATETIME_START' \
    --maintenance-window-end 'DATETIME_END' \
    --maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'

Remplacez :

• ENVIRONMENT_NAME par le nom de l'environnement.
• DATETIME_START par la date et l'heure de début au format "date/heure". Seule l'heure spécifiée est utilisée, la date est ignorée.
• DATETIME_END par la date et l'heure de fin au format "date/heure". Seule l'heure spécifiée est utilisée, la date est ignorée. La date et l'heure spécifiées doivent être postérieures à la date de début.

• MAINTENANCE_RECURRENCE par une expression RRULE RFC 5545 pour la récurrence des intervalles de maintenance. Cloud Composer est compatible avec deux formats :

• Le format FREQ=DAILY indique une récurrence quotidienne.

• Le format FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA indique une récurrence les jours sélectionnés de la semaine.

L'exemple suivant spécifie un intervalle de maintenance de six heures entre 01:00 et 07:00 (UTC) les mercredis, samedis et dimanches. La date du 1er janvier 2023 est ignorée.

gcloud composer environments update example-environment \
  --location us-central1 \
  --maintenance-window-start '2023-01-01T01:00:00Z' \
  --maintenance-window-end '2023-01-01T07:00:00Z' \
  --maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'

API

1. Rédigez une requête API environments.patch.

2. Dans cette requête :

   1. Dans le paramètre updateMask, spécifiez le masque config.maintenanceWindow.

   2. Dans le corps de la requête, spécifiez les paramètres des intervalles de maintenance.

{
  "config": {
    "maintenanceWindow": {
      "startTime": "DATETIME_START",
      "endTime": "DATETIME_END",
      "recurrence": "MAINTENANCE_RECURRENCE"
    }
  }
}

Remplacez :

• DATETIME_START par la date et l'heure de début au format "date/heure". Seule l'heure spécifiée est utilisée, la date est ignorée.
• DATETIME_END par la date et l'heure de fin au format "date/heure". Seule l'heure spécifiée est utilisée, la date est ignorée. La date et l'heure spécifiées doivent être postérieures à la date de début.

• MAINTENANCE_RECURRENCE par une expression RRULE RFC 5545 pour la récurrence des intervalles de maintenance. Cloud Composer est compatible avec deux formats :

  • Le format FREQ=DAILY indique une récurrence quotidienne.
  • Le format FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA indique une récurrence les jours sélectionnés de la semaine.

L'exemple suivant spécifie un intervalle de maintenance de six heures entre 01:00 et 07:00 (UTC) les mercredis, samedis et dimanches. La date du 1er janvier 2023 est ignorée.

  // PATCH https://composer.googleapis.com/v1/projects/example-project/
  // locations/us-central1/environments/example-environment?updateMask=
  // config.maintenanceWindow

  {
    "config": {
      "maintenanceWindow": {
        "startTime": "2023-01-01T01:00:00Z",
        "endTime": "2023-01-01T07:00:00Z",
        "recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
      }
    }
  }

Terraform

Le bloc maintenance_window spécifie les intervalles de maintenance pour votre environnement :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    maintenance_window {
      start_time = "DATETIME_START"
      end_time = "DATETIME_END"
      recurrence = "MAINTENANCE_RECURRENCE"
    }
  }
}

Remplacez :

• ENVIRONMENT_NAME par le nom de l'environnement.
• LOCATION par la région où se trouve l'environnement.
• DATETIME_START par la date et l'heure de début au format "date/heure". Seule l'heure spécifiée est utilisée, la date est ignorée.
• DATETIME_END par la date et l'heure de fin au format "date/heure". Seule l'heure spécifiée est utilisée, la date est ignorée. La date et l'heure spécifiées doivent être postérieures à la date de début.

• MAINTENANCE_RECURRENCE par une expression RRULE RFC 5545 pour la récurrence des intervalles de maintenance. Cloud Composer est compatible avec deux formats :

  • Le format FREQ=DAILY indique une récurrence quotidienne.
  • Le format FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA indique une récurrence les jours sélectionnés de la semaine.

L'exemple suivant spécifie un intervalle de maintenance de six heures entre 01:00 et 07:00 (UTC) les mercredis, samedis et dimanches. La date du 1er janvier 2023 est ignorée.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    maintenance_window {
      start_time = "2023-01-01T01:00:00Z"
      end_time = "2023-01-01T07:00:00Z"
      recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
    }
  }
}

Étape suivante

• Créer des environnements
• Mettre à jour des environnements
• Nettoyer la base de données Airflow