Specifica dei periodi di manutenzione

In questa pagina viene spiegato come definire i periodi di manutenzione per i tuoi ambienti.

Informazioni sui periodi di manutenzione

Un periodo di manutenzione è un periodo di tempo in cui autorizzi Cloud Composer a eseguire operazioni di manutenzione. Ad esempio, puoi assicurarti che le esecuzioni delle attività critiche non vengano interrotte specificando periodi di manutenzione al di fuori degli orari di pianificazione dei DAG.

Con i periodi di manutenzione, hai il controllo sui periodi di tempo in cui è prevista la manutenzione per il tuo ambiente:

Se definisci periodi di manutenzione personalizzati per il tuo ambiente, Cloud Composer esegue la manutenzione durante i periodi definiti.
Se non definisci periodi di manutenzione per il tuo ambiente, Cloud Composer esegue la manutenzione in qualsiasi momento.

Cosa succede durante i periodi di manutenzione

Quando specifichi i periodi di manutenzione, fornisci almeno 12 ore di tempo in una singola settimana per le operazioni di manutenzione:

Il tuo ambiente rimane disponibile durante i periodi di manutenzione. Alcuni componenti dell'ambiente potrebbero diventare temporaneamente non disponibili durante le operazioni di manutenzione.
Le 12 ore sono necessarie affinché Cloud Composer abbia tempo sufficiente per pianificare ed eseguire tutte le operazioni di manutenzione. Questo non significa che le operazioni di manutenzione richiedono 12 ore piene o addirittura ogni settimana.

Puoi comunque eseguire i DAG durante i periodi di manutenzione, purché sia accettabile che alcune attività possano essere interrotte e tentate di nuovo. Se esegui i DAG durante i periodi di manutenzione, assicurati di abilitare i nuovi tentativi delle attività. Puoi configurare i nuovi tentativi delle attività a livello di configurazione, DAG o attività di Airflow.

Le operazioni di manutenzione possono avere i seguenti effetti sul tuo ambiente:

La modifica di alcuni parametri del tuo ambiente o l'upgrade a una versione più recente potrebbe non essere temporaneamente possibile.
Le query SQL dirette al database Airflow potrebbero richiedere più tempo del solito e potrebbero essere necessari nuovi tentativi.
La UI di Airflow potrebbe non essere temporaneamente disponibile
Alcune attività di Airflow possono essere interrotte. Una volta completata l'operazione di manutenzione, Airflow pianifica nuovi tentativi per queste attività (se non configurate diversamente).

Periodi di manutenzione predefiniti

Per impostazione predefinita, gli ambienti Cloud Composer 1 non hanno periodi di manutenzione definiti se li crei dalla console Google Cloud, dall'API o da Terraform. Ti consigliamo di specificare i periodi di manutenzione per gli ambienti nuovi ed esistenti.

Se crei il tuo ambiente utilizzando gcloud CLI, sono previsti periodi di manutenzione predefiniti ogni settimana dalle 00:00:00 alle 04:00:00 (GMT) di domenica, venerdì e sabato.

Come usare i periodi di manutenzione

Le operazioni di manutenzione potrebbero influire sull'esecuzione dei DAG e delle attività Airflow, quindi ti consigliamo di procedere come segue:

Definisci i periodi di manutenzione per i tuoi ambienti Cloud Composer.
Pianifica l'esecuzione dei DAG al di fuori dei periodi di manutenzione specificati utilizzando i parametri start_date e schedule_interval nei DAG.

Specifica i periodi di manutenzione per i nuovi ambienti

Puoi specificare i periodi di manutenzione quando crei un ambiente. Per ulteriori informazioni, consulta Creare ambienti.

Specifica i periodi di manutenzione per gli ambienti esistenti

Console

Per definire o modificare i periodi di manutenzione per un ambiente esistente, aggiorna l'ambiente:

Nella console Google Cloud, vai alla pagina Ambienti.

Vai ad Ambienti
Seleziona il tuo ambiente.
Vai alla scheda Configurazione dell'ambiente.
Accanto alla voce Finestre di manutenzione, fai clic su Modifica.
Nella finestra di dialogo Finestre di manutenzione, seleziona la casella di controllo Imposta un periodo personalizzato per i periodi di manutenzione.
Imposta Ora di inizio, Fuso orario, Giorni e Lunghezza, in modo che il tempo combinato per la pianificazione specificata sia di almeno 12 ore in una finestra temporale di 7 giorni. Ad esempio, un periodo di 4 ore ogni lunedì, mercoledì e venerdì fornisce il tempo richiesto.
Fai clic su Salva e attendi che l'ambiente venga aggiornato.

gcloud

Quando aggiorni un ambiente, i seguenti argomenti definiscono i parametri delle finestre di manutenzione:

--maintenance-window-start imposta l'ora di inizio di una finestra di manutenzione.
--maintenance-window-end imposta l'ora di fine di un periodo di manutenzione.
--maintenance-window-recurrence imposta la ricorrenza del periodo di manutenzione.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --maintenance-window-start 'DATETIME_START' \
    --maintenance-window-end 'DATETIME_END' \
    --maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'

Sostituisci:

ENVIRONMENT_NAME con il nome dell'ambiente.
DATETIME_START con la data e l'ora di inizio nel formato di input data/ora. Viene utilizzata solo l'ora del giorno specificata. La data specificata viene ignorata.
DATETIME_END con la data e l'ora di fine nel formato di input data/ora. Viene utilizzata solo l'ora del giorno specificata. La data specificata viene ignorata. La data e l'ora specificate devono essere successive alla data di inizio.
MAINTENANCE_RECURRENCE con una RRULE RFC 5545 per la ricorrenza dei periodi di manutenzione. Cloud Composer supporta due formati:
Il formato FREQ=DAILY specifica una ricorrenza giornaliera.
Il formato FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA specifica una ricorrenza nei giorni della settimana selezionati.

L'esempio seguente specifica un periodo di manutenzione di 6 ore tra le 01:00 e le 07:00 (UTC) di domenica, mercoledì e sabato. La data del 1° gennaio 2023 viene ignorata.

gcloud composer environments update example-environment \
  --location us-central1 \
  --maintenance-window-start '2023-01-01T01:00:00Z' \
  --maintenance-window-end '2023-01-01T07:00:00Z' \
  --maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'

API

Crea una richiesta API environments.patch.
In questa richiesta:
1. Nel parametro updateMask, specifica la maschera config.maintenanceWindow.
2. Nel corpo della richiesta, specifica i parametri per i periodi di manutenzione.

{
  "config": {
    "maintenanceWindow": {
      "startTime": "DATETIME_START",
      "endTime": "DATETIME_END",
      "recurrence": "MAINTENANCE_RECURRENCE"
    }
  }
}

Sostituisci:

DATETIME_START con la data e l'ora di inizio nel formato di input data/ora. Viene utilizzata solo l'ora del giorno specificata. La data specificata viene ignorata.
DATETIME_END con la data e l'ora di fine nel formato di input data/ora. Viene utilizzata solo l'ora del giorno specificata. La data specificata viene ignorata. La data e l'ora specificate devono essere successive alla data di inizio.
MAINTENANCE_RECURRENCE con una RRULE RFC 5545 per la ricorrenza dei periodi di manutenzione. Cloud Composer supporta due formati:
- Il formato FREQ=DAILY specifica una ricorrenza giornaliera.
- Il formato FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA specifica una ricorrenza nei giorni della settimana selezionati.

L'esempio seguente specifica un periodo di manutenzione di 6 ore tra le 01:00 e le 07:00 (UTC) di domenica, mercoledì e sabato. La data del 1° gennaio 2023 viene ignorata.

  // PATCH https://composer.googleapis.com/v1/projects/example-project/
  // locations/us-central1/environments/example-environment?updateMask=
  // config.maintenanceWindow

  {
    "config": {
      "maintenanceWindow": {
        "startTime": "2023-01-01T01:00:00Z",
        "endTime": "2023-01-01T07:00:00Z",
        "recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
      }
    }
  }

Terraform

Il blocco maintenance_window specifica i periodi di manutenzione per il tuo ambiente:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    maintenance_window {
      start_time = "DATETIME_START"
      end_time = "DATETIME_END"
      recurrence = "MAINTENANCE_RECURRENCE"
    }
  }
}

Sostituisci:

ENVIRONMENT_NAME con il nome dell'ambiente.
LOCATION con la regione in cui si trova l'ambiente.
DATETIME_START con la data e l'ora di inizio nel formato di input data/ora. Viene utilizzata solo l'ora del giorno specificata. La data specificata viene ignorata.
DATETIME_END con la data e l'ora di fine nel formato di input data/ora. Viene utilizzata solo l'ora del giorno specificata. La data specificata viene ignorata. La data e l'ora specificate devono essere successive alla data di inizio.
MAINTENANCE_RECURRENCE con una RRULE RFC 5545 per la ricorrenza dei periodi di manutenzione. Cloud Composer supporta due formati:
- Il formato FREQ=DAILY specifica una ricorrenza giornaliera.
- Il formato FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA specifica una ricorrenza nei giorni della settimana selezionati.

L'esempio seguente specifica un periodo di manutenzione di 6 ore tra le 01:00 e le 07:00 (UTC) di domenica, mercoledì e sabato. La data del 1° gennaio 2023 viene ignorata.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    maintenance_window {
      start_time = "2023-01-01T01:00:00Z"
      end_time = "2023-01-01T07:00:00Z"
      recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
    }
  }
}

Specifica dei periodi di manutenzione

Informazioni sui periodi di manutenzione

Cosa succede durante i periodi di manutenzione

Periodi di manutenzione predefiniti

Come usare i periodi di manutenzione

Specifica i periodi di manutenzione per i nuovi ambienti

Specifica i periodi di manutenzione per gli ambienti esistenti

Console

gcloud

API

Terraform

Passaggi successivi