Cloud Composer 1 è in modalità post-manutenzione. Google non rilascia ulteriori aggiornamenti a Cloud Composer 1, incluse nuove versioni di Airflow, correzioni di bug e aggiornamenti della sicurezza. Ti consigliamo di pianificare la migrazione a Cloud Composer 2.

Questa pagina è stata tradotta dall'API Cloud Translation.

Salvare e caricare gli snapshot dell'ambiente

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina spiega come salvare e caricare lo stato dell'ambiente utilizzando gli snapshot dell'ambiente.

Puoi configurare l'ambiente in modo che salvi automaticamente gli snapshot. Per maggiori informazioni consulta Configurare gli snapshot pianificati.

Informazioni sugli snapshot dell'ambiente

Gli snapshot dell'ambiente memorizzano lo stato dell'ambiente. Puoi salvare e caricare gli snapshot dell'ambiente on demand.

Puoi utilizzare gli snapshot per:

Esegui la migrazione degli ambienti a una versione principale successiva di Composer o Airflow.

Come vengono archiviati gli snapshot

Uno snapshot di ambiente è un insieme di file che descrivono lo stato e archiviare il backup dei dati dell'ambiente.

Puoi creare più snapshot dell'ambiente. Gli snapshot dell'ambiente non sono incrementali. Puoi utilizzare qualsiasi istantanea indipendentemente dalle altre.

Cloud Composer non elimina gli snapshot quando elimini l'ambiente.

Per impostazione predefinita, Cloud Composer archivia gli snapshot in snapshots/ cartella nel bucket dell'ambiente. Puoi anche specificare una località personalizzata quando crei uno snapshot.

Sebbene l'interfaccia utente di Cloud Storage mostri i dati come cartelle per praticità, i bucket lavorano in una struttura di file aperti. Questo non cambia il modo in cui lavori con il salvataggio e il caricamento degli snapshot nella console Google Cloud, ma tienilo presente quando esegui operazioni direttamente sui file nel bucket. Per ulteriori informazioni, consulta Spazio dei nomi degli oggetti.

Considerazioni sulla sicurezza per gli snapshot

Per ridurre questo rischio per la sicurezza, puoi archiviare informazioni sensibili utilizzata dai DAG di Airflow, come chiavi o password, tramite Secret Manager. Per ulteriori informazioni, vedi Configura Secret Manager per il tuo ambiente.

Assicurati di controllare le autorizzazioni di sicurezza per il bucket del tuo ambiente. Se di archiviare gli snapshot dell'ambiente in un bucket personalizzato, le relative autorizzazioni di accesso siano configurate correttamente nelle progetto. Quando assegni le autorizzazioni, assicurati che l'account di servizio dell'ambiente disposponga di autorizzazioni sufficienti per salvare e caricare gli snapshot dal bucket.

Quali dati vengono salvati negli snapshot

Cloud Composer salva i seguenti dati in snapshot:

Override della configurazione Airflow.
Variabili di ambiente.
Elenco di pacchetti PyPI personalizzati, come requisiti.
Un backup del database Airflow, inclusi gli stati delle attività eseguite e il DAG delle esecuzioni.
Un backup delle cartelle /dags, /data e /plugins dal bucket dell'ambiente.
La chiave Fernet dell'ambiente.
Altre informazioni sulla configurazione dell'ambiente, ad esempio i parametri di scalabilità e prestazioni dell'ambiente. Cloud Composer non utilizza queste informazioni quando carica gli snapshot.

Quali dati vengono caricati dagli snapshot

Cloud Composer carica i seguenti dati dagli snapshot:

Override della configurazione Airflow.
Variabili di ambiente.
Pacchetti PyPI personalizzati (a meno che tu non scelga di saltarne l'installazione).

Attenzione: Cloud Composer installa i pacchetti così come sono specificati nei requisiti. Ad esempio, se uno snapshot ha example_package>=1.0 come requisito, è possibile installare una versione diversa del pacchetto quando carichi lo snapshot.
I contenuti del database Airflow, inclusi gli stati delle attività eseguite e Cronologia delle esecuzioni del DAG.
I contenuti delle cartelle /dags, /data e /plugins dello snapshot vengono caricati nel bucket dell'ambiente.
La chiave Fernet dello snapshot viene utilizzata per criptare nuovamente i dati con la chiave Fernet dell'ambiente. La chiave Fernet dell'ambiente rimane invariata.

Sebbene Cloud Composer archivi alcune informazioni configurazione dell'ambiente negli snapshot, non viene utilizzato durante il caricamento snapshot. I seguenti parametri dell'ambiente non cambiano quando per caricare uno snapshot:

Configurazione dell'ambiente, ad esempio la scalabilità e i parametri di rendimento dell'ambiente.
Configurazione di networking dell'ambiente.
Contenuti del bucket dell'ambiente al di fuori delle cartelle /dags, /data e /plugins.
Etichette dell'ambiente.

Eventuali impostazioni applicate nell'infrastruttura Cloud Composer senza utilizzare l'API Cloud Composer potrebbero andare perse quando carichi un snapshot.

Informazioni sulle operazioni parzialmente completate

Quando carichi uno snapshot, l'operazione può avere esito positivo, non riuscito o parzialmente completato:

Le operazioni riuscite caricano tutti i dati dallo snapshot.
Le operazioni non riuscite non introducono modifiche.
Le operazioni parzialmente completate caricano un sottoinsieme di dati dallo snapshot. Queste operazioni vengono segnalate come non riuscite, ma il messaggio di errore indica quali dati sono stati caricati correttamente. Ad esempio, se i pacchetti PyPI sono installati, ma le sostituzioni delle opzioni di configurazione di Airflow non sono andate a buon fine, il messaggio di errore lo indica.

Per un'operazione parzialmente completata, puoi provare a caricare lo stesso snapshot di nuovo. Cloud Composer salta i passaggi riusciti nella tentativo precedente. Ad esempio, se un'operazione non è riuscita per un timeout, ma database è stato caricato correttamente, il tentativo successivo non carica di nuovo nel database.

Prima di iniziare

In Cloud Composer 1 puoi solo salvare gli snapshot, ma non caricarli. Puoi caricare gli snapshot da un ambiente Cloud Composer 1 agli ambienti Cloud Composer 2.

Gli snapshot sono supportati in Cloud Composer 2 versione 2.0.9 e successive. Cloud Composer 1 supporta il salvataggio degli snapshot dell'ambiente per le versioni >= 1.18.5.
Gli snapshot non creano un ambiente. Se vuoi caricare uno snapshot da un ambiente a un altro, devi prima creare un nuovo ambiente e poi caricare lo snapshot al suo interno.
Non puoi caricare snapshot in ambienti in stato di errore. È impossibile correggere questi ambienti caricando uno snapshot. Puoi comunque caricare uno snapshot esistente in un nuovo ambiente.
Puoi caricare snapshot solo sulla stessa versione o su una versione successiva di Cloud Composer o Airflow. Ad esempio, non puoi caricare da Cloud Composer 2.0.2 a un ambiente con Cloud Composer 2.0.1. Come altro esempio, non puoi caricare un'istantanea da Airflow 2.2.3 ad Airflow 2.1.4.
Gli snapshot non modificano la versione di Cloud Composer. Se esegui l'upgrade dell'ambiente a una versione successiva di Cloud Composer e carichi uno snapshot da una versione precedente, l'ambiente mantiene la versione corrente di Cloud Composer. Ad esempio, il caricamento di uno snapshot da Cloud Composer 2.0.1 a Cloud Composer 2.0.2 non ripristinare l'ambiente a Cloud Composer 2.0.1.
La dimensione massima del database Airflow che supporta gli snapshot è di 20 GB. Se il database del tuo ambiente occupa più di 20 GB, riduci le dimensioni del database Airflow prima di salvare uno snapshot.
Il numero totale di oggetti nelle cartelle /dags, /plugins e /data in del bucket dell'ambiente deve essere inferiore a 100.000 per creare snapshot.
La lunghezza massima del nome di un oggetto nel bucket dell'ambiente non deve essere più lunghi di 1024 simboli. In caso contrario, non è possibile creare snapshot.
Se salvi gli snapshot in una posizione esterna al bucket del tuo ambiente, l'account di servizio del tuo ambiente deve disporre delle autorizzazioni di lettura e scrittura per la posizione specificata. Ad esempio, Il ruolo Amministratore oggetti Storage dispone di queste autorizzazioni. Tu può applicarla a un progetto o a un bucket specifico.
La creazione e lo stoccaggio degli snapshot comportano costi aggiuntivi correlati a Cloud Storage. Per ulteriori informazioni, vedi Prezzi.

Salvare uno snapshot di ambiente

Cloud Composer salva gli snapshot dell'ambiente sottocartella, in base alla cartella specificata. Il nome della cartella contiene l'ID progetto, la posizione dell'ambiente, il nome dell'ambiente e il timestamp relativo al salvataggio dello snapshot. Ad esempio: /snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00.

Console

Per creare uno snapshot del tuo ambiente:

Nella console Google Cloud, vai alla pagina Ambienti.

Vai ad Ambienti
Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Viene visualizzata la pagina Dettagli dell'ambiente.
Fai clic su Salva snapshot.
Nella finestra di dialogo Salva snapshot, seleziona la posizione in cui archiviare lo snapshot:
- Per archiviare lo snapshot nella cartella /snapshots del cluster un bucket, seleziona Utilizza la cartella snapshot nel bucket di ambiente (impostazione predefinita).
- Per archiviare lo snapshot nella cartella personalizzata, seleziona Utilizza una cartella personalizzata in un altro bucket, quindi specifica una località.
Fai clic su Salva.

gcloud

Il comando gcloud beta composer environments snapshots save salva uno snapshot dell'ambiente.

L'argomento snapshot-location specifica una cartella in cui viene salvata la snapshot. Per impostazione predefinita, gli snapshot vengono salvati nella cartella /snapshots nel bucket del tuo ambiente. Ad esempio: gs://us-central1-example-916807e1-bucket/snapshots. Puoi anche specificare qualsiasi altra cartella.

Per salvare uno snapshot del tuo ambiente, esegui:

gcloud beta composer environments snapshots save \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --snapshot-location "SNAPSHOTS_FOLDER"

Sostituisci:

ENVIRONMENT_NAME con il nome dell'ambiente.
LOCATION con la regione in cui si trova l'ambiente.
(Facoltativo) SNAPSHOTS_FOLDER con l'URI di una cartella del bucket in cui archiviare lo snapshot. Se ometti questo argomento, Cloud Composer salva lo snapshot nella cartella /snapshots del bucket dell'ambiente.

Nell'esempio seguente viene utilizzata la località predefinita:

gcloud beta composer environments snapshots save \
  example-environment \
  --location us-central1

Nell'esempio seguente il salvataggio avviene in una cartella personalizzata:

gcloud beta composer environments snapshots save \
  example-environment \
  --location us-central1 \
  --snapshot-location "gs://example-bucket/environment_snapshots"

API

Costruire un environments.saveSnapshot richiesta API.
Nel corpo della richiesta, nel campo snapshotLocation, specifica nella cartella in cui vuoi salvare lo snapshot.

{
  "snapshotLocation": "SNAPSHOTS_FOLDER"
}

Sostituisci:

SNAPSHOTS_FOLDER con l'URI di una cartella del bucket in cui memorizzare lo snapshot.

Esempio:

// POST https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment:saveSnapshot

{
  "snapshotLocation": "gs://us-central1-example-916807e1-bucket/snapshots"
}

Terraform

Non è possibile salvare e caricare snapshot dell'ambiente da Terraform.

Il salvataggio e il caricamento degli snapshot sono azioni eseguite in un ambiente gli snapshot risultanti non fanno parte della definizione di un ambiente. Dal giorno Terraform gestisce solo la configurazione dell'ambiente Cloud Composer, non puoi salvare o caricare snapshot dell'ambiente al suo interno.

Carica uno snapshot dell'ambiente

In Cloud Composer 1 puoi solo salvare gli snapshot, ma non caricarli. Puoi Caricare snapshot da un ambiente Cloud Composer 1 a Cloud Composer 2. ambienti cloud-native. Ad esempio, quando esegui la migrazione dei tuoi ambienti a Cloud Composer 2.