Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina descrive come eseguire test di failover di database e cluster per ambienti ad alta resilienza.
I test di failover per il tuo ambiente simulano l'interruzione completa di una zona in un data center. In questo scenario, potrebbero verificarsi contemporaneamente un'interruzione di un cluster a livello di zona e un'interruzione del database a livello di zona. Eseguendo i due test di failover puoi monitorare l'esecuzione di un failover nel tuo ambiente altamente resiliente e verificare in che modo questo influisce sui DAG e sulle attività.
Prima di iniziare
Per eseguire i test di failover, l'account deve disporre dei ruoli e delle autorizzazioni seguenti:
Autorizzazione
composer.environments.update
. Consulta Controllo dell'accesso con IAM per un elenco dei ruoli con questa autorizzazione.Ruolo di Amministratore cluster Kubernetes Engine (
roles/container.clusterAdmin
) per eseguire comandikubectl
sul cluster dell'ambiente. In alternativa, puoi eseguire il provisioning dei ruoli RBAC di Kubernetes direttamente in GKE.
Se utilizzi reti autorizzate e devi eseguire i comandi
kubectl
da una macchina in grado di accedere all'endpoint del piano di controllo del cluster GKE. A seconda di come configuri l'accesso all'endpoint del piano di controllo del tuo ambiente, puoi utilizzare diverse opzioni. Per ulteriori informazioni, consulta Esecuzione di comandi in un ambiente IP privato.
Verifica che il tuo ambiente sia integro
Assicurati di eseguire i test di failover del cluster e del database solo su ambienti integre.
Per verificare che il tuo ambiente sia integro:
Nella console Google Cloud, vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.
Vai alla scheda Monitoring.
Assicurati che tutte le metriche di salute siano verdi.
Esegui un test di failover del database
Puoi eseguire un test di failover del database, che simula un'interruzione del servizio a livello di zona, attivandolo con un comando Google Cloud CLI. Ad esempio, potresti volerlo misurare per misurare il tempo necessario per passare al database del tuo ambiente per passare a un'altra zona.
Per eseguire un test di failover del database per il tuo ambiente:
Assicurati che il tuo ambiente sia integro.
Ottieni la zona principale del database del tuo ambiente:
gcloud composer environments fetch-database-properties \ ENVIRONMENT_NAME \ --location LOCATION
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome del tuo ambiente Cloud Composer.LOCATION
: la regione in cui si trova l'ambiente.
Esempio:
gcloud composer environments fetch-database-properties \ example-environment \ --location us-central1
Avvia il test di failover del database:
gcloud composer environments database-failover \ ENVIRONMENT_NAME \ --location LOCATION
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome del tuo ambiente Cloud Composer.LOCATION
: la regione in cui si trova l'ambiente.
Esempio:
gcloud composer environments database-failover \ example-environment \ --location us-central1
Attendi il completamento del test di failover del database. Il processo può richiedere fino a 3 minuti.
Verifica che la zona principale del database del tuo ambiente sia modificata:
gcloud composer environments fetch-database-properties \ ENVIRONMENT_NAME \ --location LOCATION
Controlla le metriche di salute del tuo ambiente per assicurarti che il tuo ambiente sia integro.
Il database del tuo ambiente sarà pronto per un altro failover quando la metrica di ambiente Database disponibile per il failover (
composer.googleapis.com/environment/database/available_for_failover
) diventaTrue
. Per ulteriori informazioni sulla visualizzazione delle metriche del tuo ambiente in Cloud Monitoring, consulta Monitorare gli ambienti.
Esegui il test di failover del cluster del tuo ambiente
Puoi eseguire un test di failover per il cluster del tuo ambiente, che simula un'interruzione del servizio a livello di zona. Ad esempio, potresti volerlo fare per misurare la quantità di tempo necessaria per il passaggio del tuo ambiente a un'altra zona.
Verifica che il tuo ambiente sia integro
Prima di iniziare il test, assicurati che il tuo ambiente sia integro.
Configura le credenziali per il cluster del tuo ambiente
Per ottenere le credenziali del cluster:
Nella console Google Cloud, vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.
Vai alla scheda Configurazione dell'ambiente.
Fai clic su Visualizza i dettagli del cluster.
Fai clic su Connect (Connetti).
Copia ed esegui il comando Google Cloud CLI visualizzato.
Ad esempio:
gcloud container clusters get-credentials \ us-central1-exam-db23ee12-gke \ --region us-central1 \ --project example-project
Ispeziona il cluster dell'ambiente
Controlla le zone e i nodi in cui vengono eseguiti i carichi di lavoro nel cluster dell'ambiente. Potrai utilizzare queste informazioni per simulare un'interruzione del servizio a livello di zona in un secondo momento. Puoi anche eseguire di nuovo questi comandi durante il test di failover per vedere come il cluster dell'ambiente esegue il failover.
Controlla nodi e zone:
kubectl get nodes \ -o=custom-columns=NAME:.metadata.name,NODE:.metadata.labels.topology\\.gke\\.io/zone
Controlla i pod:
kubectl get pods --all-namespaces \ -o=custom-columns=NAME:.metadata.name,STATUS:.status.phase,NODE:.spec.nodeName \ --field-selector metadata.namespace!=kube-system
Visualizza informazioni più dettagliate sui pod:
kubectl get pods --all-namespaces -o wide \ --field-selector metadata.namespace!=kube-system
Nodi di drenaggio
Scegli una zona in cui vuoi simulare un'interruzione del servizio. Se esegui il test di failover del cluster insieme al test di failover del database, ti consigliamo di scegliere la zona principale dell'istanza Cloud SQL a disponibilità elevata del tuo ambiente.
Ad esempio, se l'istanza Cloud SQL principale viene eseguita in us-central1-a
, puoi simulare un'interruzione nell'intera zona us-central1-a
eseguendo prima il test di failover del database e poi il test di failover del cluster in us-central1-a
.
Il seguente comando simula un insieme di nodi che non sono più disponibili in una zona specifica. Rimuove in modo forzato i pod dai nodi nella zona specificata e impedisce la ripianificazione dei pod su questi nodi. Poiché non è possibile pianificare nuovi pod, al cluster vengono aggiunti nuovi nodi.
Questo comando non influisce sui carichi di lavoro eseguiti nello spazio dei nomi composer-system
. Potresti visualizzare messaggi di errore correlati nell'output comando. Questo non influisce sul test di failover. I nodi presenti nella zona selezionata
sono ancora contrassegnati come non pianificabili.
Per simulare un errore di una zona del cluster nella zona selezionata:
kubectl get nodes -o name -l "topology.gke.io/zone=ZONE" | \
xargs kubectl drain \
--ignore-daemonsets --delete-emptydir-data --force --disable-eviction
Sostituisci quanto segue:
ZONE
: la zona in cui vuoi simulare un errore della zona del cluster.
Controlla le metriche di ambiente
![Metriche di ambiente durante un'interruzione di una zona simulata](https://cloud.google.com/static/composer/docs/images/composer-2-failover-metrics.png?authuser=1&hl=it)
Nella console Google Cloud, vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.
Vai alla scheda Monitoring.
Verifica che le metriche seguenti siano "verdi" durante l'operazione di failover o che rimangano in stato "rosso" per alcuni minuti.
- Integrità dell'ambiente
- Heartbeat dello scheduler
- Integrità del server web
- Integrità del database
- Worker attivi
- Scheduler attivi
- Server web attivi
- Trigger attivi
Tieni presente che l'interruzione simulata è contrassegnata come "Operazione di manutenzione del cluster".
Non è necessario eseguire azioni aggiuntive per riportare il cluster del tuo ambiente all'idoneità al failover dopo il test. Durante il test, il cluster dell'ambiente aggiunge automaticamente nuovi nodi che sostituiscono quelli interessati dall'interruzione simulata.