Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
L'esecuzione di un'applicazione fondamentale per l'attività su Cloud Composer richiede che più parti si assumano responsabilità diverse. Sebbene non sia un elenco esaustivo, questo documento elenca le responsabilità di Google e del Cliente.
Responsabilità di Google
Rafforzamento e applicazione di patch ai componenti e all'infrastruttura sottostante dell'ambiente Cloud Composer, tra cui il cluster Google Kubernetes Engine, il database Cloud SQL (che ospita il database Airflow), Pub/Sub, Artifact Registry e altri elementi dell'ambiente. In particolare, ciò include l'upgrade automatico dell'infrastruttura sottostante, inclusi il cluster GKE e l'istanza Cloud SQL di un ambiente.
Protezione dell'accesso agli ambienti Cloud Composer mediante l'incorporamento del controllo dell'accesso dell'accesso fornito da IAM, crittografia dei dati at-rest per impostazione predefinita, fornitura di crittografia dello spazio di archiviazione gestita dal cliente aggiuntiva, crittografia dei dati in transito.
Fornendo Google Cloud integrazioni per Identity and Access Management, Cloud Audit Logs e Cloud Key Management Service.
Limitazione e registrazione dell'accesso amministrativo di Google ai cluster dei clienti per scopi di assistenza contrattuale con Access Transparency e Approvazione accesso.
Pubblicazione di informazioni sulle modifiche incompatibili con le versioni precedenti tra Cloud Composer e Airflow nelle note di rilascio di Cloud Composer.
Aggiornamento della documentazione di Cloud Composer:
Fornire la descrizione di tutte le funzionalità offerte da Cloud Composer.
Fornire istruzioni per la risoluzione dei problemi che contribuiscono a mantenere gli ambienti in uno stato ottimale.
Pubblicazione di informazioni sui problemi noti con soluzioni alternative (se esistono).
Risoluzione degli incidenti gravi legati alla sicurezza relativi agli ambienti Cloud Composer e alle immagini Airflow fornite da Cloud Composer (esclusi i pacchetti Python installati dal cliente) tramite la distribuzione di nuove versioni dell'ambiente che risolvono gli incidenti.
A seconda del piano di assistenza del cliente, risoluzione dei problemi di integrità dell'ambiente Cloud Composer.
Mantenere ed espandere la funzionalità del provider Terraform di Cloud Composer.
Collaborare con la community Apache Airflow per gestire e sviluppare gli operatori Google Airflow.
Risoluzione dei problemi e, se possibile, correzione dei problemi nelle funzionalità principali di Airflow.
Responsabilità del cliente
Esegui l'upgrade alle nuove versioni di Cloud Composer e Airflow per mantenere il supporto del prodotto e risolvere i problemi di sicurezza una volta che il servizio Cloud Composer pubblica una versione di Cloud Composer che risolve i problemi.
Manutenzione del codice DAG per mantenerlo compatibile con la versione di Airflow utilizzata.
Mantenere intatta la configurazione del cluster GKE dell'ambiente, in particolare la funzionalità di upgrade automatico.
Mantenere le autorizzazioni corrette in IAM per il account di servizio dell'ambiente. In particolare, mantieni le autorizzazioni richieste dall'agente Cloud Composer e dal service account dell'ambiente. Mantenere l'autorizzazione richiesta per la chiave CMEK utilizzata per la crittografia dell'ambiente Cloud Composer e ruotarla in base alle tue esigenze.
Mantenere le autorizzazioni appropriate in IAM per il bucket dell'ambiente e il repository Artifact Registry in cui sono archiviate le immagini dei componenti di Cloud Composer.
Mantenere le autorizzazioni IAM corrette per un account di servizio che esegue installazioni di pacchetti PyPI. Per ulteriori informazioni, consulta Controllo dell'accesso.
Mantenere le autorizzazioni utente finale corrette in IAM e nella configurazione del controllo dell'accesso all'interfaccia utente di Airflow.
Mantenere le dimensioni del database Airflow al di sotto di 16 GB utilizzando il DAG di manutenzione.
Risoluzione di tutti i problemi di analisi DAG prima di inviare richieste di assistenza all'assistenza clienti Google Cloud.
Assegnare nomi ai DAG in modo corretto (ad esempio, senza utilizzare caratteri invisibili come SPAZIO o TAB nei nomi dei DAG) in modo che le metriche possano essere segnalate correttamente per i DAG.
Esegui l'upgrade del codice dei DAG in modo che non utilizzi operatori ritirati e migra alle loro alternative aggiornate. Gli operatori ritirati potrebbero essere rimossi dai provider Airflow, il che potrebbe influire sui tuoi piani di upgrade a una versione successiva di Cloud Composer o Airflow. Gli operatori deprecati non vengono più gestiti e devono essere utilizzati "così come sono".
Configurazione delle autorizzazioni IAM corrette quando si utilizzano backend dei secret come Secret Manager, in modo che il account di servizio dell'ambiente abbia accesso.
Modifica dei parametri dell'ambiente Cloud Composer (come CPU e memoria per i componenti Airflow) e delle configurazioni Airflow per soddisfare le aspettative di prestazioni e carico degli ambienti Cloud Composer utilizzando la guida all'ottimizzazione di Cloud Composer e la guida alla scalabilità dell'ambiente.
Evita di rimuovere le autorizzazioni richieste dall'agente Cloud Composer e dagli account di servizio dell'ambiente (la rimozione di queste autorizzazioni può comportare operazioni di gestione non riuscite o errori di DAG e attività).
Mantenere tutti i servizi e le API richiesti da Cloud Composer sempre abilitati. Queste dipendenze devono avere quote configurate ai livelli richiesti per Cloud Composer.
Mantenere i repository Artifact Registry che ospitano le immagini container utilizzate dagli ambienti Cloud Composer.
Segui i consigli e le best practice per l'implementazione dei DAG.
Diagnostica degli errori di DAG e attività seguendo le istruzioni per la risoluzione dei problemi dello scheduler, risoluzione dei problemi dei DAG e risoluzione dei problemi dell'attivatore.
Evitare di installare o eseguire componenti aggiuntivi nel cluster GKE dell'ambiente che interferiscono con i componenti di Cloud Composer e ne impediscono il corretto funzionamento.
Configurazione e gestione degli snapshot per soddisfare le esigenze di conservazione dei dati e continuità aziendale. Google non ripristina gli ambienti eliminati o i relativi backup del database.