Cloud Composer 1 | Cloud Composer 2
L'esecuzione di un'applicazione business-critical su Cloud Composer richiede che più parti abbiano responsabilità diverse. Sebbene non si tratti di un elenco esaustivo, il presente documento elenca le responsabilità sia di Google che di lato Cliente.
Responsabilità di Google
Protezione e applicazione di patch dei componenti dell'ambiente Cloud Composer e dell'infrastruttura sottostante, tra cui il cluster Google Kubernetes Engine, il database Cloud SQL (che ospita il database Airflow), Pub/Sub, Artifact Registry e altri elementi dell'ambiente. In particolare, ciò include l'upgrade automatico dell'infrastruttura sottostante, inclusi il cluster GKE e l'istanza Cloud SQL di un ambiente.
Protezione dell'accesso agli ambienti Cloud Composer mediante l'incorporamento del controllo dell'accesso dell'accesso fornito da IAM, crittografia dei dati at-rest per impostazione predefinita, crittografia aggiuntiva dello spazio di archiviazione gestito dal cliente e crittografia dei dati in transito.
Integrazione delle integrazioni di Google Cloud per Identity and Access Management, Cloud Audit Logs e Cloud Key Management Service.
Limitazione e logging dell'accesso amministrativo di Google ai cluster dei clienti per scopi di assistenza contrattuale con Access Transparency e Access Approval.
Pubblicazione di informazioni su modifiche incompatibili con le versioni precedenti tra Cloud Composer e le versioni di Airflow nelle Note di rilascio di Cloud Composer.
Mantenere aggiornata la documentazione di Cloud Composer:
Descrizione di tutte le funzionalità fornite da Cloud Composer.
Fornisce istruzioni per la risoluzione dei problemi che aiutano a mantenere gli ambienti integri.
Pubblicazione di informazioni sui problemi noti con soluzioni alternative (se esistono).
Risoluzione degli incidenti di sicurezza critici relativi agli ambienti Cloud Composer e alle immagini Airflow fornite da Cloud Composer (esclusi i pacchetti Python installati dal cliente), fornendo nuove versioni dell'ambiente per la risoluzione degli incidenti.
A seconda del piano di assistenza del cliente, per la risoluzione dei problemi di integrità dell'ambiente di Cloud Composer.
Mantenere ed espandere la funzionalità del provider Terraform di Cloud Composer.
Collaborazione con la community di Apache Airflow per gestire e sviluppare operatori di Google Airflow.
Risoluzione dei problemi e, se possibile, risoluzione dei problemi relativi alle funzionalità principali di Airflow.
Responsabilità del cliente
Upgrade alle nuove versioni di Cloud Composer e Airflow per mantenere il supporto del prodotto e risolvere i problemi di sicurezza una volta che il servizio Cloud Composer ha pubblicato una versione di Cloud Composer che risolve i problemi.
Mantenere il codice dei DAG per mantenerlo compatibile con la versione di Airflow utilizzata.
Mantenere intatta la configurazione del cluster GKE dell'ambiente, in particolare la funzionalità di upgrade automatico.
Mantenere le autorizzazioni appropriate in IAM per l'account di servizio dell'ambiente. In particolare, mantenere le autorizzazioni richieste dall'agente Cloud Composer e dall'account di servizio dell'ambiente. Mantenere l'autorizzazione richiesta per la chiave CMEK utilizzata per la crittografia dell'ambiente Cloud Composer e ruotarla in base alle tue esigenze.
Mantenimento delle autorizzazioni degli utenti finali adeguate nella configurazione del controllo dell'accesso UI di IAM e Airflow.
Mantenere le dimensioni del database Airflow al di sotto dei 16 GB tramite l'utilizzo del DAG di manutenzione.
Risolvere tutti i problemi di analisi dei DAG prima di inoltrare richieste di assistenza all'assistenza clienti Google Cloud.
Regolazione dei parametri di ambiente di Cloud Composer (come CPU e memoria per i componenti Airflow) e delle configurazioni di Airflow per soddisfare le aspettative di prestazioni e carico degli ambienti Cloud Composer mediante la guida all'ottimizzazione di Cloud Composer e la guida alla scalabilità dell'ambiente.
Evitare di rimuovere le autorizzazioni richieste dall'agente Cloud Composer e dagli account di servizio dell'ambiente (la rimozione di queste autorizzazioni può causare operazioni di gestione non riuscite o errori dei DAG e delle attività).
Mantieni sempre abilitati tutti i servizi e le API richiesti da Cloud Composer. Queste dipendenze devono avere quote configurate ai livelli richiesti per Cloud Composer.
Conservazione di repository Artifact Registry che ospitano immagini container utilizzate dagli ambienti Cloud Composer.
Seguire i consigli e le best practice per l'implementazione dei DAG.
Diagnosi degli errori dei DAG e delle attività utilizzando le istruzioni per la risoluzione dei problemi dello scheduler, la risoluzione dei problemi dei DAG e la risoluzione dei problemi del triggerer.
Evitare di installare o eseguire componenti aggiuntivi nel cluster GKE dell'ambiente che interferiscono con i componenti di Cloud Composer e ne impediscono il corretto funzionamento.