Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
L'esecuzione di un'applicazione business-critical su Cloud Composer richiede che più parti assumano responsabilità diverse. Sebbene non si tratti di un elenco esaustivo, questo documento elenca le responsabilità sia per Google che per il Cliente.
Responsabilità di Google
Protezione e applicazione di patch ai componenti e all'infrastruttura sottostante dell'ambiente Cloud Composer, tra cui il cluster di Google Kubernetes Engine, il database Cloud SQL (che ospita il database Airflow), Pub/Sub, Artifact Registry e altri elementi dell'ambiente. In particolare, è incluso l'upgrade automatico dell'infrastruttura sottostante, inclusi il cluster GKE e l'istanza Cloud SQL di un ambiente.
Protezione dell'accesso agli ambienti Cloud Composer attraverso l'incorporamento del controllo dell'accesso dell'accesso fornito da IAM, la crittografia dei dati at-rest per impostazione predefinita, la crittografia aggiuntiva dell'archiviazione gestita dal cliente e la crittografia dei dati in transito.
Integrazione di Google Cloud per Identity and Access Management, Cloud Audit Logs e Cloud Key Management Service.
Limitazione e registrazione dell'accesso amministrativo di Google ai cluster dei clienti per finalità di assistenza contrattuale con Access Transparency e Access Approval.
Pubblicazione di informazioni sulle modifiche incompatibili con le versioni precedenti tra le versioni di Cloud Composer e Airflow nelle note di rilascio di Cloud Composer.
Mantieni aggiornata la documentazione di Cloud Composer:
con la descrizione di tutte le funzionalità fornite da Cloud Composer.
Forniscono istruzioni per la risoluzione dei problemi che aiutano a mantenere gli ambienti in stato integro.
Pubblicazione di informazioni sui problemi noti relativi alle soluzioni alternative (se esistenti).
Risolvere incidenti di sicurezza critici relativi agli ambienti di Cloud Composer e alle immagini Airflow forniti da Cloud Composer (esclusi i pacchetti Python installati dal cliente) tramite la distribuzione di nuove versioni dell'ambiente che affrontano gli incidenti.
A seconda del piano di assistenza del cliente, la risoluzione dei problemi di integrità dell'ambiente Cloud Composer.
Mantenere ed espandere la funzionalità del provider Terraform di Cloud Composer.
Collaborare con la community di Apache Airflow per mantenere e sviluppare gli operatori di Google Airflow.
Risoluzione dei problemi e, se possibile, risoluzione dei problemi delle funzionalità principali di Airflow.
Responsabilità del cliente
Upgrade alle nuove versioni di Cloud Composer e Airflow per mantenere il supporto per il prodotto e risolvere i problemi di sicurezza dopo che il servizio Cloud Composer pubblica una versione di Cloud Composer che risolve i problemi.
Mantenimento del codice dei DAG per mantenerlo compatibile con la versione Airflow utilizzata.
Mantenere intatta la configurazione del cluster GKE dell'ambiente, soprattutto con la funzionalità di upgrade automatico.
Mantenere le autorizzazioni appropriate in IAM per l'account di servizio dell'ambiente. In particolare, la conservazione delle autorizzazioni richieste dall'agente Cloud Composer e dall'account di servizio dell'ambiente. Mantenere l'autorizzazione richiesta per la chiave CMEK utilizzata per la crittografia dell'ambiente Cloud Composer e ruotarla in base alle proprie esigenze.
Mantenere le autorizzazioni dell'utente finale appropriate nella configurazione del controllo dell'accesso all'interfaccia utente di IAM e Airflow.
Mantenere le dimensioni del database Airflow al di sotto dei 16 GB tramite l'utilizzo del DAG di manutenzione.
Risolvere tutti i problemi di analisi dei DAG prima di inviare richieste di assistenza all'assistenza clienti Google Cloud.
Regolare i parametri dell'ambiente Cloud Composer (come CPU e memoria per i componenti Airflow) e le configurazioni di Airflow per soddisfare le prestazioni e le aspettative di carico degli ambienti Cloud Composer utilizzando la guida all'ottimizzazione di Cloud Composer e la guida alla scalabilità dell'ambiente.
Evitare di rimuovere le autorizzazioni richieste dall'agente Cloud Composer e dagli account di servizio dell'ambiente (la rimozione di queste autorizzazioni può portare a operazioni di gestione non riuscite o errori dei DAG e delle attività).
Mantenere sempre abilitati tutti i servizi e le API richiesti da Cloud Composer. Queste dipendenze devono avere quote configurate ai livelli richiesti per Cloud Composer.
Mantenere i repository Artifact Registry che ospitano le immagini container utilizzate dagli ambienti Cloud Composer.
Seguendo i suggerimenti e le best practice per l'implementazione dei DAG.
Diagnosi degli errori dei DAG e delle attività utilizzando le istruzioni per la risoluzione dei problemi dello scheduler, la risoluzione dei problemi di DAG e la risoluzione dei problemi degli attivatori.
Evitare di installare o eseguire componenti aggiuntivi nel cluster GKE dell'ambiente che interferiscono con i componenti di Cloud Composer e ne impediscono il corretto funzionamento.