Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
L'esecuzione di un'applicazione aziendale fondamentale su Cloud Composer richiede che più parti si assumano responsabilità diverse. Sebbene non sia un elenco esaustivo, questo documento elenca le responsabilità di Google e del Cliente.
Responsabilità di Google
Ottimizzazione e applicazione di patch ai componenti e all'infrastruttura di base dell'ambiente Cloud Composer, tra cui il cluster Google Kubernetes Engine, il database Cloud SQL (che ospita il database Airflow), Pub/Sub, Artifact Registry e altri elementi dell'ambiente. In particolare, è incluso l'upgrade automatico dell'infrastruttura sottostante, tra cui il cluster GKE e l'istanza Cloud SQL di un ambiente.
Protezione dell'accesso agli ambienti Cloud Composer tramite incorporazione del controllo dell'accesso fornito da IAM, crittografia dei dati at-rest per impostazione predefinita, fornitura di crittografia dello spazio di archiviazione gestita dal cliente aggiuntiva, crittografia dei dati in transito.
Fornisce Google Cloud integrazioni per Identity and Access Management, audit log di Cloud e Cloud Key Management Service.
Limitare e registrare l'accesso amministrativo di Google ai cluster dei clienti per finalità di assistenza contrattuale con Access Transparency e Approvazione accesso.
Pubblicazione di informazioni sulle modifiche non compatibili con le versioni precedenti tra Cloud Composer e Airflow nelle note di rilascio di Cloud Composer.
Mantenere aggiornata la documentazione di Cloud Composer:
Fornire una descrizione di tutte le funzionalità fornite da Cloud Composer.
Fornire istruzioni per la risoluzione dei problemi che aiutano a mantenere gli ambienti in un stato sano.
Pubblicazione di informazioni sui problemi noti con le relative soluzioni alternative (se esistono).
Risolvere gli incidenti gravi legati alla sicurezza relativi agli ambienti Cloud Composer e alle immagini Airflow fornite da Cloud Composer (esclusi i pacchetti Python installati dal cliente) rilasciando nuove versioni dell'ambiente che risolvono gli incidenti.
A seconda del piano di assistenza del cliente, risoluzione dei problemi di integrità dell'ambiente Cloud Composer.
Gestione ed espansione della funzionalità del provider Terraform di Cloud Composer.
Collaborazione con la community di Apache Airflow per la manutenzione e lo sviluppo degli operatori Google Airflow.
Risolvere i problemi e, se possibile, correggerli nelle funzionalità di base di Airflow.
Responsabilità del cliente
Eseguire l'upgrade alle nuove versioni di Cloud Composer e Airflow per mantenere il supporto del prodotto e risolvere i problemi di sicurezza quando il servizio Cloud Composer pubblica una versione di Cloud Composer che risolve i problemi.
Gestire il codice dei DAG per mantenerlo compatibile con la versione di Airflow utilizzata.
Mantenimento delle autorizzazioni appropriate in IAM per l'account di servizio dell'ambiente. In particolare, mantieni le autorizzazioni richieste dall'agente Cloud Composer e dall'account di servizio dell'ambiente. Gestisci l'autorizzazione richiesta per la chiave CMEK utilizzata per la crittografia dell'ambiente Cloud Composer e ruotala in base alle tue esigenze.
Mantenimento delle autorizzazioni appropriate in IAM per il bucket dell'ambiente.
Gestire le autorizzazioni IAM appropriate per un account di servizio che esegue installazioni di pacchetti PyPI. Per ulteriori informazioni, consulta Controllo dell'accesso.
Mantenimento delle autorizzazioni degli utenti finali appropriate nella configurazione del controllo dell'accesso all'interfaccia utente di IAM e Airflow.
Mantieni le dimensioni del database Airflow al di sotto di 20 GB utilizzando il DAG di manutenzione.
Risolvi tutti i problemi di analisi del DAG prima di inviare richieste di assistenza al servizio clienti di Cloud.
Assegnare un nome corretto ai DAG (ad esempio, senza utilizzare caratteri invisibili come SPAZIO o TAB nei nomi dei DAG) in modo che le metriche possano essere registrate correttamente per i DAG.
Esegui l'upgrade del codice dei DAG in modo che non utilizzi operatori ritirati e esegui la migrazione alle relative alternative aggiornate. Gli operatori ritirati potrebbero essere rimossi dai fornitori di Airflow, il che potrebbe influire sui tuoi piani di upgrade a una versione successiva di Cloud Composer o Airflow. Inoltre, gli operatori ritirati non vengono gestiti e devono essere utilizzati "così come sono".
Configurare le autorizzazioni IAM appropriate quando si utilizzano backend per i secret come Secret Manager in modo che l'account di servizio dell'ambiente abbia accesso.
Modifica dei parametri dell'ambiente Cloud Composer (ad esempio CPU e memoria per i componenti Airflow) e delle configurazioni di Airflow per soddisfare le aspettative relative a prestazioni e carico degli ambienti Cloud Composer utilizzando la guida all'ottimizzazione di Cloud Composer e la guida alla scalabilità degli ambienti.
Evitare di rimuovere le autorizzazioni richieste dall'agente Cloud Composer e dagli account di servizio dell'ambiente (la rimozione di queste autorizzazioni può comportare operazioni di gestione non riuscite o errori di DAG e attività).
Mantieni sempre attivati tutti i servizi e le API richiesti da Cloud Composer. Per queste dipendenze devono essere configurate quote ai livelli richiesti per Cloud Composer.
Seguire consigli e best practice per l'implementazione dei DAG.
Diagnostica degli errori di DAG e attività utilizzando le istruzioni per la risoluzione dei problemi relativi allo scheduler, alla risoluzione dei problemi relativi ai DAG e alla risoluzione dei problemi relativi agli attivatori.