Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
L'esecuzione di un'applicazione aziendale fondamentale su Cloud Composer richiede che più parti si assumano responsabilità diverse. Sebbene non sia esaustivo questo documento elenca le responsabilità sia per Google che per il Cliente dai lati.
Responsabilità di Google
Ottimizzazione e applicazione di patch ai componenti e all'infrastruttura di base dell'ambiente Cloud Composer, tra cui il cluster Google Kubernetes Engine, il database Cloud SQL (che ospita il database Airflow), Pub/Sub, Artifact Registry e altri elementi dell'ambiente. In particolare, è incluso l'upgrade automatico dell'infrastruttura sottostante, tra cui il cluster GKE e l'istanza Cloud SQL di un ambiente.
Protezione dell'accesso agli ambienti Cloud Composer tramite incorporazione del controllo dell'accesso fornito da IAM, crittografia dei dati at-rest per impostazione predefinita, fornitura di crittografia dello spazio di archiviazione gestita dal cliente aggiuntiva, crittografia dei dati in transito.
Fornire integrazioni di Google Cloud per Identity and Access Management e Cloud Audit Logs e Cloud Key Management Service.
Limitazione e logging dell'accesso amministrativo di Google per i clienti cluster per scopi di supporto contrattuale con Access Transparency e Access Approval.
Pubblicazione di informazioni relative a modifiche incompatibili con le versioni precedenti tra le versioni Cloud Composer e Airflow in Note di rilascio di Cloud Composer.
Mantenere aggiornata la documentazione di Cloud Composer:
Fornire una descrizione di tutte le funzionalità fornite da Cloud Composer.
Forniscono istruzioni per la risoluzione dei problemi che aiutano a mantenere gli ambienti in stato di salute.
Pubblicazione di informazioni sui problemi noti con le relative soluzioni alternative (se esistono).
Risolvere gli incidenti gravi legati alla sicurezza relativi agli ambienti Cloud Composer e alle immagini Airflow fornite da Cloud Composer (esclusi i pacchetti Python installati dal cliente) rilasciando nuove versioni dell'ambiente che risolvono gli incidenti.
A seconda del Piano di assistenza del cliente, la risoluzione dei problemi Problemi di integrità dell'ambiente Cloud Composer.
Gestione ed espansione della funzionalità del provider Terraform di Cloud Composer.
Collaborare con la community di Apache Airflow per mantenere e sviluppare Operatori di Google Airflow.
Risoluzione dei problemi e, se possibile, risoluzione dei problemi nel core Airflow le funzionalità di machine learning.
Responsabilità del cliente
Upgrade alle nuove versioni di Cloud Composer e Airflow per mantenere assistenza per il prodotto e risolvere i problemi di sicurezza Il servizio Cloud Composer pubblica un'istanza Cloud Composer che risolva i problemi.
Gestire il codice dei DAG per mantenerlo compatibile con la versione di Airflow utilizzata.
Mantieni invariata la configurazione del cluster GKE dell'ambiente, in particolare la funzionalità di upgrade automatico.
Gestire le autorizzazioni appropriate in IAM per l'account di servizio dell'ambiente. In particolare, mantieni le autorizzazioni richieste dall'agente Cloud Composer e dall'account di servizio dell'ambiente. Gestisci l'autorizzazione richiesta per la chiave CMEK utilizzata per la crittografia dell'ambiente Cloud Composer e ruotala in base alle tue esigenze.
Gestire le autorizzazioni appropriate in IAM per il bucket e il repository Artifact Registry dell'ambiente in cui sono archiviate le immagini dei componenti di Composer.
Mantenimento delle autorizzazioni dell'utente finale appropriate in IAM e Airflow Configurazione del controllo dell'accesso all'interfaccia utente.
Mantenere le dimensioni del database Airflow inferiori a 16 GB tramite l'utilizzo del DAG di manutenzione.
Risolvi tutti i problemi di analisi del DAG prima di inviare richieste di assistenza al servizio clienti di Cloud.
Regolazione dei parametri dell'ambiente Cloud Composer (come CPU e per i componenti di Airflow) e le configurazioni di Airflow per soddisfare le prestazioni e le aspettative di carico degli ambienti Cloud Composer utilizzando Guida all'ottimizzazione di Cloud Composer e la guida alla scalabilità nell'ambiente.
Evitare di rimuovere le autorizzazioni richieste dall'agente Cloud Composer e degli account di servizio dell'ambiente (la rimozione di queste autorizzazioni può a operazioni di gestione non riuscite o errori dei DAG e delle attività).
Mantieni sempre attivi tutti i servizi e le API richiesti da Cloud Composer. Per queste dipendenze devono essere configurate quote ai livelli richiesti per Cloud Composer.
Gestire i repository Artifact Registry che ospitano le immagini container utilizzate dagli ambienti Cloud Composer.
Seguire consigli e best practice per l'implementazione dei DAG.
Diagnostica degli errori di DAG e attività utilizzando le istruzioni per la risoluzione dei problemi dello scheduler, la risoluzione dei problemi dei DAG e la risoluzione dei problemi degli attivatori.
Evitare di installare o eseguire componenti aggiuntivi nell'ambiente Cluster GKE che interferiscono con Cloud Composer componenti e impedirne il corretto funzionamento.