Modello di responsabilità condivisa di Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

L'esecuzione di un'applicazione aziendale fondamentale su Cloud Composer richiede che più parti si assumano responsabilità diverse. Sebbene non sia un elenco esaustivo, questo documento elenca le responsabilità di Google e del Cliente.

Responsabilità di Google

  • Ottimizzazione e applicazione di patch ai componenti e all'infrastruttura di base dell'ambiente Cloud Composer, tra cui il cluster Google Kubernetes Engine, il database Cloud SQL (che ospita il database Airflow), Pub/Sub, Artifact Registry e altri elementi dell'ambiente. In particolare, è incluso l'upgrade automatico dell'infrastruttura sottostante, tra cui il cluster GKE e l'istanza Cloud SQL di un ambiente.

  • Protezione dell'accesso agli ambienti Cloud Composer tramite incorporazione del controllo dell'accesso dell'accesso fornito da IAM, crittografia dei dati at-rest per impostazione predefinita, fornitura di crittografia dello spazio di archiviazione gestita dal cliente aggiuntiva, crittografia dei dati in transito.

  • Fornisce Google Cloud integrazioni per Identity and Access Management, Cloud Audit Logs e Cloud Key Management Service.

  • Limitare e registrare l'accesso amministrativo di Google ai cluster dei clienti per finalità di assistenza contrattuale con Access Transparency e Access Approval.

  • Pubblicazione di informazioni sulle modifiche non compatibili con le versioni precedenti tra Cloud Composer e Airflow nelle note di rilascio di Cloud Composer.

  • Mantenere aggiornata la documentazione di Cloud Composer:

    • Fornire una descrizione di tutte le funzionalità fornite da Cloud Composer.

    • Fornire istruzioni per la risoluzione dei problemi che aiutano a mantenere gli ambienti in un stato sano.

    • Pubblicazione di informazioni sui problemi noti con le relative soluzioni alternative (se esistono).

  • Risolvere gli incidenti gravi legati alla sicurezza relativi agli ambienti Cloud Composer e alle immagini Airflow fornite da Cloud Composer (esclusi i pacchetti Python installati dal cliente) rilasciando nuove versioni dell'ambiente che risolvono gli incidenti.

  • A seconda del piano di assistenza del cliente, risoluzione dei problemi di integrità dell'ambiente Cloud Composer.

  • Gestione ed espansione della funzionalità del provider Terraform di Cloud Composer.

  • Collaborazione con la community di Apache Airflow per la manutenzione e lo sviluppo degli operatori Google Airflow.

  • Risolvere i problemi e, se possibile, correggerli nelle funzionalità di base di Airflow.

Responsabilità del cliente

  • Eseguire l'upgrade alle nuove versioni di Cloud Composer e Airflow per mantenere il supporto del prodotto e risolvere i problemi di sicurezza quando il servizio Cloud Composer pubblica una versione di Cloud Composer che risolve i problemi.

  • Gestire il codice dei DAG per mantenerlo compatibile con la versione di Airflow utilizzata.

  • Mantieni le autorizzazioni appropriate in IAM per l'account di servizio dell'ambiente. In particolare, mantieni le autorizzazioni richieste dall'agente Cloud Composer e dall'account di servizio dell'ambiente. Gestisci l'autorizzazione richiesta per la chiave CMEK utilizzata per la crittografia dell'ambiente Cloud Composer e ruotala in base alle tue esigenze.

  • Mantenimento delle autorizzazioni appropriate in IAM per il bucket dell'ambiente.

  • Gestire le autorizzazioni IAM appropriate per un account di servizio che esegue installazioni di pacchetti PyPI. Per ulteriori informazioni, consulta Controllo dell'accesso.

  • Mantenimento delle autorizzazioni degli utenti finali appropriate nella configurazione del controllo dell'accesso all'interfaccia utente di IAM e Airflow.

  • Mantieni le dimensioni del database Airflow inferiori a 20 GB utilizzando il DAG di manutenzione.

  • Risolvi tutti i problemi di analisi DAG prima di inviare richieste di assistenza al assistenza clienti Google Cloud.

  • Assegnare un nome corretto ai DAG (ad esempio, senza utilizzare caratteri invisibili come SPAZIO o TAB nei nomi dei DAG) in modo che le metriche possano essere registrate correttamente per i DAG.

  • Esegui l'upgrade del codice dei DAG in modo che non utilizzi operatori deprecati e migra alle relative alternative aggiornate. Gli operatori ritirati potrebbero essere rimossi dai fornitori di Airflow, il che potrebbe influire sui tuoi piani di upgrade a una versione successiva di Cloud Composer o Airflow. Inoltre, gli operatori ritirati non vengono gestiti e devono essere utilizzati "così come sono".

  • Configurare le autorizzazioni IAM appropriate quando si utilizzano backend per i secret come Secret Manager in modo che l'account di servizio dell'ambiente abbia accesso.

  • Modifica i parametri dell'ambiente Cloud Composer (ad esempio CPU e memoria per i componenti Airflow) e le configurazioni di Airflow per soddisfare le aspettative relative a prestazioni e carico degli ambienti Cloud Composer utilizzando la guida all'ottimizzazione di Cloud Composer e la guida alla scalabilità degli ambienti.

  • Evitare di rimuovere le autorizzazioni richieste dall'agente Cloud Composer e dagli account di servizio dell'ambiente (la rimozione di queste autorizzazioni può comportare operazioni di gestione non riuscite o errori di DAG e attività).

  • Mantieni sempre attivi tutti i servizi e le API richiesti da Cloud Composer. Per queste dipendenze devono essere configurate quote ai livelli richiesti per Cloud Composer.

  • Seguire consigli e best practice per l'implementazione dei DAG.

  • Diagnostica degli errori di DAG e attività utilizzando le istruzioni per la risoluzione dei problemi relativi allo scheduler, alla risoluzione dei problemi relativi ai DAG e alla risoluzione dei problemi relativi agli attivatori.

Passaggi successivi