Guide illustrative

Creazione di ambienti

• Abilitazione e disabilitazione del servizio Cloud Composer

  Abilita e disabilita il servizio Cloud Composer nel tuo progetto.

• Creazione di ambienti

  Crea ambienti Cloud Composer utilizzando Google Cloud Console, gcloud, l'API Cloud Composer e Terraform.

Configurazione del networking

• Configurazione della rete IP privata

  Configura il networking del tuo progetto per gli ambienti Cloud Composer con IP privato.

• Configurazione della rete VPC condivisa

  Configura il networking di progetti host e servizi per ambienti Cloud Composer.

• Configurazione dei Controlli di servizio VPC

  Creare ambienti in un perimetro dei Controlli di servizio VPC.

• Configurazione di reti su larga scala per gli ambienti di Cloud Composer

  Organizza reti su larga scala per ambienti Cloud Composer.

• Configurazione di intervalli IP pubblici utilizzati privatamente

  Utilizza intervalli IP pubblici utilizzati privatamente nei tuoi ambienti.

• Abilitazione dell'agente di mascheramento IP

  Utilizzare il mascheramento IP con il tuo ambiente.

Configurazione di ambienti

• Imposta le variabili di ambiente

  Imposta le variabili di ambiente disponibili per lo scheduler, il worker e il server web di Apache Airflow.

• Ignora le opzioni di configurazione di Airflow

  Esegui l'override delle opzioni di configurazione di Airflow per regolare l'istanza Airflow in base alle tue esigenze e ai tuoi requisiti.

• Ambienti di scalabilità

  Modifica i parametri di scalabilità e prestazioni dell'ambiente.

• Gestione delle connessioni Airflow

  Archiviare le informazioni sulla connessione utilizzate da Airflow per comunicare con altre API, ad esempio progetti Google Cloud, altri cloud provider o servizi di terze parti.

• Attiva e disattiva la serializzazione DAG

  Configura lo scheduler Airflow per elaborare i file DAG prima che vengano inviati al server web.

• Specifica dei periodi di manutenzione

  Configura gli intervalli di tempo in cui Cloud Composer può eseguire la manutenzione per il tuo ambiente.

• Configurazione delle notifiche via email

  Configura i servizi SMTP per il tuo ambiente.

• Gestisci le etichette dell'ambiente e scomponi i costi

  Assegna etichette ai tuoi ambienti, quindi suddividi i costi di fatturazione in base a queste etichette

Configurazione di sicurezza e controllo degli accessi

• Controllo dell'accesso con IAM

  Assegna ruoli e autorizzazioni per account utente e di servizio che supportano Cloud Composer.

• Controllo dell'accesso all'interfaccia utente di Airflow

  Utilizza il controllo dell'accesso dell'interfaccia utente di Airflow (Controllo dell'accesso basato sui ruoli di Airflow o RBAC di Airflow) per assegnare le autorizzazioni per le azioni disponibili all'interno dell'interfaccia utente di Airflow.

• Utilizzo delle chiavi di crittografia gestite dal cliente

  Cripta i dati nel tuo ambiente con le chiavi di crittografia gestite dal cliente (CMEK).

• Configurazione delle restrizioni sulla località delle risorse

  Configura le restrizioni sulla località delle risorse in modo che Cloud Composer archivi i tuoi dati all'interno delle località specificate.

• Configurazione di Secret Manager

  Archivia i dati sensibili in Secret Manager e accedi dal tuo ambiente.

Aggiorna, esegui l'upgrade ed elimina gli ambienti

• Aggiorna ambienti

  Modifica la configurazione dell'ambiente.

• Upgrade degli ambienti

  Esegui l'upgrade del tuo ambiente a una versione successiva di Cloud Composer e Airflow

• Eliminazione di ambienti

  Eliminare l'ambiente.

• Salva e carica snapshot ambiente

  Salva e carica lo stato dell'ambiente utilizzando gli snapshot dell'ambiente.

• Pulizia del database Airflow

  Rimuovi le vecchie voci dal database Airflow per ridurne le dimensioni.

• Migrazione degli ambienti a Airflow 2

  Trasferisci DAG, dati e configurazione dal tuo Airflow 1.10 esistente.* ambienti agli ambienti Airflow 2.

• Esegui la migrazione degli ambienti a Cloud Composer 2 (da Airflow 2)

  Trasferisci i DAG, i dati e la configurazione dall'ambiente Cloud Composer 1 esistente con Airflow 2 a un ambiente Cloud Composer 2.

• Eseguire la migrazione degli ambienti a Cloud Composer 2 (da Airflow 2) utilizzando gli snapshot

  Trasferisci i DAG, i dati e la configurazione dall'ambiente Cloud Composer 1 esistente con Airflow 2 a un ambiente Cloud Composer 2 utilizzando gli snapshot dell'ambiente.

• Esegui la migrazione degli ambienti a Cloud Composer 2 (da Airflow 1)

  Trasferisci i DAG, i dati e la configurazione dall'ambiente Cloud Composer 1 esistente con Airflow 1 a un ambiente Cloud Composer 2.

• Eseguire la migrazione degli ambienti a Cloud Composer 2 (da Airflow 1) utilizzando gli snapshot

  Trasferisci i DAG, i dati e la configurazione dall'ambiente Cloud Composer 1 esistente con Airflow 1 a un ambiente Cloud Composer 2 utilizzando gli snapshot dell'ambiente.

Ambienti di accesso

• Interfaccia a riga di comando di Airflow

  Esegui i comandi dell'interfaccia a riga di comando di Airflow nel tuo ambiente.

• Interfaccia web di Airflow

  Accedi all'interfaccia utente di Airflow per il tuo ambiente.

• API REST Airflow

  Effettua richieste all'API Airflow REST.

• Database Airflow

  Accedere al database Airflow ed eseguire query.

Gestione dei DAG

• Scrittura dei DAG

  Scrivere file di definizione DAG.

• Aggiunta e aggiornamento di DAG

  Carica i DAG nel tuo bucket nel tuo ambiente.

• Attivazione dei DAG

  Attiva i DAG nei tempi previsti, manualmente e utilizzando altri metodi.

• Importazione di operatori dai pacchetti del provider di backporting

  Usa le versioni più recenti degli operatori nei tuoi ambienti Airflow 1.10.* importandoli dai pacchetti operatore backport.

• Utilizzare KubernetesPodOperator

  Esegui i pod nel cluster del tuo ambiente utilizzando KubernetesPodOperator

• Utilizzo degli operatori GKE

  Gestisci i cluster ed esegui i pod al loro interno utilizzando gli operatori GKE.

• Raggruppamento di attività all'interno dei DAG

  Raggruppa le attività nei tuoi DAG utilizzando diversi metodi forniti da Airflow.

• Attivazione dei DAG con Cloud Functions

  Attivare i DAG nel tuo ambiente utilizzando Cloud Functions

• Installazione di plug-in personalizzati

  Installa plug-in personalizzati nel tuo ambiente Cloud Composer.

• Installazione delle dipendenze Python

  Installare pacchetti Python nel tuo ambiente.

• Test dei DAG

  Controlla l'eventuale presenza di errori nei DAG, aggiornali e testali.

Monitoraggio degli ambienti

• Visualizzazione dei log di Airflow

  Accedere ai log di Airflow per il tuo ambiente e visualizzarli.

• Visualizza audit log

  Abilita e visualizza audit log per Cloud Composer

• Monitoraggio degli ambienti

  Accedere alla dashboard di monitoraggio dell'ambiente e utilizzarla.

• Monitoraggio degli ambienti con Monitoring

  Visualizza le metriche del tuo ambiente in Monitoring e accedi ai log dell'ambiente in Cloud Logging.