Cloud Composer 1 è in modalità post-manutenzione. Google non rilascia ulteriori aggiornamenti di Cloud Composer 1, incluse nuove versioni di Airflow, correzioni di bug e aggiornamenti della sicurezza. Ti consigliamo di pianificare la migrazione a Cloud Composer 2.

Questa pagina è stata tradotta dall'API Cloud Translation.

Panoramica di Cloud Composer

Cloud Composer 1 | Cloud Composer 2

Questa pagina fornisce una breve introduzione a Airflow e ai DAG e descrive le funzionalità e le funzionalità di Cloud Composer.

Per ulteriori informazioni sulle nuove funzionalità delle release di Cloud Composer, consulta le note di rilascio.

Informazioni su Cloud Composer

Cloud Composer è un servizio completamente gestito per l'orchestrazione del flusso di lavoro, che consente di creare, pianificare, monitorare e gestire le pipeline di flusso di lavoro su cloud e in data center on-premise.

Cloud Composer è basato sul popolare progetto open source Apache Airflow, utilizza il linguaggio di programmazione Python.

Se utilizzi Cloud Composer anziché un'istanza locale di Apache Airflow, puoi sfruttare il meglio di Airflow senza costi di installazione o gestione. Cloud Composer permette di creare rapidamente ambienti Airflow gestiti e di utilizzare strumenti nativi di Airflow, come la potente interfaccia web e gli strumenti a riga di comando di Airflow, per poterti concentrare sui tuoi flussi di lavoro e non sull'infrastruttura.

Differenze tra le versioni di Cloud Composer

Per ulteriori informazioni sulle differenze tra le versioni principali di Cloud Composer, consulta la panoramica del controllo delle versioni di Cloud Composer.

DAG (flussi di lavoro) Airflow e Airflow

Nell'analisi dei dati, un flusso di lavoro rappresenta una serie di attività di importazione, trasformazione, analisi o utilizzo dei dati. In Airflow, i flussi di lavoro vengono creati utilizzando i DAG, o "grafi diretti aciclici".

**Figura 1.** Relazione tra DAG e attività

Un DAG è una raccolta di attività che vuoi pianificare ed eseguire, organizzate in modo da riflettere le loro relazioni e dipendenze. I DAG vengono creati nei file Python, che definiscono la struttura dei DAG mediante codice. Lo scopo del DAG è garantire che ogni attività venga eseguita al momento giusto e nell'ordine giusto.

Ogni attività in un DAG può rappresentare quasi tutto, ad esempio un'attività può eseguire una qualsiasi delle seguenti funzioni:

Preparazione dei dati per l'importazione
Monitoraggio di un'API
Invio di un'email
Esecuzione di una pipeline

Oltre a eseguire un DAG in base a una pianificazione, puoi attivare i DAG manualmente o in risposta a eventi come le modifiche a un bucket Cloud Storage. Per saperne di più, consulta la sezione Attivazione dei DAG.

Per ulteriori informazioni sui DAG e sulle attività, consulta la documentazione di Apache Airflow.

Ambienti Cloud Composer

Gli ambienti Cloud Composer sono deployment di Airflow autonomi basati su Google Kubernetes Engine. Funzionano con altri servizi Google Cloud utilizzando connettori integrati in Airflow. Puoi creare uno o più ambienti in un singolo progetto Google Cloud, in qualsiasi regione supportata.

Cloud Composer esegue il provisioning dei servizi Google Cloud che eseguono i tuoi flussi di lavoro e tutti i componenti di Airflow. I componenti principali di un ambiente sono:

Cluster GKE: i componenti Airflow, come scheduler, attivatori e worker di Airflow, vengono eseguiti come carichi di lavoro GKE in un singolo cluster creato per il tuo ambiente e sono responsabili dell'elaborazione e dell'esecuzione dei DAG.

Il cluster ospita anche altri componenti di Cloud Composer, come Composer Agent e Airflow Monitoring, che consentono di gestire l'ambiente Cloud Composer, raccogliere i log da archiviare in Cloud Logging e raccogliere metriche da caricare su Cloud Monitoring.
Server web Airflow: il server web esegue l'interfaccia utente di Apache Airflow.
Database Airflow: il database contiene i metadati di Apache Airflow.
Bucket Cloud Storage: Cloud Composer associa un bucket Cloud Storage al tuo ambiente. Questo bucket, chiamato anche bucket dell'ambiente, archivia i DAG, i log, i plug-in personalizzati e i dati per l'ambiente. Per ulteriori informazioni sul bucket dell'ambiente, consulta Dati archiviati in Cloud Storage.

Per un'analisi approfondita dei componenti di un ambiente, consulta Architettura dell'ambiente.

Interfacce di Cloud Composer

Cloud Composer fornisce interfacce per la gestione degli ambienti, istanze Airflow in esecuzione all'interno degli ambienti e singoli DAG.

Ad esempio, puoi creare e configurare ambienti Cloud Composer nella console Google Cloud, in Google Cloud CLI, nell'API Cloud Composer o in Terraform.

Come ulteriore esempio, puoi gestire i DAG dalla console Google Cloud, dalla UI nativa di Airflow o eseguendo i comandi Google Cloud CLI e Airflow CLI.

Funzionalità di Airflow in Cloud Composer

Quando utilizzi Cloud Composer, puoi gestire e utilizzare le funzionalità di Airflow come:

DAG Airflow: puoi aggiungere, aggiornare, rimuovere o attivare i DAG di Airflow nella console Google Cloud o utilizzando l'interfaccia utente nativa di Airflow.
Opzioni di configurazione di Airflow: puoi modificare le opzioni di configurazione di Airflow dai valori predefiniti utilizzati da Cloud Composer a valori personalizzati. In Cloud Composer, alcune opzioni di configurazione sono bloccate e non è possibile modificarne i valori.
Connessioni Airflow.
UI di Airflow.
Interfaccia a riga di comando Airflow.
Plug-in personalizzati: puoi installare plug-in Airflow personalizzati, ad esempio operatori, hook, sensori o interfacce personalizzati e interni di Apache Airflow, nel tuo ambiente Cloud Composer.
Dipendenze Python: puoi installare le dipendenze Python dall'indice dei pacchetti Python nel tuo ambiente o da un repository di pacchetti privato, inclusi i repository di Artifact Registry. Se le dipendenze non sono incluse nell'indice dei pacchetti, puoi utilizzare anche i plug-in.
Logging e monitoraggio per DAG, componenti Airflow e ambienti Cloud Composer:
- Puoi visualizzare i log di Airflow associati a singole attività DAG nell'interfaccia web di Airflow e nella cartella logs nel bucket dell'ambiente.
- Log di Cloud Monitoring e metriche di ambiente per gli ambienti Cloud Composer.

Controllo dell'accesso in Cloud Composer

Puoi gestire la sicurezza a livello di progetto Google Cloud e assegnare ruoli IAM che consentono ai singoli utenti di modificare o creare ambienti. Se qualcuno non ha accesso al tuo progetto o non dispone di un ruolo IAM di Cloud Composer appropriato, quella persona non può accedere a nessuno dei tuoi ambienti.

Oltre a IAM, puoi utilizzare il controllo dell'accesso alla UI di Airflow, che si basa sul modello di controllo degli accessi di Apache Airflow.

Per ulteriori informazioni sulle funzionalità di sicurezza di Cloud Composer, consulta la panoramica sulla sicurezza di Cloud Composer.

Networking di ambienti

Cloud Composer supporta diverse configurazioni di rete per ambienti, con molte opzioni di configurazione. Ad esempio, in un ambiente IP privato, i DAG e i componenti Airflow sono completamente isolati dalla rete internet pubblica.

Per ulteriori informazioni sul networking in Cloud Composer, consulta le pagine relative alle singole funzionalità di networking:

Domande frequenti

Quale versione di Apache Airflow utilizza Cloud Composer?

Gli ambienti Cloud Composer si basano su immagini Cloud Composer. Quando crei un ambiente, puoi selezionare un'immagine con una versione specifica di Airflow:

Cloud Composer 3 supporta Airflow 2.
Cloud Composer 2 supporta Airflow 2.
Cloud Composer 1 supporta Airflow 1 e Airflow 2.

Hai il controllo della versione di Apache Airflow del tuo ambiente. Puoi decidere di eseguire l'upgrade del tuo ambiente a una versione successiva dell'immagine Cloud Composer. Ogni release di Cloud Composer supporta diverse versioni di Apache Airflow.

Posso utilizzare l'interfaccia utente e l'interfaccia a riga di comando native di Airflow?

Puoi accedere all'interfaccia web di Apache Airflow del tuo ambiente. Ciascuno dei tuoi ambienti ha la propria UI di Airflow. Per ulteriori informazioni sull'accesso all'interfaccia utente di Airflow, vedi Interfaccia web di Airflow.

Per eseguire i comandi dell'interfaccia a riga di comando di Airflow nei tuoi ambienti, utilizza i comandi gcloud. Per ulteriori informazioni sull'esecuzione dei comandi dell'interfaccia a riga di comando di Airflow in ambienti Cloud Composer, consulta Interfaccia a riga di comando di Airflow.

Posso utilizzare il mio database come database Airflow?

Cloud Composer utilizza un servizio di database gestito per il database Airflow. Non è possibile utilizzare un database fornito dall'utente come database Airflow.

Posso utilizzare il mio cluster come cluster di Cloud Composer?

Cloud Composer utilizza il servizio Google Kubernetes Engine per creare, gestire ed eliminare i cluster di ambiente in cui vengono eseguiti i componenti Airflow. Questi cluster sono completamente gestiti da Cloud Composer.

Non è possibile creare un ambiente Cloud Composer basato su un cluster Google Kubernetes Engine autogestito.

Posso utilizzare il mio Container Registry?

Cloud Composer usa il servizio Artifact Registry per gestire i repository di immagini container utilizzati dagli ambienti Cloud Composer. Non è possibile sostituirlo con un Container Registry fornito dall'utente.

Gli ambienti Cloud Composer sono a livello di zona o di regione?

Gli ambienti Cloud Composer 3 e Cloud Composer 2 hanno un database Airflow a livello di zona e un livello di esecuzione e pianificazione Airflow a livello di zona. Pianificatori, worker e server web di Airflow vengono eseguiti nel livello di esecuzione di Airflow.

Gli ambienti Cloud Composer 1 sono a livello di zona.