Gestione delle connessioni Airflow

Cloud Composer 1 | Cloud Composer 2

Questa pagina descrive come gestire le connessioni Airflow nel tuo ambiente e come accedervi dai tuoi DAG.

Informazioni sulle connessioni di Airflow

Le connessioni Aiflow archiviano le credenziali e altre informazioni di connessione, come nomi utente, stringhe di connessione e password. I DAG utilizzano le connessioni per comunicare e accedere alle risorse in Google Cloud e in altri servizi dai DAG.

Gli operatori Airflow nei DAG utilizzano una connessione predefinita per l'operatore oppure specifichi un nome di connessione personalizzato.

Informazioni sulla sicurezza della connessione

La maggior parte degli operatori di Airflow non accetta le credenziali direttamente. ma usano connessioni Airflow.

Quando crei un nuovo ambiente, Cloud Composer genera una chiave Fernet univoca e permanente per l'ambiente e protegge le connessioni aggiuntive per impostazione predefinita. Puoi visualizzare fernet_key nella pagina Configurazione della UI di Airflow.

Per ulteriori informazioni su come vengono protette le connessioni e le password in Airflow, consulta Protezione delle connessioni e Mascheramento dei dati sensibili.

Importante: in Cloud Composer, consigliamo di archiviare le connessioni in Secret Manager anziché archiviarle in Airflow o direttamente nei tuoi DAG.

Informazioni sui tipi di connessione

Airflow utilizza connessioni di tipi diversi per connettersi a servizi specifici. Ad esempio, il tipo di connessione Google Cloud si connette ad altri servizi in Google Cloud. Per fare un altro esempio, il tipo di connessione S3 si connette a un bucket Amazon S3.

Per aggiungere un tipo di connessione a Airflow, installa un pacchetto PyPI con quel tipo di connessione. Alcuni pacchetti sono preinstallati nel tuo ambiente. Ad esempio, puoi utilizzare la connessione dal pacchetto apache-airflow-providers-google senza installare pacchetti PyPI personalizzati.

Connessioni preconfigurate

Cloud Composer configura le seguenti connessioni predefinite nel tuo ambiente. Puoi utilizzare queste connessioni per accedere alle risorse del progetto senza configurarle.

• google_cloud_default
• bigquery_default
• google_cloud_datastore_default
• google_cloud_storage_default

Aggiungi una connessione in Secret Manager

Puoi archiviare una connessione in Secret Manager, senza aggiungerla a Airflow. Ti consigliamo di utilizzare questo approccio quando archivi credenziali e altre informazioni sensibili.

Importante: i tuoi DAG danno la priorità alle connessioni archiviate in Secret Manager rispetto alle connessioni archiviate in Airflow.

Per aggiungere una connessione in Secret Manager:

1. Configura Secret Manager per il tuo ambiente.

2. Aggiungi un secret con un nome corrispondente al pattern per le connessioni.

   Ad esempio: airflow-connections-example_connection. Nei DAG, utilizza il nome della connessione senza prefisso: example_connection.

3. Aggiungi parametri per la connessione:

   Formato JSON

   Nota: Airflow supporta il formato JSON a partire dalla versione 2.3.0. In alternativa, puoi utilizzare il formato URI.

   Aggiungi la rappresentazione JSON della tua connessione come valore del secret. Ad esempio:

   {
     "conn_type": "mysql",
     "host": "example.com",
     "login": "login",
     "password": "password",
     "port": "9000"
   }
   

   Per ulteriori informazioni sul formato di connessione JSON, consulta la documentazione di Airflow.

   Formato URI

   Aggiungi la rappresentazione URI della connessione come valore del secret:

   • Il secret deve archiviare una rappresentazione URI della connessione. Ad esempio, mysql://login:[e-mail]:9000.

   • L'URI deve essere codificato come URL. Ad esempio, una password che contiene uno spazio deve essere codificata come URL come segue: mysql://login:[e-mail]:9000.

   Airflow dispone di un metodo pratico per la generazione degli URI di connessione. Un esempio di come codificare un URL complesso con extra JSON è disponibile nella documentazione di Airflow.

4. Verifica che tutti i parametri di connessione vengano letti correttamente da Secret Manager.

Aggiungi una connessione in Airflow

In alternativa all'archiviazione delle connessioni in Secret Manager, puoi archiviarle in Airflow.

Per aggiungere una connessione in Airflow:

Interfaccia a riga di comando Airflow

Esegui il comando dell'interfaccia a riga di comando di Airflow connections add tramite Google Cloud CLI. Ad esempio:

In Airflow 2:

gcloud composer environments run ENVIRONMENT_NAME \
  --location LOCATION \
  connections add -- \
    --conn-type "mysql" \
    --conn-host "example.com" \
    --conn-port "9000" \
    --conn-login "login" \
    --conn-password "password" \
    example_connection

Puoi anche utilizzare l'argomento --conn-uri:

gcloud composer environments run ENVIRONMENT_NAME \
  --location LOCATION \
  connections add -- \
    --conn-uri "mysql://login:[e-mail]:9000" \
    example_connection

In Airflow 1:

gcloud composer environments run ENVIRONMENT_NAME \
  --location LOCATION \
  connections -- \
    --add \
    --conn_type "mysql" \
    --conn_host "example.com" \
    --conn_port "9000" \
    --conn_login "login" \
    --conn_password "password" \
    --conn_id "example_connection"

Sostituisci quanto segue:

• ENVIRONMENT_NAME: il nome dell'ambiente.
• LOCATION: la regione in cui si trova l'ambiente.

UI di Airflow

Segui la documentazione di Airflow sulla creazione delle connessioni.

Verifica che Airflow legga correttamente una connessione

Nota: questo comando è disponibile solo in Airflow 2.

Puoi eseguire il comando dell'interfaccia a riga di comando di Airflow connections get tramite Google Cloud CLI per verificare che una connessione venga letta correttamente. Ad esempio, se archivi una connessione in Secret Manager, in questo modo puoi verificare se tutti i parametri di una connessione vengono letti da Airflow da un secret.

Avviso: Airflow stampa le password di connessione nell'output del comando. Questo si verifica sia per le connessioni archiviate in Airflow che in Secret Manager.

gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    connections get \
    -- CONNECTION_NAME

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.
• LOCATION con la regione in cui si trova l'ambiente.
• CONNECTION_NAME con il nome della connessione. Se la connessione è archiviata in Secret Manager, utilizza il nome della connessione senza il prefisso. Ad esempio, specifica example_connection anziché airflow-connections-example_connection_json.

Esempio:

gcloud composer environments run example-environment \
    --location us-central1 \
    connections get \
    -- example_connection -o json

Utilizzare le connessioni Airflow nei DAG

Questa sezione mostra come accedere alla connessione da un DAG.

Utilizza una connessione Secret Manager

Utilizza il nome della connessione senza prefisso. Ad esempio, se il secret è denominato airflow-connections-aws_s3, specifica aws_s3.

transfer_dir_from_s3 = S3ToGCSOperator(
    task_id='transfer_dir_from_s3',
    aws_conn_id='aws_s3',
    prefix='data-for-gcs',
    bucket='example-s3-bucket-transfer-operators',
    dest_gcs='gs://us-central1-example-environ-361f4221-bucket/data/from-s3/')

Se archivi una connessione predefinita in Secret Manager, puoi omettere il nome della connessione. Consulta la documentazione di Airflow per un operatore specifico per ottenere il nome di connessione predefinito utilizzato da un operatore. Ad esempio, l'operatore di Airflow S3ToGCSOperator utilizza la connessione aws_default per impostazione predefinita. Puoi archiviare questa connessione predefinita in un secret denominato airflow-connections-aws_default.

Utilizza una connessione archiviata in Airflow

Utilizza il nome della connessione definito in Airflow:

transfer_dir_from_s3 = S3ToGCSOperator(
    task_id='transfer_dir_from_s3',
    aws_conn_id='aws_s3',
    prefix='data-for-gcs',
    bucket='example-s3-bucket-transfer-operators',
    dest_gcs='gs://us-central1-example-environ-361f4221-bucket/data/from-s3/')

Per utilizzare la connessione predefinita per un operatore, ometti il nome della connessione. Consulta la documentazione di Airflow per un operatore specifico per ottenere il nome di connessione predefinito utilizzato da un operatore. Ad esempio, l'operatore Airflow S3ToGCSOperator utilizza la connessione aws_default per impostazione predefinita.

Risoluzione dei problemi

Se il tuo ambiente non può accedere al secret archiviato in Secret Manager:

1. Assicurati che Secret Manager sia configurato nel tuo ambiente.

2. Verifica che il nome della connessione in Secret Manager corrisponda alla connessione utilizzata da Airflow. Ad esempio, per una connessione denominata example_connection, il nome del secret è airflow-connections-example_connection.

3. Verifica che Airflow leggi correttamente una connessione.

Passaggi successivi

• Configura Secret Manager
• Configurare le notifiche via email
• Scrittura di DAG