Configurare Secret Manager per il tuo ambiente

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina mostra come utilizzare Secret Manager per archiviare in modo sicuro le connessioni e i secret di Airflow.

Configurare Secret Manager per il tuo ambiente

Questa sezione spiega come configurare Secret Manager in modo da poter utilizzare i secret con l'ambiente Cloud Composer.

Abilita l'API Secret Manager

Console

Enable the Secret Manager API.

Enable the API

gcloud

Enable the Secret Manager API: 

gcloud services enable secretmanager.googleapis.com

Configura il controllo dell'accesso

Devi configurare il controllo dell'accesso in modo che Airflow possa accedere ai secret archiviati in Secret Manager.

A tale scopo, l'account di servizio che accede ai secret deve avere un ruolo con l'autorizzazione secretmanager.versions.access. Ad esempio, il ruolo Funzione di accesso ai secret di Secret Manager include questa autorizzazione.

Puoi concedere questo ruolo a livello di secret, progetto, cartella o organizzazione.

Utilizza una delle seguenti opzioni:

Attivare e configurare il backend di Secret Manager

  1. Esegui l'override della seguente opzione di configurazione di Airflow:

    Sezione Chiave Valore
    secrets backend airflow.providers.google.cloud.secrets.secret_manager.CloudSecretManagerBackend

  2. Aggiungi impostazioni facoltative sostituendo la seguente opzione di configurazione di Airflow:

    Sezione Chiave Valore
    secrets backend_kwargs Consulta la descrizione che segue.

    Il valore backend_kwargs è la rappresentazione JSON dell'oggetto backend_kwargs con i seguenti campi:

    • connections_prefix: prefisso del nome del secret da leggere per recuperare le connessioni. Il valore predefinito è airflow-connections.
    • variables_prefix: prefisso del nome del secret da leggere per ottenere le variabili. Il valore predefinito è airflow-variables.
    • gcp_key_path: percorso del Google Cloud file JSON delle credenziali (se non specificato, viene utilizzato l'account di servizio predefinito).
    • gcp_keyfile_dict: Google Cloud dizionario JSON delle credenziali. Disponibile solo se non è attivo gcp_key_path.
    • sep: separatore utilizzato per concatenare connections_prefix e conn_id. Il valore predefinito è -.
    • project_id: Google Cloud ID progetto in cui sono archiviati i secret.

    Ad esempio, il valore di backend_kwargs può essere: {"project_id": "<project id>", "connections_prefix":"example-connections", "variables_prefix":"example-variables", "sep":"-"}.

Aggiungere connessioni e variabili in Secret Manager

Crea i secret seguendo i passaggi descritti in Creare secret e versioni.

Variabili

  • Deve essere utilizzato il formato [variables_prefix][sep][variable_name].
  • Il valore predefinito per [variables_prefix] è airflow-variables.
  • Il separatore predefinito [sep] è -.

Ad esempio, se il nome della variabile è example-var, il nome del secret è airflow-variables-example-var.

Nomi delle connessioni

  • Deve essere utilizzato il formato [connection_prefix][sep][connection_name].
  • Il valore predefinito per [connection_prefix] è airflow-connections.
  • Il separatore predefinito [sep] è -.

Ad esempio, se il nome della connessione è exampleConnection, il nome del segreto è airflow-connections-exampleConnection.

Valori di connessione

  • Deve essere utilizzata la rappresentazione URI. Ad esempio, postgresql://login:secret@examplehost:9000.

  • L'URI deve essere codificato come URL (codificato in percentuale). Ad esempio, una password contenente un simbolo di spazio deve essere codificata come segue:postgresql://login:secret%20password@examplehost:9000.

Airflow dispone di un metodo di utilità per la generazione di URI di connessione. Un esempio di come codificare un URL complesso con elementi extra JSON è disponibile nella documentazione di Airflow.

Utilizzare Secret Manager con Cloud Composer

Quando recupera le variabili e le connessioni, Cloud Composer controlla prima Secret Manager. Se la variabile o la connessione richiesta non viene trovata, Cloud Composer controlla le variabili di ambiente e il database Airflow.

Leggere le variabili utilizzando i modelli Jinja

Puoi utilizzare Secret Manager per leggere le variabili con modelli Jinja per i campi degli operatori basati su modelli (risolti al momento dell'esecuzione).

Per il secret airflow-variables-secret_filename:

file_name = '{{var.value.secret_filename}}'

Leggere le variabili utilizzando operatori e callback personalizzati

Puoi anche utilizzare Secret Manager per leggere le variabili negli operatori personalizzati o nei metodi di callback degli operatori. La lettura delle variabili all'interno dei DAG può influire negativamente sul rendimento, quindi utilizza i modelli Jinja se vuoi utilizzare le variabili nei tuoi DAG.

Ad esempio, per il segreto airflow-variables-secret_filename:

from airflow.models.variable import Variable
file_name = Variable.get('secret_filename')

Lettura delle connessioni

A meno che tu non stia scrivendo un operatore personalizzato, raramente dovrai accedere direttamente alle connessioni. La maggior parte degli hook riceve il nome della connessione come parametro di istanza e deve recuperare automaticamente le connessioni dal backend segreto quando vengono eseguite le attività.

La lettura diretta delle connessioni può essere utile quando scrivi il tuo hook.

Ad esempio, per la connessione airflow-connections-exampleConnection:

from airflow.hooks.base_hook import BaseHook
exampleConnection = BaseHook.get_connection('exampleConnection')

BaseHook.get_connection restituisce un oggetto Connection. È possibile ottenere la rappresentazione in stringa URI di una connessione come questa:

exampleConnectionUri = BaseHook.get_connection('exampleConnection').get_uri()

Passaggi successivi