Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Apache Airflow ha un'interfaccia API REST che puoi utilizzare per eseguire attività come recuperare informazioni sulle esecuzioni e le attività dei DAG, aggiornare i DAG, ottenere la configurazione di Airflow, aggiungere ed eliminare connessioni ed elencare gli utenti.
Per un esempio di utilizzo dell'API REST Airflow con Cloud Functions, consulta Attivare i DAG con Cloud Functions.
Versioni API REST Airflow
In Cloud Composer 1 sono disponibili le seguenti versioni dell'API REST Airflow:
- Airflow 1 utilizza l'API REST sperimentale.
Airflow 2 utilizza l'API REST stabile. L'API REST sperimentale è deprecata da Airflow.
Puoi comunque utilizzare l'API REST sperimentale in Airflow 2 se la abiliti tramite un override della configurazione di Airflow, come descritto ulteriormente.
Prima di iniziare
Attiva l'API Cloud Composer.
Abilita l'API REST Airflow stabile
Flusso d'aria 2
L'API REST stabile è già abilitata per impostazione predefinita in Airflow 2.
Cloud Composer utilizza il proprio backend di autenticazione API, integrato con Identity-Aware Proxy.L'autorizzazione funziona nel modo standard fornito da Airflow. Quando un nuovo utente
autorizza tramite l'API, all'account dell'utente viene assegnato il ruolo Op
per impostazione predefinita.
Puoi abilitare o disabilitare l'API REST stabile oppure modificare il ruolo utente predefinito eseguendo l'override delle seguenti opzioni di configurazione di Airflow:
Sezione | Chiave | Valore | Note |
---|---|---|---|
api
|
(Airflow 2.2.5 e versioni precedenti) auth_backend (Airflow 2.3.0 e versioni successive) auth_backends
|
airflow.composer.api.backend.composer_auth
|
Per disabilitare l'API REST stabile, passa a
airflow.api.auth.backend.deny_all |
api
|
composer_auth_user_registration_role
|
Op
|
Puoi specificare qualsiasi altro ruolo. |
Flusso d'aria 1
L'API REST stabile non è disponibile in Airflow 1. In alternativa, puoi utilizzare l'API REST sperimentale.
Abilita l'API REST Airflow sperimentale
Flusso d'aria 2
Per impostazione predefinita, la funzionalità di autenticazione dell'API è disabilitata nell'API sperimentale. Il server web di Airflow rifiuta tutte le richieste che effettui.
Per abilitare la funzionalità di autenticazione dell'API e l'API sperimentale Airflow 2, esegui l'override della seguente opzione di configurazione di Airflow:
Sezione | Chiave | Valore | Note |
---|---|---|---|
api
|
(Airflow 2.2.5 e versioni precedenti) auth_backend (Airflow 2.3.0 e versioni successive) auth_backends
|
airflow.api.auth.backend.default
|
Il valore predefinito è airflow.composer.api.backend.composer_auth . |
api
|
enable_experimental_api
|
True
|
Il valore predefinito è False . |
Flusso d'aria 1
Per impostazione predefinita, la funzionalità di autenticazione dell'API è disabilitata in Airflow 1.10.11 e versioni successive. Il server web di Airflow rifiuta tutte le richieste che effettui. Utilizza le richieste per attivare i DAG, quindi abilita questa funzionalità.
Per abilitare la funzionalità di autenticazione API in Airflow 1, esegui l'override della seguente opzione di configurazione di Airflow:
Sezione | Chiave | Valore | Note |
---|---|---|---|
api |
auth_backend |
airflow.api.auth.backend.default |
Il valore predefinito è airflow.api.auth.backend.deny_all |
Dopo aver impostato questa opzione di configurazione su airflow.api.auth.backend.default
, il server web Airflow accetta tutte le richieste API senza autenticazione. Anche se il server web Airflow non richiede l'autenticazione, è comunque protetto da Identity-Aware Proxy, che fornisce il proprio livello di autenticazione.
Consenti le chiamate API all'API REST di Airflow utilizzando il controllo dell'accesso del server web
A seconda del metodo utilizzato per chiamare l'API REST Airflow, il metodo del chiamante può utilizzare un indirizzo IPv4 o IPv6. Ricordati di sbloccare il traffico IP per l'API REST Airflow utilizzando il controllo dell'accesso al server web.
Utilizza l'opzione di configurazione predefinita All IP addresses have access (default)
se non sai con certezza da quali indirizzi IP verranno inviate le chiamate all'API REST Airflow.
Effettua chiamate all'API REST Airflow
Ottieni client_id del proxy IAM
Per effettuare una richiesta all'endpoint API REST di Airflow, la funzione richiede l'ID client del proxy IAM che protegge il server web Airflow.
Cloud Composer non fornisce direttamente queste informazioni. Effettua invece una richiesta non autenticata al server web Airflow e acquisisci l'ID client dall'URL di reindirizzamento:
cURL
curl -v AIRFLOW_URL 2>&1 >/dev/null | grep -o "client_id\=[A-Za-z0-9-]*\.apps\.googleusercontent\.com"
Sostituisci AIRFLOW_URL
con l'URL dell'interfaccia web di Airflow.
Nell'output, cerca la stringa che segue client_id
. Ad esempio:
client_id=836436932391-16q2c5f5dcsfnel77va9bvf4j280t35c.apps.googleusercontent.com
Python
Salva il seguente codice in un file denominato get_client_id.py
. Inserisci i valori per project_id
, location
e composer_environment
, quindi esegui il codice in Cloud Shell o nel tuo ambiente locale.
Chiama l'API REST Airflow utilizzando client_id
Effettua le seguenti sostituzioni:
- Sostituisci il valore della variabile
client_id
con il valoreclient_id
ottenuto nel passaggio precedente. - Sostituisci il valore della variabile
webserver_id
con l'ID progetto tenant, che fa parte dell'URL dell'interfaccia web di Airflow prima del giorno.appspot.com
. Hai ottenuto l'URL dell'interfaccia web di Airflow in un passaggio precedente. Specifica la versione dell'API REST Airflow che utilizzi:
- Se utilizzi l'API REST Airflow stabile, imposta la variabile
USE_EXPERIMENTAL_API
suFalse
. - Se utilizzi l'API REST Airflow sperimentale, non sono necessarie modifiche. La variabile
USE_EXPERIMENTAL_API
è già impostata suTrue
.
- Se utilizzi l'API REST Airflow stabile, imposta la variabile
Accedi all'API REST Airflow utilizzando un account di servizio
Il database Airflow limita la lunghezza del campo email a 64 caratteri. A volte gli account di servizio hanno indirizzi email che superano i 64 caratteri. Non è possibile creare utenti Airflow per questi account di servizio come di consueto. Se non esiste un utente Airflow per un account di servizio di questo tipo, l'accesso all'API REST Airflow genera gli errori HTTP 401 e 403.
Come soluzione alternativa, puoi preregistrare un utente Airflow per un account di servizio. Per farlo, utilizza accounts.google.com:NUMERIC_USER_ID
come nome utente e qualsiasi stringa univoca come email.
Per ottenere
NUMERIC_USER_ID
per un account di servizio, esegui:gcloud iam service-accounts describe \ SA_NAME@PROJECT_ID.iam.gserviceaccount.com \ --format="value(oauth2ClientId)"
Sostituisci:
SA_NAME
con il nome dell'account di servizio.PROJECT_ID
con l'ID progetto.
Crea un utente Airflow con il ruolo
Op
per l'account di servizio:UI di Airflow
Vai ad Amministratore > Utenti e fai clic su Crea. L'utente di Airflow deve avere il ruolo
Admin
per aprire questa pagina.Specifica
accounts.google.com:NUMERIC_USER_ID
come nome utente. SostituisciNUMERIC_USER_ID
con l'ID utente ottenuto nel passaggio precedente.Specifica un identificatore univoco come email. Puoi usare qualsiasi stringa univoca.
Specifica il ruolo dell'utente. Ad esempio,
Op
.Assicurati che la casella di controllo È attivo? sia selezionata.
Specifica il nome e il cognome dell'utente. Puoi usare qualsiasi stringa.
Fai clic su Salva.
gcloud
In Airflow 2, esegui il seguente comando dell'interfaccia a riga di comando di Airflow:
gcloud composer environments run ENVIRONMENT_NAME \ --location LOCATION \ users create -- \ -u accounts.google.com:NUMERIC_USER_ID \ -e UNIQUE_ID \ -f UNIQUE_ID \ -l - -r Op --use-random-password
Sostituisci:
ENVIRONMENT_NAME
con il nome dell'ambiente.LOCATION
con la regione in cui si trova l'ambiente.NUMERIC_USER_ID
con l'ID utente ottenuto nel passaggio precedente.UNIQUE_ID
con l'identificatore dell'utente Airflow. Puoi usare qualsiasi stringa univoca.
Dopo aver creato un utente Airflow per un account di servizio, un chiamante autenticato come account di servizio viene riconosciuto come utente preregistrato e ha eseguito l'accesso ad Airflow.
Scalabilità del componente API REST Airflow
L'API REST di Airflow e gli endpoint UI di Airflow vengono eseguiti all'interno del componente, ovvero il server web di Airflow. Se utilizzi l'API REST in modo intensivo, valuta la possibilità di aumentare i parametri di CPU e memoria per regolare le risorse di Airflow Webserver in base al carico previsto.