Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Apache Airflow ha un'interfaccia API REST che puoi utilizzare per eseguire attività come come ottenere informazioni sulle esecuzioni e le attività dei DAG, aggiornare i DAG, ottenere Configurazione di Airflow, aggiunta ed eliminazione di connessioni ed elenco di utenti.
Per un esempio di utilizzo dell'API REST di Airflow con le funzioni Cloud Run, consulta Attivare i DAG con Cloud Functions.
Versioni API REST Airflow
In Cloud Composer 2 sono disponibili le seguenti versioni dell'API REST Airflow:
Airflow 2 utilizza l'API REST stabile. L'API REST sperimentale è deprecata da Airflow.
Puoi comunque utilizzare l'API REST sperimentale in Airflow 2 se la attivi tramite un override della configurazione di Airflow, come descritto di seguito.
Prima di iniziare
Enable the Cloud Composer API.
Abilita l'API REST Airflow stabile
L'API REST stabile è già abilitata per impostazione predefinita in Airflow 2.
Cloud Composer utilizza il proprio backend di autenticazione API.L'autorizzazione funziona nel modo standard fornito da Airflow. Quando un nuovo utente
autorizza tramite l'API, l'account dell'utente riceve il ruolo Op
per impostazione predefinita.
Puoi attivare o disattivare l'API REST stabile o modificare il ruolo utente predefinito sostituendo le seguenti opzioni di configurazione di Airflow:
Sezione | Chiave | Valore | Note |
---|---|---|---|
api
|
(Airflow 2.2.5 e versioni precedenti) auth_backend (Airflow 2.3.0 e versioni successive) auth_backends
|
airflow.composer.api.backend.composer_auth
|
Per disabilitare l'API REST stabile, passa a
airflow.api.auth.backend.deny_all |
api
|
composer_auth_user_registration_role
|
Op
|
Puoi specificare qualsiasi altro ruolo. |
Abilita l'API REST Airflow sperimentale
Per impostazione predefinita, la funzionalità di autenticazione dell'API è disabilitata nell'API sperimentale. Il server web di Airflow nega tutte le richieste che effettui.
Per attivare la funzionalità di autenticazione API e l'API sperimentale Airflow 2, sostituisci la seguente opzione di configurazione di Airflow:
Sezione | Chiave | Valore | Note |
---|---|---|---|
api
|
(Airflow 2.2.5 e versioni precedenti) auth_backend (Airflow 2.3.0 e versioni successive) auth_backends
|
airflow.api.auth.backend.default
|
Il valore predefinito è airflow.composer.api.backend.composer_auth . |
api
|
enable_experimental_api
|
True
|
Il valore predefinito è False . |
Dopo aver impostato questa opzione di configurazione su
airflow.api.auth.backend.default
, il server web Airflow accetta tutte le API
richieste senza autenticazione. Anche se lo stesso server web Airflow
non richiede l'autenticazione, è comunque protetto da Identity-Aware Proxy,
fornisce il proprio livello di autenticazione.
Consenti le chiamate API all'API REST di Airflow utilizzando il controllo dell'accesso del server web
A seconda del metodo utilizzato per chiamare l'API REST Airflow, il metodo del chiamante può essere utilizzato un indirizzo IPv4 o IPv6. Ricorda di sbloccare Traffico IP verso l'API REST Airflow utilizzando il controllo dell'accesso Webserver.
Utilizza l'opzione di configurazione predefinita All IP addresses have access (default)
.
se non sai da quali indirizzi IP indirizzi le chiamate all'API REST di Airflow
verrà inviato.
Effettua chiamate all'API REST Airflow
Questa sezione fornisce uno script Python di esempio che puoi utilizzare per attivare DAG con l'API REST Airflow stabile.
Inserisci i contenuti dell'esempio seguente in un file denominato
composer2_airflow_rest_api.py
, quindi fornisci l'URL UI di Airflow,
nome del DAG e la configurazione dell'esecuzione del DAG nei valori della variabile.
Ad esempio, la configurazione seguente non è corretta
web_server_url = (
"https://example-airflow-ui-url-dot-us-central1.composer.googleusercontent.com/"
)
Accedi all'API REST Airflow utilizzando un account di servizio
Il database Airflow limita la lunghezza del campo email a 64 caratteri. A volte gli account di servizio hanno indirizzi email più lunghi di 64 caratteri. Non è possibile creare utenti Airflow per questi account di servizio nel modo consueto. Se non esiste un utente Airflow per un servizio di questo tipo l'accesso all'API REST Airflow comporta gli errori HTTP 401 e 403.
Come soluzione alternativa, puoi preregistrare un utente Airflow per un account di servizio. Per farlo, utilizza accounts.google.com:NUMERIC_USER_ID
come nome utente e qualsiasi stringa univoca come indirizzo email.
Per ottenere
NUMERIC_USER_ID
per un account di servizio, esegui:gcloud iam service-accounts describe \ SA_NAME@PROJECT_ID.iam.gserviceaccount.com \ --format="value(oauth2ClientId)"
Sostituisci:
SA_NAME
con il nome dell'account di servizio.PROJECT_ID
con ID progetto.
Crea un utente Airflow con il ruolo
Op
per l'account di servizio:Interfaccia utente di Airflow
Vai a Sicurezza > Elenca utenti e fai clic su Aggiungi un nuovo record. L'utente Airflow deve disporre del ruolo
Admin
per aprire questa pagina.Specifica
accounts.google.com:NUMERIC_USER_ID
come nome dell'utente. SostituisciNUMERIC_USER_ID
con l'ID utente ottenuto nella passaggio precedente.Specifica un identificatore univoco come email. Puoi utilizzare qualsiasi stringa univoca.
Specifica il ruolo per l'utente. Ad esempio,
Op
.Assicurati che la casella di controllo È attivo? sia selezionata.
Specifica il nome e il cognome dell'utente. Puoi utilizzare qualsiasi stringa.
Fai clic su Salva.
gcloud
Esegui questo comando dell'interfaccia a riga di comando di Airflow:
gcloud composer environments run ENVIRONMENT_NAME \ --location LOCATION \ users create -- \ -u accounts.google.com:NUMERIC_USER_ID \ -e UNIQUE_ID \ -f UNIQUE_ID \ -l - -r Op --use-random-password
Sostituisci:
ENVIRONMENT_NAME
con il nome dell'ambiente.LOCATION
con la regione in cui si trova l'ambiente.NUMERIC_USER_ID
con l'ID utente ottenuto nel passaggio precedente.UNIQUE_ID
con l'identificatore dell'utente Airflow. Puoi utilizzare qualsiasi stringa univoca.
Dopo aver creato un utente Airflow per un account di servizio, un chiamante l'account di servizio è riconosciuto come utente preregistrato, e ha eseguito l'accesso ad Airflow.
Scalabilità del componente dell'API REST Airflow
L'API REST di Airflow e gli endpoint dell'interfaccia utente di Airflow vengono eseguiti all'interno del componente, ovvero del server web Airflow. Se utilizzi l'API REST in modo intensivo, considera aumentando i parametri di CPU e memoria per regolare le risorse Airflow Webserver rispetto al carico previsto.