Importazione di operatori dai pacchetti del provider di backporting

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina spiega che cosa sono i pacchetti del provider di backport di Airflow e come utilizzarli nei DAG.

I pacchetti del provider di backporting sono le versioni di Airflow 2 di operatori, trasferimenti, sensori, hook e secret pacchettizzati come moduli PyPI.

Per semplificare, questo documento si concentra solo sugli operatori. Puoi utilizzare tutti gli altri contenuti di un pacchetto di backporting nello stesso modo mostrato per gli operatori.

I pacchetti del provider di backport risolvono un problema importante: puoi ottenere nuove funzionalità e aggiornamenti della sicurezza per operatori, trasferimenti, sensori e hook senza eseguire l'upgrade dell'ambiente Airflow a una versione successiva. Ad esempio, il pacchetto del fornitore per Google è disponibile in Airflow 2. Puoi importare gli operatori dalla versione di backport di questo pacchetto nell'ambiente Airflow 1.10.*.

Prima che Apache Airflow introducesse il concetto di pacchetti del provider di backporting, gli operatori erano parte integrante di Airflow. Per ottenere nuove versioni degli operatori, era necessaria una versione più recente di Airflow. Per questo è stato necessario eseguire l'upgrade dell'ambiente Cloud Composer a una versione successiva. Airflow 2 si allontana da questo modello e introduce i pacchetti del provider. Un pacchetto del provider per Airflow 2 è un modulo PyPI che contiene operatori, trasferimenti, sensori, hook e secret per un provider specifico (ad esempio Google). Se utilizzi Airflow 1.10.*, puoi usufruire di questa modifica e utilizzare le versioni di backport dei pacchetti del provider.

Utilizzare i pacchetti backport preinstallati

Alcuni pacchetti di backport sono già installati nelle immagini di Cloud Composer. Non è necessario installare questi pacchetti di backport nel tuo ambiente. Assicurati solo di importare gli operatori da un pacchetto di backport nel codice DAG come descritto più avanti in questa pagina.

Per controllare quali pacchetti di backport sono disponibili nel tuo ambiente, consulta l'elenco dei pacchetti nell'immagine Cloud Composer per il tuo ambiente.

Ogni pacchetto di backport preinstallato nel tuo ambiente ha una versione specifica. Se vuoi utilizzare una versione diversa, aggiorna il tuo ambiente e specifica la versione richiesta. Sconsigliamo di eseguire il downgrade dei pacchetti di backport preinstallati. Installa una versione precedente solo se rilevi un problema con una versione successiva. Non puoi disinstallare i pacchetti di backport preinstallati, ma solo modificare le versioni installate.

Installare e eseguire l'upgrade dei pacchetti di backport

Per installare o eseguire l'upgrade di un pacchetto backport:

  1. Trova il pacchetto di backport richiesto su PyPI.org.

  2. Installa o esegui l'upgrade del pacchetto come qualsiasi altro pacchetto PyPI.

  3. Se necessario, installa le dipendenze dei pacchetti tra fornitori. Si tratta di dipendenze aggiuntive di cui potresti aver bisogno per utilizzare tutte le funzionalità del pacchetto di backport.

    Ad esempio, per utilizzare SalesforceToGcsOperator da apache-airflow-backport-providers-google, hai bisogno dell'extra [salesforce]. Installa apache-airflow-backport-providers-google e specifica l'extra [salesforce] nel campo Extra e versione.

Importazione di operatori dai pacchetti del provider di backporting nei DAG

Per visualizzare un elenco dei contenuti di un pacchetto di backport, vai alla pagina del pacchetto di backport su PyPI.org. Ad esempio, la pagina per apache-airflow-backport-providers-google elenca gli operatori, i trasferimenti, i sensori, gli hook e i secret per questo pacchetto.

I pacchetti del provider di backporting introducono operatori nuovi e spostati e altri contenuti. Esistono differenze tra questi due tipi di contenuti, come spiegato di seguito.

Importare nuovi operatori

I nuovi operatori sono quelli che non esistono in Airflow 1.10.*. Se provi a importare un operatore di questo tipo senza il relativo pacchetto di backport, viene visualizzato un errore di importazione.

Per utilizzare i nuovi operatori di un pacchetto di backporting, importali dal corrispondente pacchetto airflow.providers.*, come descritto nella pagina del pacchetto di backporting su PyPI.org.

L'esempio seguente importa nuovi operatori dal pacchetto apache-airflow-backport-providers-google:

from airflow.providers.google.cloud.operators.bigquery_dts import (
    BigQueryCreateDataTransferOperator,
    BigQueryDeleteDataTransferConfigOperator,
    )

Importa gli operatori spostati

Gli operatori spostati sono quelli già esistenti in Airflow 1.10.*. Dopo aver installato un pacchetto di operatori di backporting, puoi importare due versioni diverse di un operatore. Una versione è inclusa in Airflow e un'altra è un operatore spostato. Per utilizzare un operatore spostato, importalo utilizzando un nuovo percorso di importazione.

Per utilizzare gli operatori spostati da un pacchetto di backporting, importali da un pacchetto airflow.contrib.* corrispondente, come descritto nella pagina del pacchetto di backporting su PyPI.org.

L'esempio seguente importa gli operatori spostati dal pacchetto apache-airflow-backport-providers-google:

from airflow.contrib.operators.bigquery_operator import (
    BigQueryCreateEmptyDatasetOperator,
    BigQueryOperator,
    )

Passaggi successivi