Importazione di operatori dai pacchetti del provider di backporting

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina spiega cosa sono i pacchetti dei provider di backport di Airflow e come puoi utilizzarli nei tuoi DAG.

I pacchetti del provider backport sono versioni Airflow 2 di operatori, trasferimenti, sensori, hook e secret pacchettizzati come moduli PyPI.

Per semplificare le cose, questo documento è incentrato solo sugli operatori. Puoi utilizzare tutte le da un pacchetto di backport, come illustrato per gli operatori.

I pacchetti dei provider di backport risolvono un problema importante: è possibile ottenere nuovi funzionalità e aggiornamenti della sicurezza per operatori, trasferimenti, sensori e hook senza eseguire l'upgrade del tuo ambiente Airflow a una versione successiva. Ad esempio: il pacchetto del provider per Google è disponibile in Airflow 2. Puoi importare operatori dalla versione con backport di questo pacchetto nel tuo ambiente Airflow 1.10.*

Prima che Apache Airflow introducesse il concetto di pacchetti del provider di backport, erano parte integrante di Airflow. Per ottenere nuove versioni degli operatori, era necessaria una versione più recente di Airflow. Per eseguire questa operazione è stato necessario eseguire l'upgrade dell'ambiente Cloud Composer a una versione successiva. Airflow 2 si allontana da questo modello e introduce pacchetti provider. Un pacchetto provider per Airflow 2 è un modulo PyPI che contiene operatori, trasferimenti, sensori, hook, e segreti per un provider specifico (ad esempio, Google). Se usi Airflow 1.10.*, puoi trarre vantaggio da questa modifica e utilizzare le versioni con i pacchetti del provider.

Usa pacchetti di backport preinstallati

Alcuni pacchetti di backport sono già installati in Cloud Composer in formato Docker. Non devi installare questi pacchetti di backport nel tuo ambiente. Assicurati solo di importare gli operatori da un pacchetto backport nel tuo DAG come descritto più avanti in questa pagina.

Per controllare quali pacchetti di backport sono disponibili nel tuo ambiente, vedi l'elenco di pacchetti nell'immagine Cloud Composer per il tuo ambiente.

Ogni pacchetto di backport preinstallato nel tuo ambiente ha una versione specifica. Se vuoi usare una versione diversa, aggiornare l'ambiente e specificare la versione richiesta. Ti consigliamo di non eseguire il downgrade di pacchetti di backport preinstallati. Installa una versione precedente solo se rilevare un problema con una versione successiva. Non puoi disinstallare le app preinstallate di backport, cambia solo le versioni installate.

Installa ed esegui l'upgrade dei pacchetti di backport

Per installare o eseguire l'upgrade di un pacchetto di backport:

  1. Trova il pacchetto di backport richiesto su PyPI.org.

  2. Installa o esegui l'upgrade del pacchetto come qualsiasi altro pacchetto PyPI.

  3. Se necessario, installa le dipendenze dei pacchetti tra provider. Questi sono extra di cui potresti aver bisogno per usare tutte le caratteristiche del backport pacchetto.

    Ad esempio, per utilizzare SalesforceToGcsOperator da apache-airflow-backport-providers-google, devi avere [salesforce] extra. Installa apache-airflow-backport-providers-google e specifica il [salesforce] nel campo Extra e versione.

Importa operatori dai pacchetti dei provider di backport nei DAG

Per visualizzare un elenco dei contenuti di un pacchetto backport, vai al pacchetto backport su PyPI.org. Ad esempio, la pagina per apache-airflow-backport-providers-google elenca operatori, trasferimenti, sensori, hook e segreti per questo pacchetto.

I pacchetti dei provider di backport introducono operatori nuovi e spostati e altri contenuti. C'è una differenza tra questi due tipi di contenuti, poiché spiegate più avanti.

Importa nuovi operatori

I nuovi operatori sono quelli che non esistono in Airflow 1.10.*. Se provi a Se importi un operatore di questo tipo senza il relativo pacchetto di backport, viene visualizzato un errore di importazione.

Per utilizzare nuovi operatori da un pacchetto backport, importali dal relativo pacchetto airflow.providers.* corrispondente, come descritto nella relativa pagina pacchetto backport su PyPI.org.

L'esempio seguente importa nuovi operatori dalla apache-airflow-backport-providers-google pacchetto:

from airflow.providers.google.cloud.operators.bigquery_dts import (
    BigQueryCreateDataTransferOperator,
    BigQueryDeleteDataTransferConfigOperator,
    )

Importa operatori spostati

Gli operatori spostati sono quelli già esistenti in Airflow 1.10.*. Dopo installare un pacchetto operatore backport, puoi importare due versioni diverse un operatore. Una versione è integrata in Airflow, mentre un'altra è spostata operatore. Per utilizzare un operatore spostato, importalo utilizzando un nuovo percorso di importazione.

Per utilizzare operatori spostati da un pacchetto backport, importali da un pacchetto airflow.contrib.* corrispondente, come descritto nella relativa pagina pacchetto backport su PyPI.org.

L'esempio seguente importa gli operatori spostati dalla apache-airflow-backport-providers-google pacchetto:

from airflow.contrib.operators.bigquery_operator import (
    BigQueryCreateEmptyDatasetOperator,
    BigQueryOperator,
    )

Passaggi successivi