Installazione di plug-in personalizzati

Cloud Composer 1 | Cloud Composer 2

Il gestore di plug-in di Apache Airflow consente di scrivere operatori, hook, sensori o interfacce di Apache Airflow personalizzati. Per ulteriori informazioni, consulta la sezione relativa ai plug-in personalizzati nella documentazione di Airflow. Questa pagina descrive come installare plug-in personalizzati nel tuo ambiente Cloud Composer.

Quando crei un ambiente, Cloud Composer crea un bucket Cloud Storage e associa il bucket al tuo ambiente. Utilizza la cartella plugins nel bucket associato per installare plug-in personalizzati.

Prima di iniziare

  • Il tuo account deve avere un ruolo che consenta di visualizzare e modificare i contenuti dei bucket dell'ambiente.
  • Questo metodo di installazione si applica solo ai plug-in Airflow. Ad esempio, non puoi utilizzare questo metodo per installare moduli Python comuni o altre librerie.
  • I plug-in devono essere conformi alle linee guida per i modelli di plug-in Airflow.

Installazione di un plug-in

Per installare un plug-in personalizzato nel tuo ambiente Cloud Composer, copia il codice plug-in nella cartella plugins del bucket Cloud Storage collegato al tuo ambiente Cloud Composer.

Per installare un plug-in:

Console

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Trova il tuo ambiente e segui il link DAG.

  3. Vai al livello superiore di una cartella, quindi vai alla cartella plugins/.

  4. Carica i file dei plug-in. Per ulteriori informazioni sul caricamento di oggetti, consulta la sezione Caricamento di oggetti.

gcloud

Utilizza il seguente comando gcloud:

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

Sostituisci:

  • ENVIRONMENT_NAME con il nome dell'ambiente.
  • LOCATION con la regione in cui si trova l'ambiente.
  • PATH_TO_LOCAL_FILE con il percorso del file da caricare.
  • (Facoltativo) PATH_IN_SUBFOLDER con il percorso della sottocartella. Utilizza l'argomento --destination per caricare un plug-in in una sottocartella della cartella plugins. In caso contrario, ometti l'argomento --destination.

Visualizzazione di un elenco di plug-in

Console

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Trova il tuo ambiente e segui il link DAG.

  3. Vai al livello superiore di una cartella, quindi vai alla cartella plugins/.

  4. Visualizza i file dei plug-in.

gcloud

Utilizza il seguente comando gcloud:

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

Sostituisci:

  • ENVIRONMENT_NAME con il nome dell'ambiente.
  • LOCATION con la regione in cui si trova l'ambiente.

Eliminazione di un plug-in

Per eliminare un plug-in dal tuo ambiente Cloud Composer, elimina il codice plug-in dalla cartella plugins nel bucket dell'ambiente.

Per eliminare un plug-in:

Console

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Trova il tuo ambiente e segui il link DAG.

  3. Vai al livello superiore di una cartella, quindi vai alla cartella plugins/.

  4. Elimina i file dei plug-in. Per ulteriori informazioni sull'eliminazione di oggetti, consulta la sezione Eliminazione degli oggetti.

gcloud

Utilizza il seguente comando gcloud:

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

Download di plug-in

Per scaricare i plug-in, scegli un'opzione:

Console

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Trova il tuo ambiente e segui il link DAG.

  3. Vai al livello superiore di una cartella, quindi vai alla cartella plugins/.

  4. Scarica i file dei plug-in. Per ulteriori informazioni sull'eliminazione di oggetti, consulta Download di oggetti.

gcloud

Utilizza il seguente comando gcloud:

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

Sostituisci:

  • ENVIRONMENT_NAME con il nome dell'ambiente.
  • LOCATION con la regione in cui si trova l'ambiente.
  • PATH_TO_LOCAL_DESTINATION con la destinazione del file scaricato.
  • (Facoltativo) --source è un'opzione per scaricare un solo plug-in. PATH_IN_FOLDER è il percorso della cartella.

Risoluzione dei problemi relativi ai plug-in

Un plug-in appena caricato non è visibile nella UI di Airflow

Se utilizzi il controllo dell'accesso alla UI di Airflow, il plug-in appena caricato potrebbe non essere visibile nella UI di Airflow. Per risolvere il problema, chiedi all'amministratore della UI di Airflow per configurare l'accesso al plug-in appena caricato o assegnati il ruolo Admin nella UI di Airflow.

Passaggi successivi