Données stockées dans Cloud Storage

Cloud Composer 1 | Cloud Composer 2

Cette page décrit les données que Cloud Composer stocke pour votre environnement dans Cloud Storage.

Lorsque vous créez un environnement, Cloud Composer crée un bucket Cloud Storage et l'associe à votre environnement. Le nom du bucket est basé sur la région, le nom et un ID aléatoire de l'environnement, par exemple us-central1-b1-6efabcde-bucket.

Cloud Composer synchronise des dossiers spécifiques du bucket de votre environnement avec les composants Airflow qui s'exécutent dans votre environnement. Par exemple, lorsque vous mettez à jour un fichier avec le code de votre DAG Airflow dans le bucket de l'environnement, les composants Airflow reçoivent également la version mise à jour. Cloud Composer utilise Cloud Storage FUSE pour la synchronisation.

Dossiers dans le bucket Cloud Storage

Dossier Chemin d'accès au stockage Répertoire mappé Description
DAG gs://bucket-name/dags /home/airflow/gcs/dags Stocke les DAG pour votre environnement.
Plug-ins gs://bucket-name/plugins /home/airflow/gcs/plugins Stocke vos plug-ins personnalisés, tels que des opérateurs Airflow, des hooks, des capteurs ou des interfaces en interne et personnalisés.
Données gs://bucket-name/data /home/airflow/gcs/data Stocke les données créées et utilisées par les tâches.
Journaux gs://bucket-name/logs /home/airflow/gcs/logs Stocke les journaux Airflow pour les tâches. Les journaux sont également disponibles dans l'interface Web Airflow et dans l'onglet Journaux de la console Google Cloud.

Cloud Composer synchronise les dossiers dags/ et plugins/ de manière unidirectionnelle. La synchronisation unidirectionnelle signifie que les modifications locales apportées à ces dossiers sur un composant Airflow sont écrasées. Les dossiers data/ et logs/ se synchronisent de manière bidirectionnelle.

La synchronisation des données est cohérente à terme. Pour envoyer des messages d'un opérateur à un autre, utilisez XComs.

Remarques relatives à la capacité

Les données des dossiers dags/, plugins/ et data/ sont synchronisées avec les programmeurs et les nœuds de calcul Airflow.

Le contenu du dossier plugins/ est synchronisé avec le serveur Web Airflow.

Plus ces dossiers contiennent de données, plus l'espace occupé par le stockage local des composants Airflow est important. Enregistrer trop de données dans dags/ et plugins/ peut perturber vos opérations et entraîner des problèmes tels que:

  • Un nœud de calcul ou un programmeur manque d'espace de stockage local et est supprimé en raison d'un espace insuffisant sur le disque local du composant.

  • La synchronisation des fichiers des dossiers dags/ et plugins/ avec les nœuds de calcul et les programmeurs prend beaucoup de temps.

  • La synchronisation des fichiers des dossiers dags/ et plugins/ avec les nœuds de calcul et les programmeurs devient impossible. Par exemple, vous stockez un fichier de 2 Go dans le dossier dags/, mais le disque local d'un nœud de calcul Airflow ne peut contenir que 1 Go de mémoire. Pendant la synchronisation, le nœud de calcul manque d'espace de stockage local, et la synchronisation ne peut pas être effectuée.

Dossiers de DAG et de plug-ins

Pour éviter les échecs d'exécution des DAG, stockez vos DAG, plug-ins et modules Python dans les dossiers dags/ ou plugins/, même si vos modules Python ne contiennent pas de DAG ni de plug-ins.

Par exemple, vous utilisez un DataFlowPythonOperator qui fait référence à un pipeline Dataflow py_file. Ce py_file ne contient pas de DAG ni de plug-ins, mais vous devez toujours le stocker dans le dossier dags/ ou plugins/.

Dossier de données

Il peut arriver que certains fichiers du dossier data/ soient synchronisés avec un composant Airflow spécifique. Par exemple, lorsque Cloud Composer tente de lire un fichier donné pour la première fois pendant:

  • Analyse du DAG: lorsqu'un fichier est lu pour la première fois lors de l'analyse du DAG, Cloud Composer le synchronise avec le programmeur qui analyse le DAG.

  • Exécution du DAG: lorsqu'un fichier est lu pour la première fois lors de l'exécution du DAG, Cloud Composer le synchronise avec le nœud de calcul qui exécute l'exécution.

L'espace de stockage local des composants Airflow est limité. Nous vous recommandons donc de supprimer les fichiers téléchargés pour libérer de l'espace disque dans vos composants. Notez que l'utilisation de l'espace de stockage local peut également augmenter temporairement si vous avez des tâches simultanées qui téléchargent le même fichier sur un seul nœud de calcul Airflow.

Dossier des journaux

Le dossier logs/ est synchronisé à partir des nœuds de calcul Airflow vers le bucket de l'environnement à l'aide de l'API Cloud Storage.

Le quota de l'API Cloud Storage est calculé en fonction de la quantité de données déplacées. Par conséquent, le nombre de tâches Airflow exécutées par votre système peut augmenter votre utilisation de l'API Cloud Storage: plus vous exécutez de tâches, plus vos fichiers journaux sont volumineux.

Synchronisation avec le serveur Web

Le dossier plugins/ est automatiquement synchronisé avec le serveur Web afin que les plug-ins puissent être chargés par l'interface utilisateur d'Airflow.

Étapes suivantes