Données stockées dans Cloud Storage

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Preview — Cloud Composer 3

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Cette page décrit les données que Cloud Composer stocke pour votre environnement dans Cloud Storage.

Lorsque vous créez un environnement, Cloud Composer crée un bucket Cloud Storage et l'associe à votre environnement. Le nom du bucket est basé sur l'environnement la région, le nom et un ID aléatoire tel que us-central1-b1-6efabcde-bucket.

Cloud Composer synchronise des dossiers spécifiques bucket de votre environnement aux composants Airflow exécutés dans votre environnement. Par exemple, lorsque vous mettez à jour un fichier avec le code de votre DAG Airflow dans le bucket de l'environnement, les composants Airflow reçoivent également la version mise à jour. Cloud Composer utilise Cloud Storage FUSE pour la synchronisation.

Remarque :La suppression de votre environnement n'entraîne pas la suppression de son bucket. À pour éviter que des frais ne soient facturés sur votre compte de facturation Cloud, téléchargez vos données, puis supprimer le bucket Cloud Storage.

Dossiers dans le bucket Cloud Storage

Dossier	Chemin d'accès au stockage	Répertoire mappé	Description
DAG	gs://bucket-name/dags	/home/airflow/gcs/dags	Stocke les DAG pour votre environnement.
Plug-ins	gs://bucket-name/plugins	/home/airflow/gcs/plugins	Stocke vos plug-ins personnalisés, tels que des opérateurs Airflow, des hooks, des capteurs ou des interfaces en interne et personnalisés.
Données	gs://bucket-name/data	/home/airflow/gcs/data	Stocke les données créées et utilisées par les tâches.
Journaux	gs://bucket-name/logs	/home/airflow/gcs/logs	Stocke les journaux Airflow pour les tâches. Les journaux sont également disponibles dans l'interface Web Airflow et dans l'onglet Journaux de la console Google Cloud.

Cloud Composer synchronise les dossiers dags/ et plugins/ de manière unidirectionnelle. La synchronisation unidirectionnelle signifie que les modifications locales les dossiers d'un composant Airflow sont écrasés. data/ et logs/ les dossiers sont synchronisés de manière bidirectionnelle.

Important : Le contenu du dossier data/ est synchronisé avec les planificateurs et les nœuds de calcul Airflow. Ce dossier n'est pas synchronisé avec Airflow ou le serveur Web. Appliquer les suggestions des limitations connues de la synchronisation vers le serveur Web Airflow.

La synchronisation des données est cohérente à terme. Pour envoyer des messages d'un opérateur à un autre, utilisez XComs.

Remarques relatives à la capacité

Les données des dossiers dags/, plugins/ et data/ sont synchronisées avec Airflow programmeurs et nœuds de calcul.

Le contenu du dossier plugins/ est synchronisé avec le serveur Web Airflow.

Plus ces dossiers contiennent de données, plus l'espace occupé est important. dans le stockage local des composants Airflow. Enregistrer trop de données dans dags/ et plugins/ peuvent perturber vos opérations et entraîner des problèmes tels que:

• Un nœud de calcul ou un planificateur manque de stockage local et est supprimé, car d'espace insuffisant sur le disque local du composant.

• Synchronisation des fichiers des dossiers dags/ et plugins/ avec les nœuds de calcul et les planificateurs prend beaucoup de temps.

• Synchronisation des fichiers des dossiers dags/ et plugins/ avec les nœuds de calcul et les planificateurs devient impossible. Par exemple, si vous stockez un fichier de 2 Go dans le répertoire dags/, mais le disque local d'un nœud de calcul Airflow ne peut peut accueillir 1 Go. Pendant la synchronisation, le nœud de calcul manque d'espace le stockage et la synchronisation ne peuvent pas aboutir.

Dossiers DAG et plug-ins

Pour éviter les échecs d'exécution des DAG, stockez vos DAG, plug-ins et modules Python dans le fichier Dossiers dags/ ou plugins/, même si vos modules Python ne contiennent pas de DAG ou plug-ins.

Par exemple, vous utilisez un DataFlowPythonOperator qui fait référence à un py_file. pipeline Dataflow. Ce py_file ne contient pas de DAG ni de plug-ins, mais vous devez tout de même le stocker dans le dossier dags/ ou plugins/.

Dossier de données

Important :En général, le contenu du dossier data/ n'est pas synchronisé. aux composants Airflow par défaut.

Dans certains cas, certains fichiers du dossier data/ sont avec un composant Airflow spécifique. Par exemple, lorsque Cloud Composer tente de lire un fichier donné pour la première fois lors des opérations suivantes :

• Analyse du DAG : lorsqu'un fichier est lu pour la première fois lors de l'analyse du DAG, Cloud Composer le synchronise avec le planificateur qui analyse le DAG.

• Exécution du DAG: lorsqu'un fichier est lu pour la première fois pendant l'exécution du DAG, Cloud Composer le synchronise avec le nœud de calcul qui exécute l'exécution.

Les composants Airflow disposent d'un espace de stockage local limité. Pensez donc à supprimer les fichiers téléchargés pour libérer de l'espace disque dans vos composants. Notez que les commandes l'espace de stockage peut aussi augmenter temporairement si vous avez des tâches simultanées télécharger le même fichier sur un seul nœud de calcul Airflow.

Remarque : Ne placez pas les modules Python requis lors de l'analyse du DAG dans le dossier data/. Cela peut avoir un impact négatif sur l'analyse des DAG et la latence de planification des tâches.

Dossier des journaux

Le dossier logs/ est synchronisé à partir des nœuds de calcul Airflow avec le bucket de l'environnement à l'aide de l'API Cloud Storage.

Le quota de l'API Cloud Storage est calculé en fonction de la quantité de données déplacées. le nombre de tâches Airflow exécutées par votre système peut augmenter votre utilisation de l'API Cloud Storage: plus vous exécutez de tâches, plus votre journal .

Remarque :Dans de rares cas, vous pouvez augmenter les niveaux de journalisation de INFO à DEBUG, comme décrit dans la section Dépanner les DAG. Notez que ces opérations génèrent des journaux supplémentaires et peuvent augmenter la synchronisation et le stockage des coûts.

Synchronisation avec le serveur Web

Le dossier plugins/ est automatiquement synchronisé avec le serveur Web. Ainsi, les plug-ins peuvent être chargés par l'interface utilisateur d'Airflow. Dans Cloud Composer 3, vous pouvez désactiver et activer les plug-ins du serveur Web à la demande, sans supprimer de fichiers du bucket de l'environnement.

Important : Le contenu du dossier data/ n'est pas synchronisé avec le serveur Web.

Étape suivante

• Afficher les journaux
• Gérer les DAG
• Écrire des DAG