Guides d'utilisation

Créer des environnements

• Activer et désactiver le service Cloud Composer

  Activez et désactivez le service Cloud Composer dans votre projet.

• Créer des environnements

  Créez des environnements Cloud Composer à l'aide de Google Cloud Console, gcloud, l'API Cloud Composer et Terraform.

Configurer la mise en réseau

• Configurer un réseau IP privé

  Configurez le réseau de votre projet pour les environnements Cloud Composer d'adresse IP privée.

• Configurer un réseau VPC partagé

  Configurez la mise en réseau des projets hôte et de service pour les environnements Cloud Composer.

• Configurez VPC Service Controls

  Créez des environnements dans un périmètre VPC Service Controls.

• Configurer des réseaux à grande échelle pour les environnements Cloud Composer

  Organiser des réseaux à grande échelle pour les environnements Cloud Composer

• Configurer des plages d'adresses IP publiques utilisées en mode privé

  Utilisez des plages d'adresses IP publiques utilisées en mode privé dans vos environnements.

• Activer l'agent de masquage d'adresses IP

  Utilisez le masquage d'adresses IP avec votre environnement.

Configurer des environnements

• Définir des variables d'environnement

  Définissez les variables d'environnement disponibles pour les processus de planification, de nœud de calcul et de serveur Web Apache Airflow.

• Remplacer les options de configuration Airflow

  Remplacez les options de configuration Airflow pour ajuster l'instance Airflow en fonction de vos besoins.

• Faire évoluer des environnements

  Modifiez les paramètres d'évolutivité et de performances de votre environnement.

• Gérer les connexions Airflow

  Stockez les informations de connexion utilisées par Airflow pour communiquer avec d'autres API, telles que des projets Google Cloud, d'autres fournisseurs cloud ou des services tiers.

• Activer et désactiver la sérialisation des DAG

  Configurez le programmeur Airflow pour traiter les fichiers DAG avant leur envoi au serveur Web.

• Spécifier des intervalles de maintenance

  Configurez des intervalles de temps pendant lesquels Cloud Composer peut effectuer des opérations de maintenance pour votre environnement.

• Configurer les notifications par e-mail

  Configurez les services SMTP pour votre environnement.

• Gérer les libellés d'environnement et répartir les coûts liés à l'environnement

  Attribuer des libellés à vos environnements, puis ventiler les coûts de facturation en fonction de ces libellés.

Configurer la sécurité et le contrôle des accès

• Contrôle des accès avec IAM

  Attribuez des rôles et des autorisations pour les comptes utilisateur et de service qui fonctionnent avec Cloud Composer.

• Contrôle des accès à l'interface utilisateur Airflow

  Attribuez des autorisations pour les actions disponibles dans l'interface utilisateur Airflow à l'aide du contrôle des accès de l'interface utilisateur Airflow (Airflow Role-Based Access Control ou Airflow RBAC).

• Utiliser les clés de chiffrement gérées par le client

  Chiffrez les données de votre environnement avec des clés de chiffrement gérées par le client (CMEK).

• Configurer des restrictions d'emplacement des ressources

  Configurez des restrictions d'emplacement des ressources afin que Cloud Composer stocke vos données dans les emplacements que vous spécifiez.

• Configurer Secret Manager

  Stockez les données sensibles dans Secret Manager et accédez-y à partir de votre environnement.

Mettre à jour, mettre à niveau et supprimer des environnements

• Mettre à jour les environnements

  Modifiez la configuration de votre environnement.

• Mise à niveau des environnements

  Mettre à niveau votre environnement vers des versions ultérieures de Cloud Composer et Airflow

• Supprimer des environnements

  Supprimez votre environnement.

• Enregistrer et charger des instantanés d'environnement

  Enregistrez et chargez l'état de votre environnement à l'aide d'instantanés d'environnement.

• Nettoyer la base de données Airflow

  Supprimer les anciennes entrées de la base de données Airflow afin d'en réduire la taille.

• Migrer des environnements vers Airflow 2

  Transférez les DAG, les données et la configuration à partir de votre version Airflow 1.10 existante*. vers les environnements Airflow 2.

• Migrer des environnements vers Cloud Composer 2 (depuis Airflow 2)

  Transférez des DAG, des données et des configurations depuis votre environnement Cloud Composer 1 existant avec Airflow 2 vers un environnement Cloud Composer 2.

• Migrer des environnements vers Cloud Composer 2 (à partir d'Airflow 2) à l'aide d'instantanés

  Transférez les DAG, les données et la configuration de votre environnement Cloud Composer existant avec Airflow 2 vers un environnement Cloud Composer 2 à l'aide d'instantanés d'environnement.

• Migrer des environnements vers Cloud Composer 2 (depuis Airflow 1)

  Transférez des DAG, des données et des configurations depuis votre environnement Cloud Composer 1 existant avec Airflow 1 vers un environnement Cloud Composer 2.

• Migrer des environnements vers Cloud Composer 2 (à partir d'Airflow 1) à l'aide d'instantanés

  Transférez les DAG, les données et la configuration de votre environnement Cloud Composer 1 existant avec Airflow 1 vers un environnement Cloud Composer 2 à l'aide d'instantanés d'environnement.

Environnements d'accès

• Interface de ligne de commande Airflow

  Exécuter des commandes de CLI Airflow dans votre environnement

• Interface Web Airflow

  Accédez à l'interface utilisateur d'Airflow pour votre environnement.

• API REST Airflow

  Envoyez des requêtes à l'API REST Airflow.

• Base de données Airflow

  Accédez à la base de données Airflow et exécutez des requêtes.

Gérer les DAG

• Écrire des DAG

  Écrire des fichiers de définition DAG

• Ajouter et mettre à jour des DAG

  Importez des DAG dans le bucket de votre environnement.

• Déclencher des DAG

  Déclenchez des DAG comme prévu, manuellement et à l'aide d'autres méthodes.

• Importer des opérateurs provenant de packages de fournisseurs de rétroportages

  Utilisez les versions les plus récentes des opérateurs dans vos environnements Airflow 1.10.* en les important à partir de packages d'opérateurs de rétroportage.

• Utiliser KubernetesPodOperator

  Exécutez des pods dans le cluster de votre environnement à l'aide de KubernetesPodOperator

• Utiliser les opérateurs GKE

  Gérez les clusters et y exécutez des pods à l'aide d'opérateurs GKE.

• Regrouper des tâches dans des DAG

  Regroupez les tâches dans vos DAG à l'aide de différentes méthodes fournies par Airflow.

• Déclencher des DAG avec Cloud Functions

  Déclencher des DAG dans votre environnement à l'aide de Cloud Functions

• Installer des plug-ins personnalisés

  Installez des plug-ins personnalisés dans votre environnement Cloud Composer.

• Installer des dépendances Python

  Installez les packages Python dans votre environnement.

• Tester les DAG

  Recherchez des erreurs dans vos DAG, mettez-les à jour et testez les DAG déployés.

Surveiller des environnements

• Afficher les journaux Airflow

  Accédez aux journaux Airflow de votre environnement et affichez-les.

• Consulter les journaux d'audit

  Activer et afficher les journaux d'audit pour Cloud Composer

• Surveiller des environnements

  Accédez au tableau de bord de surveillance de votre environnement et utilisez-le.

• Surveiller des environnements avec Monitoring

  Affichez les métriques de votre environnement dans Monitoring et accédez aux journaux de l'environnement dans Cloud Logging.