Utiliser le contrôle des accès de l'interface utilisateur d'Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Preview — Cloud Composer 3

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Cette page décrit les différents mécanismes de contrôle des accès pour l'interface utilisateur d'Airflow et l'interface utilisateur du DAG. Vous pouvez utiliser ces mécanismes, en plus du contrôle des accès fournies par IAM, pour séparer les utilisateurs Interface utilisateur d'Airflow et de DAG de votre environnement

Présentation du contrôle des accès à l'interface utilisateur d'Airflow dans Cloud Composer

L'accès à l'interface utilisateur d'Airflow et à l'interface utilisateur du DAG, ainsi que la visibilité des données et des opérations dans ces interfaces utilisateur, sont contrôlés à deux niveaux dans Cloud Composer :

1. L'accès à l'UI Airflow et à l'UI du DAG dans Cloud Composer est contrôlés par IAM.

   Si un compte ne dispose pas d'un rôle permettant de consulter les environnements Cloud Composer dans votre projet, l'interface utilisateur d'Airflow et l'interface utilisateur du DAG ne sont pas disponibles.

   IAM ne fournit aucun contrôle d'autorisation supplémentaire dans l'interface utilisateur d'Airflow ni dans l'interface utilisateur du DAG.

2. Le modèle de contrôle des accès Apache Airflow permet réduire la visibilité dans les interfaces utilisateur Airflow et DAG en fonction du rôle utilisateur.

   Le contrôle des accès Apache Airflow est une fonctionnalité d'Airflow qui propose un modèle d'utilisateurs, de rôles et d'autorisations différent de celui d'IAM.

Avertissement :Lorsque vous révoquez un rôle IAM qui accorde l'accès à l'interface utilisateur d'Airflow à un utilisateur, l'autorisation précédemment attribuée peut mis en cache dans le navigateur Web pendant 12 heures au maximum.

Avertissement :Le contrôle d'accès à l'interface utilisateur Airflow contrôle uniquement la visibilité. et l'accès dans l'UI d'Airflow, l'UI du DAG et l'API stable dans Airflow 2. Le contrôle d'accès à l'interface utilisateur Airflow ne s'applique pas aux autres interfaces qui sont disponibles pour les utilisateurs, comme les commandes CLI Airflow. Ce modèle n'est pas appliqué dans le code du DAG et des tâches. Par exemple, vous pouvez déployer un DAG qui modifie les rôles Airflow et les attributions d'utilisateurs pour ces éléments rôles.

Le contrôle des accès Apache Airflow utilise des autorisations basées sur les ressources. Tous les utilisateurs Airflow disposant d'un rôle Airflow spécifique obtiennent les autorisations de ce rôle. Par exemple : Utilisateurs Airflow disposant d'un rôle doté de l'autorisation can delete on Connections peut supprimer des connexions sur la page "Connexions" de l'interface utilisateur Airflow.

Vous pouvez également attribuer Autorisations au niveau du DAG pour les DAG individuels Pour Ainsi, seuls les utilisateurs disposant d'un rôle Airflow spécifique peuvent voir un DAG donné. dans l'interface utilisateur d'Airflow. Dans Cloud Composer, vous pouvez attribuer automatiquement des autorisations au niveau du DAG, en fonction du sous-dossier dans lequel se trouve le fichier DAG dans le bucket de l'environnement.

Si vous souhaitez configurer l'accès pour des identités externes via fédération des identités des employés, d'abord accorder l'accès à votre environnement dans IAM, comme décrit dans Accorder des rôles IAM à des identités externes . Vous pouvez ensuite utiliser le contrôle des accès de l'interface utilisateur d'Airflow comme d'habitude. Les utilisateurs Airflow pour les identités externes utilisent leur identifiant principal au lieu de l'adresse e-mail, et des valeurs différentes sont renseignées dans d'autres champs d'enregistrement utilisateur que les comptes Google.

Gérer les rôles Airflow et les paramètres de contrôle des accès

Les utilisateurs disposant du rôle Administrateur (ou équivalent) peuvent afficher et modifier les paramètres de contrôle d'accès dans l'interface utilisateur d'Airflow.

Dans l'interface utilisateur d'Airflow, vous pouvez configurer les paramètres de contrôle des accès à partir du menu Sécurité. Pour en savoir plus sur le contrôle des accès les autorisations disponibles et les rôles par défaut, consultez les Documentation sur le contrôle des accès à l'interface utilisateur Airflow

Airflow gère sa propre liste d'utilisateurs. Les utilisateurs disposant du rôle Administrateur (ou d'un rôle équivalent) peuvent afficher la liste des utilisateurs qui ont ouvert l'interface utilisateur Airflow d'un environnement et qui ont été enregistrés dans Airflow. Cette liste inclut également les utilisateurs préenregistrés manuellement par un administrateur, comme décrit dans la section suivante.

Enregistrer des utilisateurs dans l'interface utilisateur d'Airflow

Les nouveaux utilisateurs sont automatiquement enregistrés lorsqu'ils ouvrent l'interface utilisateur Airflow d'un Cloud Composer pour la première fois.

Lors de l'inscription, les utilisateurs se voient attribuer le rôle spécifié dans le [webserver]rbac_user_registration_role : option de configuration Airflow. Vous pouvez contrôler le rôle des utilisateurs nouvellement inscrits en remplaçant ce paramètre ; Option de configuration Airflow avec une valeur différente.

S'il n'est pas spécifié, le rôle d'enregistrement par défaut est Op dans les environnements avec Airflow 2.

Les étapes suivantes sont recommandées pour créer une configuration de rôle de base pour l'interface utilisateur d'Airflow:

1. Les administrateurs d'environnement ouvrent l'interface utilisateur Airflow pour le nouvel élément environnement.

2. Attribuer le rôle Admin aux comptes administrateur. Le rôle par défaut pour les nouveaux comptes dans les environnements avec Airflow 2 est Op. Pour attribuer le rôle Admin, exécutez la commande de CLI Airflow suivante avec la CLI gcloud :

     gcloud composer environments run ENVIRONMENT_NAME \
       --location LOCATION \
       users add-role -- -e USER_EMAIL -r Admin
   

   Remplacez :

   • ENVIRONMENT_NAME par le nom de l'environnement.
   • LOCATION par la région dans laquelle se trouve l'environnement.
   • USER_EMAIL par l'adresse e-mail d'un compte utilisateur.

3. Les administrateurs peuvent désormais configurer le contrôle des accès pour les nouveaux utilisateurs, ce qui inclut l'attribution du rôle Admin à d'autres utilisateurs.

Préenregistrer des utilisateurs

Les utilisateurs sont automatiquement enregistrés avec les ID numériques des comptes utilisateur Google (et non les adresses e-mail) comme nom d'utilisateur. Vous pouvez également préenregistrer manuellement un utilisateur et lui attribuer un rôle en ajoutant un enregistrement utilisateur avec le champ de nom d'utilisateur défini sur l'adresse e-mail principale de l'utilisateur. Lorsqu'un utilisateur dont l'adresse e-mail correspond à un enregistrement se connecte pour la première fois à l'interface utilisateur d'Airflow, le nom d'utilisateur est remplacé par l'ID d'utilisateur actuellement associé à son adresse e-mail. La relation entre Identités Google (adresses e-mail) et comptes utilisateur (ID utilisateur) n'est pas fixe. Les groupes Google ne peuvent pas être préinscrits.

Pour préinscrire des utilisateurs, vous pouvez utiliser l'interface utilisateur Airflow ou exécuter une commande de CLI Airflow. via la Google Cloud CLI.

Pour préenregistrer un utilisateur avec un rôle personnalisé via Google Cloud CLI, exécutez la commande de CLI Airflow suivante :

gcloud composer environments run ENVIRONMENT_NAME \
  --location LOCATION \
  users create -- \
  -r ROLE \
  -e USER_EMAIL \
  -u USER_EMAIL \
  -f FIRST_NAME \
  -l LAST_NAME \
  --use-random-password # The password value is required, but is not used

Remplacez les éléments suivants :

• ENVIRONMENT_NAME: nom de l'environnement
• LOCATION : région où se trouve l'environnement
• ROLE: rôle Airflow pour l'utilisateur (par exemple, Op)
• USER_EMAIL: adresse e-mail de l'utilisateur
• FIRST_NAME et LAST_NAME: prénom et nom de l'utilisateur

Exemple :

gcloud composer environments run example-environment \
  --location us-central1 \
  users create -- \
  -r Op \
  -e "[e-mail]" \
  -u "[e-mail]" \
  -f "Name" \
  -l "Surname" \
  --use-random-password

Supprimer des comptes utilisateur

La suppression d'un utilisateur d'Airflow ne révoque pas son accès, car il sont automatiquement réenregistrés la prochaine fois qu'ils accéderont à l'interface utilisateur d'Airflow. À révoquez l'accès à l'ensemble de l'interface utilisateur d'Airflow, supprimez composer.environments.get l'autorisation de leur règle d'autorisation pour votre projet.

Vous pouvez aussi définir le rôle de l'utilisateur sur "Public", ce qui permet de conserver l'inscription de l'utilisateur, mais supprime toutes les autorisations pour l'interface utilisateur Airflow.

Configurer automatiquement des autorisations au niveau du DAG

La fonctionnalité d'enregistrement des rôles par dossier crée automatiquement un rôle Airflow personnalisé pour chaque sous-dossier directement dans le dossier /dags et accorde à ce rôle un accès au niveau du DAG à tous les DAG dont le fichier source est stocké dans ce sous-dossier respectif. Cela simplifie la gestion des rôles Airflow personnalisés et de leur accès aux DAG.

Fonctionnement de l'enregistrement des rôles par dossier

L'enregistrement des rôles par dossier est un moyen automatisé de configurer les rôles et leurs autorisations au niveau du DAG. Par conséquent, il peut provoquer des conflits avec d'autres mécanismes Airflow qui accordent des autorisations au niveau du DAG :

• Attribuer manuellement des autorisations de DAG à des rôles
• Affecter des DAG à des rôles via la propriété access_control d'un DAG

Pour éviter de tels conflits, l'activation de l'enregistrement des rôles par dossier modifie également le comportement de ces mécanismes.

Dans Airflow 2:

• Vous pouvez accorder à un DAG l'accès à des rôles via la propriété access_control définie dans le code source du DAG.
• Accorder manuellement des autorisations DAG (via l'interface utilisateur d'Airflow ou gcloud CLI) peuvent provoquer des conflits. Par exemple, si vous accorder manuellement des autorisations au niveau du DAG à un rôle par dossier, les autorisations peuvent être supprimées ou remplacées lorsque le processeur DAG synchronise un DAG. Nous vous recommandons de ne pas accorder manuellement les autorisations liées aux DAG.
• Les rôles ont une union d'autorisations d'accès au DAG enregistrées via l'enregistrement des rôles par dossier et définies dans la propriété access_control du DAG.

Avertissement :La fonctionnalité d'enregistrement des rôles par dossier contrôle uniquement l'interface utilisateur d'Airflow. pour les DAG, et rien d'autre. Il ne contrôle pas les autres autorisations Airflow telles que l'accès aux connexions, aux variables, etc. Il ne contrôle pas l'accès aux commandes de la CLI gcloud. Il ne contrôle pas l'accès au bucket de l'environnement.

Les DAG situés directement dans le dossier /dags de premier niveau ne sont pas automatiquement attribués à un rôle par dossier. Ils ne sont accessibles qu'avec un rôle par dossier. D'autres rôles tels qu'administrateur, opérateur, utilisateur ou tout rôle personnalisé auquel des autorisations sont accordées peuvent y accéder via l'interface utilisateur d'Airflow et l'interface utilisateur du DAG.

Si vous importez des DAG dans des sous-dossiers dont les noms correspondent à des rôles Airflow intégrés et à des rôles créés par Cloud Composer, les autorisations des DAG dans ces sous-dossiers sont toujours attribuées à ces rôles. Par exemple, importer un DAG dans le dossier /dags/Admin accorde des autorisations à ce DAG au rôle Administrateur. Les rôles Airflow intégrés incluent les rôles Administrateur, Opération, Utilisateur, Lecteur et Public. Cloud Composer crée les NoDags et UserNoDags après le paramètre "Per-folder" La fonctionnalité d'enregistrement des rôles est activée.

Airflow effectue l'enregistrement des rôles par dossier lors du traitement des DAG dans le programmeur Airflow. Si votre environnement comporte plus d'une centaine de DAG, vous constaterez peut-être une augmentation du temps d'analyse des DAG. Dans ce cas, nous vous recommandons utiliser davantage de mémoire et de processeur pour les programmeurs. Toi permet aussi d'augmenter la valeur de la classe Airflow [scheduler]parsing_processes .

Attribuer automatiquement des DAG aux rôles par dossier

Pour attribuer automatiquement des DAG à des rôles par dossier:

1. Remplacez l'option de configuration Airflow suivante:

   Section	Clé	Valeur
   webserver	rbac_autoregister_per_folder_roles	True

2. Remplacez le rôle d'enregistrement de l'utilisateur par un rôle sans accès aux DAG. De cette manière, les nouveaux utilisateurs n'ont accès à aucun DAG tant qu'un administrateur n'a pas attribué à leurs comptes un rôle disposant d'autorisations pour des DAG spécifiques.

   UserNoDags est un rôle créé par Cloud Composer uniquement lorsque la fonctionnalité d'enregistrement des rôles par dossier est activée. Elle équivaut à la fonction mais sans accès aux DAG.

   Ignorez l'option de configuration Airflow suivante :

   Section	Clé	Valeur
   webserver	rbac_user_registration_role	UserNoDags

3. Assurez-vous que les utilisateurs sont enregistrés dans Airflow.

4. Attribuez des rôles aux utilisateurs à l'aide de l'une des approches suivantes :

   • Laissez Airflow créer automatiquement des rôles basés sur les sous-dossiers des DAG, puis attribuez ces rôles à des utilisateurs.
   • Précréer des rôles vides pour les sous-dossiers des DAG, avec des noms de rôles correspondants le nom d'un sous-dossier, puis attribuez des utilisateurs à ces rôles. Par exemple : Pour le dossier /dags/CustomFolder, créez un rôle nommé CustomFolder
   Attention : Un utilisateur qui a créé un dossier avec des DAG ne reçoit pas automatiquement le rôle correspondant par dossier. Par exemple, si un utilisateur crée un nommé CustomFolder, son compte ne reçoit pas l'objet CustomFolder rôle de ressource. Un administrateur doit accorder ce rôle dans l'interface utilisateur d'Airflow.

5. Importez des DAG dans des sous-dossiers dont les noms correspondent aux rôles attribués aux utilisateurs. Ces sous-dossiers doivent se trouver dans le dossier /dags du sous-dossier bucket de l'environnement. Airflow ajoute des autorisations aux DAG afin que seuls les utilisateurs disposant du rôle correspondant puissent y accéder via les interfaces utilisateur Airflow et DAG.

Configurer manuellement les autorisations au niveau du DAG

Vous pouvez configurer des autorisations au niveau du DAG pour les rôles personnalisés afin de spécifier les DAG qui sont visibles pour des groupes d'utilisateurs spécifiques.

Pour configurer des autorisations au niveau du DAG dans l'interface utilisateur d'Airflow :

1. L'administrateur crée des rôles vides pour regrouper les DAG.
2. L'administrateur attribue des rôles appropriés aux utilisateurs.
3. L'administrateur ou les utilisateurs attribuent les DAG aux rôles.
4. Dans l'interface utilisateur d'Airflow, les utilisateurs ne peuvent voir que les DAG attribués à leur groupe.

Les DAG peuvent être attribués à des rôles via les propriétés du DAG Interface utilisateur d'Airflow

Attribuer des DAG à des rôles dans l'interface utilisateur d'Airflow

Un administrateur peut attribuer les autorisations requises au niveau du DAG aux rôles appropriés dans l'interface utilisateur d'Airflow.

Cette opération n'est pas possible dans l'interface utilisateur du DAG.

Attribuer des DAG aux rôles en utilisant les propriétés de DAG

Vous pouvez définir le paramètre de DAG access_control sur un DAG, en spécifiant le ou les rôles de regroupement auxquels le DAG est attribué.

Le programmeur applique des autorisations au niveau du DAG lorsqu'il analyse un DAG.

dag = DAG(
  access_control={
    'DagGroup': {'can_edit', 'can_read'},
  },
  ...
  )

Mapper les journaux d'audit dans l'interface utilisateur d'Airflow avec les utilisateurs

Les journaux d'audit dans l'interface utilisateur d'Airflow sont mappés sur les ID numériques des comptes utilisateur Google. Par exemple, si un utilisateur met en pause un DAG, une entrée est ajoutée aux journaux.

Vous pouvez afficher les journaux d'audit sur la page Browse > Audit Logs (Parcourir > Journaux d'audit) de l'interface utilisateur d'Airflow.

Figure 1. Entrée sur la page "Journaux d'audit" dans Airflow 2

Une entrée type indique un identifiant numérique dans le champ Owner (Propriétaire) : accounts.google.com:NUMERIC_ID Vous pouvez mapper des ID numériques aux adresses e-mail des utilisateurs sur la page Sécurité > Répertorier les utilisateurs. Cette page est disponible pour utilisateurs disposant du rôle Admin.

Notez que la relation entre Identités Google (adresses e-mail) et comptes utilisateur (User-ID) n'est pas fixe.

Étape suivante

• Remplacer les options de configuration Airflow
• Présentation de la sécurité
• Contrôle des accès à Cloud Composer