Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Cette page décrit les différents mécanismes de contrôle des accès pour l'interface utilisateur d'Airflow et l'interface utilisateur du DAG. Vous pouvez utiliser ces mécanismes, en plus du contrôle des accès fournies par IAM, pour séparer les utilisateurs Interface utilisateur d'Airflow et de DAG de votre environnement
Présentation du contrôle des accès à l'interface utilisateur d'Airflow dans Cloud Composer
L'accès à l'interface utilisateur d'Airflow et à l'interface utilisateur du DAG, ainsi que la visibilité des données et des opérations dans ces interfaces utilisateur, sont contrôlés à deux niveaux dans Cloud Composer :
L'accès à l'UI Airflow et à l'UI du DAG dans Cloud Composer est contrôlés par IAM.
Si un compte ne dispose pas d'un rôle permettant de consulter les environnements Cloud Composer dans votre projet, l'interface utilisateur d'Airflow et l'interface utilisateur du DAG ne sont pas disponibles.
IAM ne fournit pas d'API le contrôle des autorisations dans l'UI d'Airflow ou de DAG.
Le modèle de contrôle des accès Apache Airflow permet de réduire la visibilité dans l'interface utilisateur d'Airflow et de DAG en fonction du rôle de l'utilisateur.
Le contrôle des accès Apache Airflow est une fonctionnalité d'Airflow qui propose un modèle d'utilisateurs, de rôles et d'autorisations différent de celui d'IAM.
Le contrôle des accès Apache Airflow utilise des autorisations basées sur les ressources. Tous les utilisateurs Airflow disposant d'un rôle Airflow spécifique obtiennent les autorisations de ce rôle. Par exemple :
Utilisateurs Airflow disposant d'un rôle doté de l'autorisation can delete on Connections
peut supprimer des connexions sur la page "Connexions" de l'interface utilisateur Airflow.
Vous pouvez également attribuer Autorisations au niveau du DAG pour les DAG individuels Pour Ainsi, seuls les utilisateurs disposant d'un rôle Airflow spécifique peuvent voir un DAG donné. dans l'interface utilisateur d'Airflow. Dans Cloud Composer, vous pouvez attribuer automatiquement des autorisations au niveau du DAG, en fonction du sous-dossier dans lequel se trouve le fichier DAG dans le bucket de l'environnement.
Avant de commencer
L'interface utilisateur d'Airflow avec contrôle d'accès est disponible pour Cloud Composer version 1.13.4 ou ultérieure, et Airflow 1.10.10 et versions ultérieures. L'environnement doit également exécuter Python 3.
L'enregistrement des rôles par dossier est disponible dans Cloud Composer 1.18.12 et versions ultérieures dans Airflow 2 et dans Cloud Composer 1.13.4 et versions ultérieures dans Airflow 1.
Activer le contrôle des accès à l'interface utilisateur d'Airflow
Airflow 2
L'interface utilisateur d'Airflow avec contrôle des accès est toujours activée dans Airflow 2.
Airflow 1
Pour activer l'interface utilisateur d'Airflow avec contrôle d'accès, remplacez la valeur l'option de configuration Airflow suivante:
Section | Clé | Valeur |
---|---|---|
webserver |
rbac |
True |
Vous pouvez le faire pour un environnement existant ou lors de la création d'un environnement.
Avec cette configuration, votre environnement exécute l'interface utilisateur Airflow avec le contrôle des accès plutôt que l'interface utilisateur Airflow classique.
Gérer les rôles Airflow et les paramètres de contrôle des accès
Les utilisateurs disposant du rôle Administrateur (ou équivalent) peuvent afficher et modifier le contrôle des accès dans l'interface utilisateur d'Airflow.
Dans l'interface utilisateur d'Airflow, vous pouvez configurer les paramètres de contrôle des accès le menu Sécurité. Pour en savoir plus sur le contrôle des accès les autorisations disponibles et les rôles par défaut, consultez les Documentation sur le contrôle des accès à l'interface utilisateur Airflow
Airflow 1 utilise le rôle Utilisateur comme modèle pour tous les rôles personnalisés. Airflow
copie en permanence les autorisations du rôle utilisateur vers tous les rôles personnalisés,
autorisations pour all_dags
.
Airflow gère sa propre liste d'utilisateurs. Les utilisateurs disposant du rôle Administrateur (ou d'un rôle équivalent) peuvent afficher la liste des utilisateurs qui ont ouvert l'interface utilisateur Airflow d'un environnement et qui ont été enregistrés dans Airflow. Cette liste inclut également les utilisateurs préenregistrés manuellement par un administrateur, comme décrit dans la section suivante.
Enregistrer des utilisateurs dans l'interface utilisateur Airflow
Les nouveaux utilisateurs sont automatiquement enregistrés lorsqu'ils ouvrent pour la première fois l'interface utilisateur Airflow d'un environnement Cloud Composer.
Lors de l'enregistrement, le rôle spécifié dans l'option de configuration Airflow [webserver]rbac_user_registration_role
est attribué aux utilisateurs. Vous pouvez
contrôler le rôle des utilisateurs nouvellement inscrits en remplaçant ce paramètre ;
Option de configuration Airflow avec une valeur différente.
S'il n'est pas spécifié, le rôle d'enregistrement par défaut est Op
dans les environnements avec
Airflow 2.
Dans les environnements Airflow 1.10.*, le rôle d'enregistrement par défaut est Admin
.
Les étapes suivantes sont recommandées pour créer une configuration de rôle de base pour l'interface utilisateur d'Airflow:
Airflow 2
Les administrateurs de l'environnement ouvrent l'interface utilisateur Airflow pour le nouvel environnement.
Attribuer le rôle
Admin
aux comptes administrateur. Le rôle par défaut pour les nouveaux comptes dans les environnements avec Airflow 2 estOp
. Pour attribuer le rôleAdmin
, exécutez la commande Commande Airflow CLI avec gcloud CLI:gcloud composer environments run ENVIRONMENT_NAME \ --location LOCATION \ users add-role -- -e USER_EMAIL -r Admin
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région où se trouve l'environnement.USER_EMAIL
par l'adresse e-mail d'un compte utilisateur.
Les administrateurs peuvent désormais configurer le contrôle des accès pour les nouveaux utilisateurs, ce qui inclut l'attribution du rôle
Admin
à d'autres utilisateurs.
Airflow 1
Les administrateurs d'environnement ouvrent l'interface utilisateur Airflow pour le nouvel élément où ils sont automatiquement enregistrés auprès de
Admin
rôle de ressource.Remplacez l'option de configuration Airflow suivante par le rôle requis pour les nouveaux utilisateurs. Par exemple,
User
.Section Clé Valeur webserver
rbac_user_registration_role
User
ou un autre rôle non-administrateurLes administrateurs peuvent désormais configurer le contrôle des accès à l'interface utilisateur d'Airflow pour les nouveaux utilisateurs, y compris en attribuant le rôle
Admin
à d'autres utilisateurs.
Préenregistrer des utilisateurs
Les utilisateurs sont automatiquement enregistrés avec les ID numériques des comptes utilisateur Google (et non les adresses e-mail) comme nom d'utilisateur. Vous pouvez également préenregistrer manuellement un utilisateur et lui attribuer un rôle en ajoutant un enregistrement utilisateur avec le champ de nom d'utilisateur défini sur l'adresse e-mail principale de l'utilisateur. Lorsqu'un utilisateur dont l'adresse e-mail correspond à un enregistrement se connecte pour la première fois à l'interface utilisateur d'Airflow, le nom d'utilisateur est remplacé par l'ID d'utilisateur actuellement associé à son adresse e-mail. La relation entre les identités Google (adresses e-mail) et les comptes utilisateur (ID utilisateur) n'est pas fixe. Les groupes Google ne peuvent pas être préinscrits.
Pour préinscrire des utilisateurs, vous pouvez utiliser l'interface utilisateur Airflow ou exécuter une commande de CLI Airflow. via la Google Cloud CLI.
Pour préenregistrer un utilisateur avec un rôle personnalisé via Google Cloud CLI, exécutez la commande de CLI Airflow suivante :
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
users create -- \
-r ROLE \
-e USER_EMAIL \
-u USER_EMAIL \
-f FIRST_NAME \
-l LAST_NAME \
--use-random-password # The password value is required, but is not used
Remplacez les éléments suivants :
ENVIRONMENT_NAME
: nom de l'environnementLOCATION
: région où se trouve l'environnementROLE
: rôle Airflow pour l'utilisateur (par exemple,Op
)USER_EMAIL
: adresse e-mail de l'utilisateurFIRST_NAME
etLAST_NAME
: prénom et nom de l'utilisateur
Exemple :
gcloud composer environments run example-environment \
--location us-central1 \
users create -- \
-r Op \
-e "example-user@example.com" \
-u "example-user@example.com" \
-f "Name" \
-l "Surname" \
--use-random-password
Supprimer des comptes utilisateur
La suppression d'un utilisateur d'Airflow ne révoque pas son accès, car il
sont automatiquement réenregistrés la prochaine fois qu'ils accéderont à l'interface utilisateur d'Airflow. À
révoquez l'accès à l'ensemble de l'interface utilisateur d'Airflow, supprimez composer.environments.get
l'autorisation de leur règle d'autorisation pour votre projet.
Vous pouvez aussi définir le rôle de l'utilisateur sur "Public", ce qui permet de conserver l'inscription de l'utilisateur, mais supprime toutes les autorisations pour l'interface utilisateur Airflow.
Configurer automatiquement les autorisations au niveau du DAG
La fonctionnalité d'enregistrement des rôles par dossier crée automatiquement un
Rôle Airflow personnalisé pour chaque sous-dossier
directement dans le dossier /dags
et accorde à ce rôle un accès au niveau du DAG à tous
DAG dont le fichier source est stocké dans ce sous-dossier respectif. Ce
simplifie la gestion des rôles Airflow personnalisés et leur accès aux DAG.
Fonctionnement de l'enregistrement des rôles par dossier
L'enregistrement des rôles par dossier est un moyen automatisé de configurer les rôles et leurs autorisations au niveau du DAG. Par conséquent, elle peut entraîner des conflits avec d'autres mécanismes Airflow qui accordent des autorisations au niveau du DAG:
- Attribuez manuellement des autorisations DAG aux rôles.
- Affecter des DAG à des rôles via la propriété
access_control
d'un DAG
Pour éviter de tels conflits, l'activation de l'enregistrement des rôles par dossier modifie également le comportement de ces mécanismes.
Dans Airflow 1, la possibilité d'utiliser ces mécanismes est désactivée lorsque l'enregistrement des rôles par dossier est activé. Toutes les autorisations au niveau du DAG la gestion s’effectue uniquement via l’enregistrement des rôles par dossier.
Dans Airflow 2 :
- Vous pouvez accorder à un DAG l'accès à des rôles via la propriété
access_control
définie dans le code source du DAG. - L'octroi manuel d'autorisations DAG (via l'UI Airflow ou la CLI gcloud) peut entraîner des conflits. Par exemple, si vous accorder manuellement des autorisations au niveau du DAG à un rôle par dossier, les autorisations peuvent être supprimées ou remplacées lorsque le processeur DAG synchronise un DAG. Nous vous recommandons de ne pas accorder manuellement d'autorisations DAG.
- Les rôles possèdent une union d'autorisations d'accès au DAG enregistrées via les autorisations par dossier
Enregistrement des rôles et défini dans la propriété
access_control
de le DAG.
Les DAG situés directement dans le dossier /dags
de premier niveau ne sont pas attribués automatiquement
n'importe quel rôle par dossier. Ils ne sont accessibles qu'avec un rôle par dossier. D'autres rôles tels qu'administrateur, opérateur, utilisateur ou tout rôle personnalisé auquel des autorisations sont accordées peuvent y accéder via l'interface utilisateur d'Airflow et l'interface utilisateur du DAG.
Si vous importez des DAG dans des sous-dossiers dont les noms correspondent à des rôles Airflow intégrés et à des rôles créés par Cloud Composer, les autorisations des DAG dans ces sous-dossiers sont toujours attribuées à ces rôles. Par exemple, importer un DAG dans le dossier /dags/Admin
accorde des autorisations à ce DAG au rôle Administrateur. Les rôles Airflow intégrés incluent "Admin", "Op", "User", "Viewer" et "Public".
Cloud Composer crée des NoDags et des UserNoDags une fois la fonctionnalité d'enregistrement des rôles par dossier activée.
Airflow effectue l'enregistrement des rôles par dossier lorsqu'il traite les DAG dans le planificateur Airflow. S'il y a plus d'une centaine de DAG dans votre
vous verrez peut-être
d'augmentation du temps d'analyse des DAG
Dans ce cas, nous vous recommandons d'augmenter la valeur de [scheduler]max_threads
pour un environnement Airflow 1, ou [scheduler]parsing_processes
pour
Airflow 2.
Attribuer automatiquement des DAG aux rôles par dossier
Pour attribuer automatiquement des DAG à des rôles par dossier:
Ignorez l'option de configuration Airflow suivante :
Section Clé Valeur webserver
rbac_autoregister_per_folder_roles
True
Remplacez le rôle d'enregistrement des nouveaux utilisateurs par un rôle sans accès à aucun DAG. Ainsi, les nouveaux utilisateurs n'ont accès à aucun DAG tant qu'un administrateur attribue à ses comptes un rôle qui dispose d'autorisations pour des DAG spécifiques.
Les rôles "UserNoDags" et "NoDags" sont créés uniquement par Cloud Composer. lorsque la fonctionnalité d'enregistrement de rôles par dossier est activée. Il s'agit d'un l'équivalent du rôle "Utilisateur", mais sans accès à aucun DAG. Le rôle UserNoDags est créé dans Airflow 2, et le rôle NoDags est créé dans Airflow 1.
Dans Airflow 2, remplacez la configuration Airflow suivante. l'une des options suivantes:
Section Clé Valeur webserver
rbac_user_registration_role
UserNoDags
Dans Airflow 1, remplacez la configuration Airflow suivante. l'une des options suivantes:
Section Clé Valeur webserver
rbac_user_registration_role
NoDags
Assurez-vous que les utilisateurs sont enregistrés dans Airflow.
Attribuez des rôles aux utilisateurs à l'aide de l'une des approches suivantes :
- Laissez Airflow créer automatiquement des rôles en fonction des sous-dossiers des DAG, puis attribuez des utilisateurs à ces rôles.
- Précréer des rôles vides pour les sous-dossiers des DAG, avec des noms de rôles correspondants
le nom d'un sous-dossier, puis
attribuez des utilisateurs à ces rôles. Par exemple, pour le dossier
/dags/CustomFolder
, créez un rôle nomméCustomFolder
.
Importez des DAG dans des sous-dossiers dont le nom correspond aux rôles attribués aux utilisateurs. Ces sous-dossiers doivent se trouver dans le dossier
/dags
du sous-dossier bucket de l'environnement. Airflow ajoute des autorisations aux DAG afin que seuls les utilisateurs disposant du rôle correspondant puissent y accéder via les interfaces utilisateur Airflow et DAG.
Configurer manuellement des autorisations au niveau du DAG
Vous pouvez configurer des autorisations au niveau du DAG pour les rôles personnalisés afin de spécifier les DAG qui sont visibles pour des groupes d'utilisateurs spécifiques.
Pour configurer des autorisations au niveau du DAG dans l'interface utilisateur d'Airflow :
- L'administrateur crée des rôles vides pour regrouper les DAG.
- L'administrateur attribue les utilisateurs aux rôles appropriés.
- L'administrateur ou les utilisateurs attribuent les DAG aux rôles.
- Dans l'interface utilisateur d'Airflow, les utilisateurs ne peuvent voir que les DAG attribués à leur groupe.
Les DAG peuvent être attribués à des rôles via des propriétés de DAG ou l'interface utilisateur d'Airflow.
Attribuer des DAG à des rôles dans l'interface utilisateur d'Airflow
Un administrateur peut attribuer les autorisations requises au niveau du DAG aux rôles appropriés dans l'interface utilisateur d'Airflow.
Cette opération n'est pas possible dans l'interface utilisateur du DAG.
Attribuer des DAG aux rôles en utilisant les propriétés de DAG
Vous pouvez définir le paramètre
Paramètre DAG access_control
sur un DAG, spécifiant l'option
le ou les rôles de regroupement des DAG auxquels le DAG est attribué.
Airflow 2
dag = DAG(
access_control={
'DagGroup': {'can_edit', 'can_read'},
},
...
)
Airflow 1
dag = DAG(
access_control={
'DagGroup': {'can_dag_edit', 'can_dag_read'},
},
...
)
Mapper les journaux d'audit dans l'interface utilisateur d'Airflow avec les utilisateurs
Dans l'interface utilisateur d'Airflow, les journaux d'audit sont mappés ID numériques des comptes utilisateur Google. Pour Par exemple, si un utilisateur met un DAG en pause, une entrée est ajoutée aux journaux.
Airflow 2
Dans Airflow 2, vous pouvez afficher les journaux d'audit sur la page Parcourir > Journaux d'audit de l'interface utilisateur d'Airflow.
Airflow 1
Dans Airflow 1, vous pouvez afficher les journaux d'audit sur la page Browse > Logs (Parcourir > Journaux).
Une entrée type indique un identifiant numérique dans le champ Owner (Propriétaire) :
accounts.google.com:NUMERIC_ID
Vous pouvez mapper des ID numériques aux adresses e-mail des utilisateurs sur la page Sécurité > Répertorier les utilisateurs. Cette page est disponible pour
utilisateurs disposant du rôle Admin
.
Notez que la relation entre Identités Google (adresses e-mail) et comptes utilisateur (ID utilisateur) n'est pas fixe.
Étape suivante
- Remplacer les options de configuration Airflow
- Présentation de la sécurité
- Contrôle des accès à Cloud Composer