Usa el control de acceso de la IU de Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Vista previa — Cloud Composer 3

Esta función está sujeta a las "Condiciones de las Ofertas de Fase Previa a la DG" de la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de fase previa a la DG están disponibles “tal cual” y podrían tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

En esta página, se describen los diferentes mecanismos de control de acceso para la IU de Airflow y la IU de DAG. Puedes usar estos mecanismos, además del control de acceso que proporciona IAM para separar usuarios en el IU de Airflow y IU de DAG de tu entorno.

Descripción general del control de acceso a la IU de Airflow en Cloud Composer

El acceso a la IU de Airflow y a la IU de DAG, y la visibilidad de los datos y las operaciones en esas IU, se controlan en dos niveles en Cloud Composer:

1. El acceso a las IU de Airflow y de DAG en Cloud Composer es controlados por IAM.

   Si una cuenta no tiene un rol que pueda visualizar entornos de Cloud Composer en tus la IU de Airflow y la IU del DAG no estarán disponibles.

   IAM no proporciona ningún control de permisos detallado adicional en la IU de Airflow ni en la IU de DAG.

2. El modelo de control de acceso de Apache Airflow permite reducir la visibilidad en la IU de Airflow y la IU de DAG según el rol del usuario.

   El control de acceso de Apache Airflow es una función de Airflow, con su propio modelo de usuarios, roles y permisos, que es diferente del IAM.

Advertencia: Cuando revocas un rol de IAM que otorga de Airflow a un usuario, el permiso asignado previamente podría almacenarse en caché en el navegador web por un máximo de 12 horas.

Advertencia: El control de acceso a la IU de Airflow solo controla la visibilidad y acceso en la IU de Airflow, la IU del DAG y la API estable en Airflow 2. El control de acceso de la IU de Airflow no se aplica a otras interfaces que están disponibles para los usuarios, como los comandos de la CLI de Airflow. Este modelo no se aplica en el código de tareas y DAG. Por ejemplo, puedes implementar un DAG que cambie los roles de Airflow y las asignaciones de usuarios para estos roles.

El control de acceso de Apache Airflow usa permisos basados en recursos. Todo Airflow los usuarios con un rol específico de Airflow obtienen los permisos de este rol. Por ejemplo, los usuarios de Airflow que tienen un rol con el permiso can delete on Connections pueden borrar conexiones en la página Conexiones de la IU de Airflow.

También puedes asignar permisos a nivel del DAG para DAG individuales. Para ejemplo, para que solo los usuarios con un rol específico de Airflow puedan ver un determinado DAG en la IU de Airflow. En Cloud Composer, puedes asignar permisos a nivel del DAG automáticamente, según la subcarpeta en la que se encuentra el archivo DAG en el bucket del entorno.

Si deseas configurar el acceso para identidades externas a través de la federación de identidades de la fuerza laboral, primero otorga acceso a tu entorno en IAM, como se describe en la sección Otorga roles de IAM a identidades externas. Luego, puedes usar el control de acceso de la IU de Airflow como de costumbre. Los usuarios de Airflow para identidades externas usan su identificador principal en su lugar de la dirección de correo electrónico y se propagan diferentes valores en los campos de registro que las Cuentas de Google.

Administra los roles de Airflow y la configuración de control de acceso

Los usuarios con el rol de administrador (o equivalente) pueden ver y modificar la configuración del control de acceso en la IU de Airflow.

En la IU de Airflow, puedes configurar el control de acceso desde el menú Security. Para obtener más información sobre el modelo de control de acceso de Airflow, los permisos disponibles y los roles predeterminados, consulta la documentación de control de acceso de la IU de Airflow.

Airflow mantiene su propia lista de usuarios. Los usuarios con el rol de administrador (o equivalente) pueden ver la lista de usuarios que abrieron la IU de Airflow de un entorno y se registraron en Airflow. Esta lista también incluye a los usuarios que un administrador registró previamente de forma manual, como se describe en la siguiente sección.

Registra usuarios en la IU de Airflow

Los usuarios nuevos se registran automáticamente cuando abren la IU de Airflow de un Entorno de Cloud Composer por primera vez.

Durante el registro, se otorga a los usuarios el rol especificado en el [webserver]rbac_user_registration_role Opción de configuración de Airflow. Puedes controlar el rol de los usuarios recién registrados anulando este Opción de configuración de Airflow con un valor diferente.

Si no se especifica, el rol de registro predeterminado es Op en entornos con Airflow 2.

Se recomiendan los siguientes pasos para crear una configuración de roles básica para la IU de Airflow:

1. Los administradores del entorno abren la IU de Airflow para la IU en un entorno de nube.

2. Otorga a las cuentas de administrador la función Admin. La función predeterminada para las cuentas nuevas en entornos con Airflow 2 es Op. Para asignar el rol Admin, ejecuta el siguiente comando de la CLI de Airflow con la CLI de gcloud:

     gcloud composer environments run ENVIRONMENT_NAME \
       --location LOCATION \
       users add-role -- -e USER_EMAIL -r Admin
   

   Reemplaza lo siguiente:

   • ENVIRONMENT_NAME por el nombre del entorno.
   • LOCATION por la región en la que se encuentra el entorno
   • USER_EMAIL por el correo electrónico de una cuenta de usuario.

3. Los administradores ahora pueden configurar el control de acceso para usuarios nuevos, incluida la asignación de la función Admin a otros usuarios.

Usuarios con registro previo

Los usuarios se registran automáticamente con los IDs numéricos de las cuentas de usuario de Google (no direcciones de correo electrónico) como nombres de usuario. También puedes realizar el registro previo de un usuario de forma manual y asignarles un rol agregando un registro de usuario con el campo de nombre de usuario configurado a la dirección de correo electrónico principal del usuario. Cuando un usuario con una dirección de correo electrónico que coincide con un registro de usuario accede a la IU de Airflow por primera vez, su nombre de usuario se reemplaza por el ID del usuario (en el momento del primer acceso) que identifica su dirección de correo electrónico. La relación entre Identidades de Google (direcciones de correo electrónico) y cuentas de usuario (IDs de usuario) no se solucionó. Los Grupos de Google no se pueden registrar previamente.

Para realizar el registro previo de los usuarios, puedes usar la IU de Airflow o ejecutar un comando de la CLI de Airflow a través de Google Cloud CLI.

Para registrar previamente a un usuario con un rol personalizado a través de Google Cloud CLI, ejecuta el siguiente comando de la CLI de Airflow:

gcloud composer environments run ENVIRONMENT_NAME \
  --location LOCATION \
  users create -- \
  -r ROLE \
  -e USER_EMAIL \
  -u USER_EMAIL \
  -f FIRST_NAME \
  -l LAST_NAME \
  --use-random-password # The password value is required, but is not used

Reemplaza lo siguiente:

• ENVIRONMENT_NAME: Es el nombre del entorno.
• LOCATION: Es la región en la que se encuentra el entorno.
• ROLE: Es un rol de Airflow para el usuario, por ejemplo, Op.
• USER_EMAIL: La dirección de correo electrónico del usuario
• FIRST_NAME y LAST_NAME: nombre y apellido del usuario

Ejemplo:

gcloud composer environments run example-environment \
  --location us-central1 \
  users create -- \
  -r Op \
  -e "[e-mail]" \
  -u "[e-mail]" \
  -f "Name" \
  -l "Surname" \
  --use-random-password

Quitar usuarios

Borrar un usuario de Airflow no revoca el acceso para ese usuario, ya que se vuelve a registrar de forma automática la próxima vez que acceda a la IU de Airflow. Para revocar el acceso a toda la IU de Airflow, quita el permiso composer.environments.get de su política de permisos para tu proyecto.

También puedes cambiar el rol del usuario a Público, lo que mantiene el registro del usuario, pero quita todos los permisos de la IU de Airflow.

Configura los permisos a nivel del DAG automáticamente

La función de registro de roles por carpeta crea automáticamente un rol de Airflow personalizado para cada subcarpeta directamente dentro de la carpeta /dags y le otorga a este rol acceso a nivel de DAG a todos los DAG que tienen su archivo fuente almacenado en esa subcarpeta respectiva. Esta Optimiza la administración de los roles personalizados de Airflow y su acceso a los DAG.

Cómo funciona el registro de roles por carpeta

El registro de roles por carpeta es una forma automatizada de configurar roles y sus permisos a nivel del DAG. Por lo tanto, puede causar conflictos con otros mecanismos de Airflow que otorgan permisos a nivel del DAG:

• Asignar permisos de DAG a roles de forma manual
• Asigna DAG a funciones a través de la propiedad access_control en un DAG.

Para evitar estos conflictos, habilitar el Registro de roles por carpeta también cambia el comportamiento de estos mecanismos.

En Airflow 2:

• Puedes otorgar acceso de DAG a roles a través de la propiedad access_control definida en el código fuente de DAG.
• Otorga permisos de DAG de forma manual (a través de la IU de Airflow o gcloud CLI) pueden causar conflictos. Por ejemplo, si otorgas permisos a nivel de DAG de forma manual a un rol por carpeta, estos permisos se pueden quitar o reemplazar cuando el procesador de DAG sincroniza un DAG. Recomendamos no otorgar permisos de DAG de forma manual.
• Los roles tienen una unión de permisos de acceso de DAG registrados a través del registro de roles por carpeta y se definen en la propiedad access_control del DAG.

Advertencia: La función de registro de roles por carpeta solo controla los permisos de la IU de Airflow para los DAG y nada más. No controla otros Permisos de Airflow, como acceso a conexiones, variables, etcétera it no controla el acceso a los comandos de gcloud CLI; no controla acceso al bucket del entorno.

Los DAG que se encuentran directamente en la carpeta /dags de nivel superior no se asignan automáticamente a ningún rol por carpeta. No se puede acceder a ellos con ningún rol por carpeta. Otra opción roles como Administrador, Operaciones, Usuario o cualquier rol personalizado al que se le otorguen permisos y acceder a ellos mediante la IU de Airflow y la IU del DAG.

Si subes DAG a subcarpetas con nombres que coinciden con los roles integrados de Airflow y roles creados por Cloud Composer, luego los permisos estas subcarpetas siguen asignadas a estos roles. Por ejemplo, subir un DAG a la carpeta /dags/Admin otorga permisos a este DAG al rol de administrador. Los roles integrados de Airflow incluyen administrador, operador, usuario, visualizador y público. Cloud Composer crea NoDags y UserNoDags después de que se habilita la función de registro de roles por carpeta.

Airflow realiza el registro de roles por carpeta cuando procesa DAG en el programador de Airflow. Si hay más de cien DAG en tu ambiente, es posible que veas un aumento en el tiempo de análisis de DAG. Si este es el caso, te recomendamos usar más memoria y CPU para los programadores. También puedes aumentar el valor de la opción de configuración de Airflow [scheduler]parsing_processes.

Cómo asignar DAG automáticamente a roles por carpeta

Para asignar DAG automáticamente a roles por carpeta, haz lo siguiente:

1. Anula la siguiente opción de configuración de Airflow:

   Sección	Clave	Valor
   webserver	rbac_autoregister_per_folder_roles	True

2. Cambia el rol de registro de usuario nuevo a uno sin acceso a ningún DAG. De esta manera, los usuarios nuevos no tienen acceso a ningún DAG hasta que un administrador les asigna un rol que tenga permisos para DAGs específicos a sus cuentas.

   UserNoDags es un rol que crea Cloud Composer solo cuando está habilitada la función de registro de roles por carpeta. Es equivalente al rol de usuario, pero sin acceso a ningún DAG.

   Anula la siguiente opción de configuración de Airflow:

   Sección	Clave	Valor
   webserver	rbac_user_registration_role	UserNoDags

3. Asegúrate de que los usuarios estén registrados en Airflow.

4. Usa uno de los siguientes enfoques para asignar roles a los usuarios:

   • Permite que Airflow cree roles automáticamente en función de las subcarpetas de DAG y, luego, asigna usuarios a estos roles.
   • Crea roles vacíos para las subcarpetas de DAGs, con nombres de roles que coincidan con el nombre de una subcarpeta y, luego, asigna usuarios a estos roles. Por ejemplo, para la carpeta /dags/CustomFolder, crea un rol llamado CustomFolder.
   Precaución: Un usuario que creó una carpeta con DAG no recibirá automáticamente el rol por carpeta correspondiente. Por ejemplo, si un usuario crea una subcarpeta llamada CustomFolder, su cuenta no obtiene el rol CustomFolder. Un administrador debe otorgar este rol en la IU de Airflow.

5. Sube DAG a subcarpetas con nombres que coincidan con los roles asignados a los usuarios. Estas subcarpetas deben estar dentro de la carpeta /dags en el bucket del ambiente. Airflow agrega permisos a los DAG de este subcarpeta para que solo los usuarios con el rol correspondiente puedan acceder a ellas a través de la IU de Airflow y la IU del DAG.

Configura los permisos a nivel del DAG de forma manual

Puedes configurar Permisos a nivel del DAG para roles personalizados especificar qué DAG son visibles para grupos de usuarios específicos.

Para configurar los permisos a nivel del DAG en la IU de Airflow, haz lo siguiente:

1. El administrador crea roles vacíos para agrupar los DAG.
2. El administrador asigna usuarios a los roles adecuados.
3. El administrador o los usuarios asignan los DAG a las funciones.
4. En la IU de Airflow, los usuarios solo pueden ver los DAG asignados a su grupo.

Los DAG se pueden asignar a roles a través de propiedades de DAG o desde la IU de Airflow.

Asigna DAG a roles en la IU de Airflow

Un administrador puede asignar los permisos requeridos a nivel del DAG a los roles adecuados en la IU de Airflow.

Esta operación no se admite en la IU del DAG.

Asigna DAG a funciones en propiedades de DAG

Puedes configurar Parámetro de DAG access_control en un DAG, que especifica los roles de agrupación de DAG a los que está asignado el DAG.

El programador aplica permisos a nivel del DAG cuando lo analiza.

dag = DAG(
  access_control={
    'DagGroup': {'can_edit', 'can_read'},
  },
  ...
  )

Asigna registros de auditoría en la IU de Airflow a los usuarios

Los registros de auditoría en la IU de Airflow se asignan a los IDs numéricos de las cuentas de usuario de Google. Para Por ejemplo, si un usuario pausa un DAG, se agrega una entrada a los registros.

Puedes ver los registros de auditoría en la página Explorar > Registros de auditoría en la IU de Airflow.

Figure 1. Entrada en la página Registros de auditoría en Airflow 2

Una entrada típica muestra un ID numérico en el campo Propietario: accounts.google.com:NUMERIC_ID. Puedes asignar IDs numéricos a los correos electrónicos de los usuarios en la página Seguridad > Listar usuarios. Esta página está disponible para usuarios con el rol Admin.

Ten en cuenta que la relación entre las identidades de Google (direcciones de correo electrónico) y las cuentas de usuario (IDs de usuario) no es fija.

¿Qué sigue?

• Anula las opciones de configuración de Airflow
• Descripción general de seguridad
• Control de acceso de Cloud Composer