Airflow-UI-Zugriffssteuerung verwenden

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite werden verschiedene Mechanismen der Zugriffssteuerung für die Airflow-UI beschrieben und die DAG-UI. Sie können diese Mechanismen zusätzlich zur Zugriffssteuerung von IAM bereitgestellt, um Nutzer im Airflow-UI und DAG-UI Ihrer Umgebung

Airflow-UI-Zugriffssteuerung in Cloud Composer

Zugriff auf Airflow UI und DAG UI und wird die Sichtbarkeit von Daten und Vorgängen in diesen Benutzeroberflächen auf zwei Ebenen in Cloud Composer:

  1. Der Zugriff auf die Airflow-UI und die DAG-UI in Cloud Composer wird über IAM gesteuert.

    Wenn ein Konto keine Rolle hat, mit der es Cloud Composer-Umgebungen in Ihrem Projekt ansehen kann, sind die Airflow- und DAG-Benutzeroberflächen nicht verfügbar.

    IAM bietet keine zusätzlichen detaillierten in der Airflow- oder DAG-UI.

  2. Das Zugriffssteuerungsmodell von Apache Airflow ermöglicht die Sichtbarkeit in der Airflow-UI und der DAG-UI je nach Nutzerrolle verringern.

    Die Apache Airflow-Zugriffssteuerung ist eine Funktion von Airflow, Modell von Nutzern, Rollen und Berechtigungen, das sich IAM

Die Apache Airflow-Zugriffssteuerung verwendet ressourcenbasierte Berechtigungen. Alle Airflow-Nutzer mit einer bestimmten Airflow-Rolle erhalten die Berechtigungen dieser Rolle. Beispiel: Airflow-Nutzer, die eine Rolle mit der Berechtigung can delete on Connections haben können Sie in der Airflow-UI auf der Seite „Verbindungen“ Verbindungen löschen.

Sie können auch Berechtigungen auf DAG-Ebene für einzelne DAGs. So können Sie beispielsweise festlegen, dass nur Nutzer mit einer bestimmten Airflow-Rolle einen bestimmten DAG in der Airflow-Benutzeroberfläche sehen können. In Cloud Composer können Sie automatisch Berechtigungen auf DAG-Ebene zuweisen, basierend auf dem Unterordner, in dem sich die DAG-Datei im Bucket.

Wenn Sie den Zugriff für externe Identitäten über Mitarbeiteridentitätsföderation, zuerst Zugriff auf Ihre Umgebung in IAM gewähren, wie in den Externen Identitäten IAM-Rollen zuweisen . Anschließend können Sie wie gewohnt die Zugriffssteuerung auf der Airflow-UI verwenden. Airflow-Nutzer für externe Identitäten verwenden stattdessen ihre Hauptkennung der E-Mail-Adresse stehen und bei den anderen Nutzern unterschiedliche Werte Eintragsfelder als Google-Konten.

Airflow-Rollen und Zugriffssteuerungseinstellungen verwalten

Nutzer mit der Rolle „Administrator“ (oder einer entsprechenden Rolle) können die Zugriffssteuerung ansehen und ändern Einstellungen auf der Airflow-Benutzeroberfläche.

In der Airflow-UI können Sie die Zugriffssteuerungseinstellungen das Menü Sicherheit aus. Weitere Informationen zur Airflow-Zugriffssteuerung Modell, verfügbaren Berechtigungen und Standardrollen, finden Sie in der Dokumentation zur Airflow-UI-Zugriffssteuerung

Airflow verwaltet eine eigene Liste von Nutzern. Nutzer mit der Rolle „Administrator“ (oder gleichwertig) können die Liste der Nutzer aufrufen, die die Airflow-Benutzeroberfläche einer Umgebung geöffnet und sich in Airflow registriert haben. Diese Liste enthält auch Nutzer, die von einem Administrator manuell vorab registriert wurden, wie im folgenden Abschnitt beschrieben.

Nutzer in der Airflow-UI registrieren

Neue Nutzer werden automatisch registriert, wenn sie die Airflow-UI eines Cloud Composer-Umgebung.

Bei der Registrierung erhalten Nutzer die Rolle, die in der Airflow-Konfigurationsoption [webserver]rbac_user_registration_role angegeben ist. Sie können die Rolle neu registrierter Nutzer durch Überschreiben Airflow-Konfigurationsoption mit einem anderen Wert.

Wenn keine Angabe erfolgt, wird in Umgebungen mit Airflow 2 die Standardregistrierungsrolle Op verwendet.

Zum Erstellen einer einfachen Rollenkonfiguration für die Airflow-Benutzeroberfläche werden folgende Schritte empfohlen:

  1. Umgebungsadministratoren öffnen die Airflow-Benutzeroberfläche für die neu erstellte Umgebung.

  2. Gewähren Sie den Administratorkonten die Rolle Admin. Die Standardrolle für neue Konten in Umgebungen mit Airflow 2 ist Op. Führen Sie zum Zuweisen der Rolle Admin den folgenden Airflow-Befehlszeilenbefehl mit der gcloud CLI aus:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    users add-role -- -e USER_EMAIL -r Admin

    Ersetzen Sie:

    • ENVIRONMENT_NAME durch den Namen der Umgebung.
    • LOCATION durch die Region, in der sich die Umgebung befindet.
    • USER_EMAIL durch die E-Mail-Adresse eines Nutzerkontos.

  3. Administratoren können jetzt die Zugriffssteuerung für neue Nutzer konfigurieren und beispielsweise die Rolle Admin anderen Nutzern zuweisen.

Nutzer vorregistrieren

Nutzer werden automatisch mit den numerischen IDs von Google-Nutzerkonten (nicht mit E-Mail-Adressen) als Nutzernamen registriert. Sie können Nutzer auch manuell vorregistrieren, und weisen Sie ihnen eine Rolle zu, indem Sie einen Nutzerdatensatz mit dem festgelegten Feld „username“ (Nutzername) hinzufügen an die primäre E-Mail-Adresse des Nutzers senden. Wenn sich ein Nutzer mit einer E-Mail-Adresse zum ersten Mal in der Airflow-UI anmeldet, wird sein Nutzername durch die Nutzer-ID ersetzt, die derzeit zum Zeitpunkt der ersten Anmeldung durch seine E-Mail-Adresse identifiziert wird. Die Beziehung zwischen Google-Identitäten (E-Mail-Adressen) und Nutzerkonten (Nutzer-IDs) ist nicht festgelegt. Google-Gruppen können nicht vorregistriert werden.

Sie können Nutzer über die Airflow-Benutzeroberfläche oder über die Google Cloud CLI mit einem Airflow-Befehlszeilenbefehl vorab registrieren.

Wenn Sie einen Nutzer mit einer benutzerdefinierten Rolle über die Google Cloud CLI vorab registrieren möchten, führen Sie den folgenden Airflow-Befehlszeilenbefehl aus:

gcloud composer environments run ENVIRONMENT_NAME \
  --location LOCATION \
  users create -- \
  -r ROLE \
  -e USER_EMAIL \
  -u USER_EMAIL \
  -f FIRST_NAME \
  -l LAST_NAME \
  --use-random-password # The password value is required, but is not used

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung
  • LOCATION: die Region, in der sich die Umgebung befindet
  • ROLE: eine Airflow-Rolle für den Nutzer, z. B. Op
  • USER_EMAIL: E-Mail-Adresse des Nutzers
  • FIRST_NAME und LAST_NAME: Vor- und Nachname des Nutzers

Beispiel:

gcloud composer environments run example-environment \
  --location us-central1 \
  users create -- \
  -r Op \
  -e "example-user@example.com" \
  -u "example-user@example.com" \
  -f "Name" \
  -l "Surname" \
  --use-random-password

Nutzer entfernen

Wenn Sie einen Nutzer aus Airflow löschen, wird der Zugriff für diesen Nutzer nicht widerrufen, da er beim nächsten Zugriff auf die Airflow-UI automatisch wieder registriert wird. Bis Zugriff auf die gesamte Airflow-UI widerrufen, composer.environments.get entfernen Zulassungsrichtlinie für Ihr Projekt.

Sie können die Rolle des Nutzers auch in „Öffentlich“ ändern. Registrierung des Nutzers, entfernt aber alle Berechtigungen für die Airflow-UI.

Berechtigungen auf DAG-Ebene automatisch konfigurieren

Mit der Funktion für die Registrierung von Rollen pro Ordner wird automatisch ein benutzerdefinierte Airflow-Rolle für jeden Unterordner direkt im Ordner /dags und gewährt mit dieser Rolle DAG-Zugriff für alle DAGs, deren Quelldatei in diesem Unterordner gespeichert ist. Dadurch wird die Verwaltung benutzerdefinierter Airflow-Rollen und deren Zugriff auf DAGs optimiert.

So funktioniert die Registrierung von Rollen pro Ordner

Die Registrierung von Rollen pro Ordner ist eine automatisierte Methode, um Rollen und ihre Berechtigungen auf DAG-Ebene zu konfigurieren. Daher können Konflikte mit weitere Airflow-Mechanismen, die Berechtigungen auf DAG-Ebene gewähren:

Um solche Konflikte zu vermeiden, sollten Sie außerdem die Registrierung von Rollen pro Ordner aktivieren. verändert das Verhalten dieser Mechanismen.

In Airflow 2:

  • Sie können Rollen über die im DAG-Quellcode definierte Eigenschaft access_control DAG-Zugriff gewähren.
  • Das manuelle Gewähren von DAG-Berechtigungen (über die Airflow-Benutzeroberfläche oder die gcloud CLI) kann zu Konflikten führen. Wenn Sie beispielsweise einer Rolle auf DAG-Ebene manuell zu gewähren, Berechtigungen können entfernt oder überschrieben werden, wenn der DAG-Prozessor synchronisiert einen DAG. Wir empfehlen, DAG-Berechtigungen nicht manuell zu gewähren.
  • Rollen haben eine Vereinigung von DAG-Zugriffsberechtigungen, die über die Registrierung von Rollen pro Ordner registriert und in der access_control-Eigenschaft der DAG definiert sind.

DAGs, die sich direkt im Ordner /dags auf der obersten Ebene befinden, werden keiner Ordnerrolle automatisch zugewiesen. Auf sie kann nicht mit einer Rolle pro Ordner zugegriffen werden. Andere Rollen wie „Administrator“, „Bearbeiter“, „Nutzer“ oder eine benutzerdefinierte Rolle, der Berechtigungen gewährt wurden, können über die Airflow-UI und die DAG-UI darauf zugreifen.

Wenn Sie DAGs in Unterordner hochladen, deren Namen den integrierten Airflow-Rollen entsprechen und von Cloud Composer erstellten Rollen, dann Berechtigungen für DAGs in sind diese Unterordner weiterhin diesen Rollen zugewiesen. Wenn Sie zum Beispiel Der DAG für den Ordner /dags/Admin gewährt dem Administrator Berechtigungen für diesen DAG Rolle. Zu den integrierten Airflow-Rollen gehören Admin, Op, User, Viewer und Public. Cloud Composer erstellt NoDags und UserNoDags nach dem Ordnertyp Die Funktion zur Rollenregistrierung ist aktiviert.

Airflow registriert Rollen pro Ordner bei der Verarbeitung von DAGs im Airflow-Planer. Wenn sich in Ihrer Umgebung mehr als hundert DAGs befinden, kann sich die Zeit für das DAG-Parsing verlängern. In diesem Fall sollten Sie mehr Arbeitsspeicher und CPU für Planer verbrauchen. Sie können auch den Wert der Airflow-Konfigurationsoption [scheduler]parsing_processes erhöhen.

DAGs automatisch Rollen pro Ordner zuweisen

So weisen Sie DAGs pro Ordner automatisch zu:

  1. Überschreiben Sie die folgende Airflow-Konfigurationsoption:

    Bereich Schlüssel Wert
    webserver rbac_autoregister_per_folder_roles True

  2. Ändern Sie die neue Rolle zur Nutzerregistrierung in eine Rolle ohne Zugriff auf DAGs. So haben neue Nutzer erst dann Zugriff auf DAGs, wenn ein Administrator ihren Konten eine Rolle mit Berechtigungen für bestimmte DAGs zuweist.

    „UserNoDags“ ist eine Rolle, die nur von Cloud Composer erstellt wird, wenn die Funktion „Registrierung von Rollen pro Ordner“ aktiviert ist. Es entspricht dem Nutzerrolle, aber ohne Zugriff auf DAGs.

    Überschreiben Sie die folgende Airflow-Konfigurationsoption:

    Bereich Schlüssel Wert
    webserver rbac_user_registration_role UserNoDags

  3. Die Nutzer müssen in Airflow registriert sein.

  4. Weisen Sie Nutzern Rollen auf eine der folgenden Arten zu:

    • Lassen Sie Airflow automatisch Rollen basierend auf den DAGs-Unterordnern erstellen, und weise Nutzer diesen Rollen zu.
    • Erstellen Sie vorab leere Rollen für die DAG-Unterordner, deren Rollennamen mit dem Namen eines Unterordners übereinstimmen, und weisen Sie dann Nutzern diese Rollen zu. Beispiel: Erstellen Sie für den Ordner /dags/CustomFolder eine Rolle mit dem Namen CustomFolder.

  5. Laden Sie DAGs in Unterordner mit Namen hoch, die den Nutzern zugewiesenen Rollen entsprechen. Diese Unterordner müssen sich im Ordner /dags im Bucket der Umgebung befinden. Airflow fügt DAGs in einem solchen Unterordner Berechtigungen hinzu, sodass nur Nutzer mit der entsprechenden Rolle über die Airflow-UI und die DAG-UI darauf zugreifen können.

Berechtigungen auf DAG-Ebene manuell konfigurieren

Sie können Berechtigungen auf DAG-Ebene für benutzerdefinierte Rollen für Angeben, welche DAGs für bestimmte Nutzergruppen sichtbar sind.

So konfigurieren Sie Berechtigungen auf DAG-Ebene in der Airflow-Benutzeroberfläche:

  1. Der Administrator erstellt leere Rollen für die Gruppierung von DAGs.
  2. Der Administrator weist Nutzern die entsprechenden Rollen zu.
  3. Der Administrator oder die Nutzer weisen den Rollen DAGs zu.
  4. In der Airflow-Benutzeroberfläche sehen Nutzer nur DAGs, die ihrer Gruppe zugewiesen sind.

DAGs können Rollen entweder über DAG-Attribute oder über die Airflow-UI

DAGs Rollen in der Airflow-UI zuweisen

Ein Administrator kann den entsprechenden Rollen die erforderlichen Berechtigungen auf DAG-Ebene in der Airflow-UI zuweisen.

Dieser Vorgang wird in der DAG-UI nicht unterstützt.

DAGs Rollen in DAG-Attributen zuweisen

Sie können die access_control-DAG-Parameter für einen DAG, der Folgendes angibt: Die Rollen für die DAG-Gruppierung, denen der DAG zugewiesen ist.

Der Planer wendet beim Parsen eines DAG Berechtigungen auf DAG-Ebene an.

dag = DAG(
  access_control={
    'DagGroup': {'can_edit', 'can_read'},
  },
  ...
  )

Audit-Logs in der Airflow-UI Nutzern zuordnen

Audit-Logs in der Airflow-UI sind numerische IDs von Google-Nutzerkonten Für Wenn ein Nutzer beispielsweise einen DAG pausiert, wird den Logs ein Eintrag hinzugefügt.

Sie können Audit-Logs auf der Seite Durchsuchen > Audit-Logs einsehen in auf der Airflow-UI.

Ein Eintrag auf der Seite „Audit-Logs“ in Airflow 2
Abbildung 1. Einen Eintrag auf der Seite „Audit-Logs“ in Airflow 2

Ein typischer Eintrag enthält im Feld Inhaber eine numerische ID: accounts.google.com:NUMERIC_ID. Sie können numerische IDs auf der Seite Sicherheit > Nutzer auflisten E-Mail-Adressen von Nutzern zuordnen. Diese Seite ist für Nutzer mit der Rolle Admin verfügbar.

Die Beziehung zwischen Google-Identitäten (E-Mail-Adressen) und Nutzerkonten (Nutzer-IDs) ist nicht festgelegt.

Nächste Schritte