Best Practices für Sicherheit

Cloud Composer 1 Cloud Composer 2

Auf dieser Seite wird ein möglicher Ansatz zum Organisieren der Sicherheit für ein Team beschrieben, das mit einer Cloud Composer-Umgebung arbeitet.

Beispiel für eine Airflow-CI/CD-Pipeline
Abbildung 1. Beispiel für eine Airflow-CI/CD-Pipeline (zum Vergrößern klicken)

Cloud Composer bietet mehrere Sicherheitsfeatures, die Sie bei der Arbeit mit Airflow in einer Cloud Composer-Umgebung verwenden können. Zusätzlich zur Zugriffssteuerung mit Identity and Access Management und der Airflow-UI-Zugriffssteuerung können Sie einen Workflow für Ihr Team einrichten, der eine versehentliche Änderung der Konfiguration und des DAG-Codes der Umgebung verhindert:

  1. Erstellen Sie Ihre Umgebung mit Terraform. Auf diese Weise können Sie die Konfiguration der Umgebung als Code in einem Repository speichern.

  2. Weisen Sie IAM-Rollen zu, sodass nur Administratoren auf den Bucket und den Cluster der Umgebung zugreifen können. Der direkte Zugriff ist für normale Nutzer deaktiviert. Die Rolle Composer-Nutzer ermöglicht beispielsweise nur den Zugriff auf die DAG-UI und die Airflow-UI.

  3. Stellen Sie DAGs in Ihrer Umgebung mit einer CI/CD-Pipeline bereit, damit der DAG-Code aus einem Repository abgerufen wird. Auf diese Weise werden DAGs überprüft und genehmigt, bevor die Änderungen mit dem Versionsverwaltungssystem zusammengeführt werden. Während des Überprüfungsprozesses stellen Genehmiger sicher, dass DAGs die in ihren Teams festgelegten Sicherheitskriterien erfüllen. Der Überprüfungsschritt ist wichtig, um zu verhindern, dass das Deployment von DAGs den Inhalt des Buckets der Umgebung ändert.

Nächste Schritte