Secret Manager für Ihre Umgebung konfigurieren

Cloud Composer 1 Cloud Composer 2

Auf dieser Seite wird gezeigt, wie Sie mit Secret Manager Airflow-Verbindungen und -Secrets sicher speichern.

Hinweise

• Zur Verwendung von Secret Manager muss Ihre Cloud Composer-Umgebung Airflow 1.10.10 oder höher und Python 3.6 oder höher verwenden.
• Python 2 wird nicht unterstützt.

Secret Manager für Ihre Umgebung konfigurieren

In diesem Abschnitt wird erläutert, wie Sie Secret Manager so konfigurieren, dass Sie Secrets mit Ihrer Cloud Composer-Umgebung verwenden können.

Secret Manager API aktivieren

Console

Enable the Secret Manager API.

Enable the API

gcloud

Enable the Secret Manager API:

gcloud services enable secretmanager.googleapis.com

Zugriffssteuerung konfigurieren

Sie müssen die Zugriffssteuerung so konfigurieren, dass Airflow auf Secrets zugreifen kann, die in Secret Manager gespeichert sind.

Dazu muss das Dienstkonto, das auf Secrets zugreift, eine Rolle mit der Berechtigung secretmanager.versions.access haben. Die Rolle Zugriffsfunktion für Secret Manager-Secret enthält diese Berechtigung beispielsweise.

Sie können diese Rolle auf Secret-, Projekt-, Ordner- oder Organisationsebene zuweisen.

Verwenden Sie eine der folgenden Optionen:

• (Empfohlen) Weisen Sie diese Rolle dem Dienstkonto Ihrer Umgebung zu.

• Überschreiben Sie das Dienstkonto, unter dem Airflow auf Secret Manager zugreift.

  Achtung: Diese Methode ist weniger empfehlenswert, da die Anmeldedaten des Dienstkontos in der Datei gespeichert werden müssen, um das Risiko einer Manipulation zu erhöhen.
  1. Weisen Sie einem Dienstkonto diese Rolle zu.
  2. Legen Sie den Parameter gcp_key_path der Airflow-Konfigurationsoption backend_kwargs so fest, dass er auf eine JSON-Datei mit den Anmeldedaten des Dienstkontos verweist.

DAG-Serialisierung aktivieren

Im Allgemeinen sollten Sie das Secret Manager-Back-End nur innerhalb der execute()-Methoden Ihrer Operatoren oder mit den Jinja-Vorlagen verwenden. Sie können Variablen beispielsweise mit var.value.example_var abrufen.

Der Airflow-Webserver wird unter einem anderen Dienstkonto mit eingeschränkten Berechtigungen ausgeführt, sodass nicht auf Secrets in Secret Manager zugegriffen werden kann. Wenn der DAG-Code während der Verarbeitung von DAG auf Secrets zugreift (nicht nur von Aufgaben aus) und er nicht angepasst werden kann, um über die execute()-Methoden auf Secrets zuzugreifen, aktivieren Sie DAG-Serialisierung. Danach verarbeitet der Airflow-Webserver verarbeitete DAGs und benötigt keinen Zugriff auf Secrets.

Secret Manager-Backend aktivieren und konfigurieren

1. Überschreiben Sie die folgende Airflow-Konfigurationsoption:

   Bereich	Schlüssel	Wert
   secrets	backend	airflow.providers.google.cloud.secrets.secret_manager.CloudSecretManagerBackend

   Achtung: Verwenden Sie nicht airflow.contrib.secrets.gcp_secrets_manager.CloudSecretsManagerBackend, da Sie mit diesem Wert keine Logs in der Airflow-UI aufrufen können.

2. Fügen Sie optionale Einstellungen hinzu, indem Sie die folgende Airflow-Konfigurationsoption überschreiben:

   Bereich	Schlüssel	Wert
   secrets	backend_kwargs	Weitere Informationen finden Sie in der folgenden Beschreibung.

   Der Wert backend_kwargs ist die JSON-Darstellung des backend_kwargs-Objekts mit den folgenden Feldern:

   • connections_prefix: Gibt das Präfix des zu lesenden Secret-Namens an, um Verbindungen abzurufen. Standardwert ist airflow-connections.
   • variables_prefix: Gibt das Präfix des zu lesenden Secret-Namens an, um Variablen abzurufen. Standardwert ist airflow-variables.
   • gcp_key_path: Pfad zur JSON-Datei mit den Google Cloud-Anmeldedaten. Wenn nicht angegeben, wird das Standarddienstkonto verwendet.
   • gcp_keyfile_dict: Das JSON-Wörterbuch der Google Cloud-Anmeldedaten. Dieses Feature schließt sich mit gcp_key_path gegenseitig aus.
   • sep: Trennzeichen, das zum Verketten von connections_prefix und conn_id verwendet wird. Standard: -.
   • project_id: Die Google Cloud-Projekt-ID, unter der Secrets gespeichert werden.

   Der Wert von backend_kwargs kann beispielsweise so aussehen: {"project_id": "<project id>", "connections_prefix":"example-connections", "variables_prefix":"example-variables", "sep":"-"}

   Hinweis: Die Option Keyfile Secret Name (in GCP Secret Manager) in der Airflow-Verbindung wird nur unterstützt, wenn sich Secret Manager und Cloud Composer im selben Google Cloud-Projekt befinden.

Verbindungen und Variablen in Secret Manager hinzufügen

Erstellen Sie Secrets, indem Sie die unter Secrets und Versionen erstellen beschriebenen Schritte ausführen.

Variablen

• Muss das Format [variable_prefix][sep][variable_name] verwenden.
• Der Standardwert für [variable_prefix] ist airflow-variables.
• Das Standardtrennzeichen [sep] ist -

Beispiel: Wenn der Variablenname example-var lautet, lautet der Secret-Name airflow-variables-example-var.

Hinweis: Wenn Sie für [variable_prefix], [connection_prefix] oder [sep] andere Werte verwenden möchten, verwenden Sie die optionalen Einstellungen wie beschrieben im Abschnitt Secret Manager-Backend aktivieren und konfigurieren.

Verbindungsnamen

• Muss das Format [connection_prefix][sep][connection_name] verwenden.
• Der Standardwert für [connection_prefix] ist airflow-connections.
• Das Standardtrennzeichen [sep] ist -

Wenn der Verbindungsname beispielsweise exampleConnection lautet, lautet der Secret-Name airflow-connections-exampleConnection.

Verbindungswerte

• Sie müssen eine URI-Darstellung verwenden. Beispiel: mysql://login:password@examplehost:9000

• Der URI muss URL-codiert sein (prozentual codiert). Beispielsweise muss ein Passwort, das ein Leerzeichensymbol enthält, so URL-codiert sein: mysql://login:secret%20password@examplehost:9000.

Airflow bietet eine einfache Methode zum Generieren von Verbindungs-URIs. Ein Beispiel für die Codierung einer komplexen URL mit JSON-Extras finden Sie in der Airflow-Dokumentation.

Secret Manager mit Cloud Composer verwenden

Beim Abrufen von Variablen und Verbindungen prüft Cloud Composer zuerst Secret Manager. Wenn die angeforderte Variable oder Verbindung nicht gefunden wird, prüft Cloud Composer die Umgebungsvariablen und die Airflow-Datenbank.

Hinweis: Aus Sicherheitsgründen sind Variablen und Verbindungen von Secret Manager in der Airflow-UI nicht sichtbar.

Variablen mit Jinja-Vorlagen lesen

Sie können Secret Manager verwenden, um Variablen mit Jinja-Vorlagen für Vorlagen für Operatorfelder (zum Zeitpunkt der Ausführung aufgelöst) zu lesen.

Für das airflow-variables-secret_filename-Secret:

file_name = '{{var.value.secret_filename}}'

Variablen mit benutzerdefinierten Operatoren und Callbacks lesen

Sie können Secret Manager auch verwenden, um Variablen in benutzerdefinierten Operatoren oder Rückrufmethoden von Operatoren zu lesen. Das Lesen von Variablen in DAGs kann sich negativ auf die Leistung auswirken. Verwenden Sie daher Jinja-Vorlagen, wenn Sie Variablen in Ihren DAGs verwenden möchten.

Hier ein Beispiel für das Secret airflow-variables-secret_filename:

from airflow.models.variable import Variable
file_name = Variable.get('secret_filename')

Verbindungen lesen

Wenn Sie keinen benutzerdefinierten Operator schreiben, sollten Sie selten direkt auf Verbindungen zugreifen müssen. Die meisten Hooks erhalten den Verbindungsnamen als Instanziierungsparameter und sollten Verbindungen vom geheimen Back-End automatisch abrufen, wenn Aufgaben ausgeführt werden.

Das direkte Lesen von Verbindungen kann beim Schreiben eines eigenen Hooks hilfreich sein.

Beispiel für die airflow-connections-exampleConnection-Verbindung:

from airflow.hooks.base_hook import BaseHook
exampleConnection = BaseHook.get_connection('exampleConnection')

BaseHook.get_connection gibt ein Connection-Objekt zurück. Die URI-Stringdarstellung einer Verbindung kann so abgerufen werden:

exampleConnectionUri = BaseHook.get_connection('exampleConnection').get_uri()

Nächste Schritte

• Airflow-Konfigurationsoptionen überschreiben
• Auf die Airflow REST API zugreifen