Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Auf dieser Seite wird beschrieben, wie Sie Airflow-Verbindungen in Ihrer Umgebung verwalten und über Ihre DAGs darauf zugreifen.
Airflow-Verbindungen
Bei Aiflow-Verbindungen werden Anmeldedaten und andere Verbindungsinformationen wie Nutzernamen, Verbindungsstrings und Passwörter gespeichert. Ihre DAGs verwenden Verbindungen, um Ressourcen in Google Cloud und anderen Diensten aus Ihren DAGs zu kommunizieren und darauf zuzugreifen.
Airflow-Operatoren in Ihren DAGs verwenden entweder eine Standardverbindung für den Operator oder Sie geben einen benutzerdefinierten Verbindungsnamen an.
Informationen zur Verbindungssicherheit
Die meisten Airflow-Operatoren akzeptieren Anmeldedaten nicht direkt. Stattdessen werden Airflow-Verbindungen verwendet.
Wenn Sie eine neue Umgebung erstellen, generiert Cloud Composer einen eindeutigen, permanenten Fernet-Schlüssel für die Umgebung und sichert standardmäßig Verbindungsextras. Sie können den fernet_key
auf der Seite Konfiguration in der Airflow-UI ansehen.
Weitere Informationen zum Sichern von Verbindungen und Passwörtern in Airflow finden Sie unter Verbindungen sichern und Sensible Daten maskieren.
Verbindungstypen
Airflow verwendet Verbindungen verschiedener Typen, um eine Verbindung zu bestimmten Diensten herzustellen. Mit dem Verbindungstyp Google Cloud wird beispielsweise eine Verbindung zu anderen Diensten in Google Cloud hergestellt. Ein weiteres Beispiel: Der S3-Verbindungstyp stellt eine Verbindung zu einem Amazon S3-Bucket her.
Wenn Sie Airflow einen Verbindungstyp hinzufügen möchten, installieren Sie ein PyPI-Paket mit diesem Verbindungstyp.
Einige Pakete sind in Ihrer Umgebung vorinstalliert. Sie können beispielsweise die Verbindung aus dem Paket apache-airflow-providers-google
verwenden, ohne benutzerdefinierte PyPI-Pakete zu installieren.
Vorkonfigurierte Verbindungen
Cloud Composer konfiguriert die folgenden Standardverbindungen in Ihrer Umgebung. Über diese Verbindungen können Sie auf Ressourcen in Ihrem Projekt zugreifen, ohne sie zu konfigurieren.
google_cloud_default
bigquery_default
google_cloud_datastore_default
google_cloud_storage_default
Verbindung in Secret Manager hinzufügen
Sie können eine Verbindung in Secret Manager speichern, ohne sie Airflow hinzuzufügen. Wir empfehlen, diesen Ansatz beim Speichern von Anmeldedaten und anderen vertraulichen Informationen zu verwenden.
So fügen Sie eine Verbindung in Secret Manager hinzu:
Fügen Sie ein Secret hinzu, dessen Name dem Muster für Verbindungen entspricht.
Beispiel:
airflow-connections-example_connection
. Verwenden Sie in Ihren DAGs den Verbindungsnamen ohne das Präfix:example_connection
.Fügen Sie der Verbindung Parameter hinzu:
JSON-Format
Fügen Sie die JSON-Darstellung Ihrer Verbindung als Wert des Secrets hinzu. Beispiel:
{ "conn_type": "mysql", "host": "example.com", "login": "login", "password": "password", "port": "9000" }
Weitere Informationen zum JSON-Verbindungsformat finden Sie in der Airflow-Dokumentation.
URI-Format
Fügen Sie die URI-Darstellung der Verbindung als Wert des Secrets hinzu:
Im Secret muss eine URI-Darstellung der Verbindung gespeichert werden. Beispiel:
mysql://login:password@example.com:9000
Der URI muss URL-codiert sein. Ein Passwort, das ein Leerzeichen enthält, muss beispielsweise so URL-codiert werden:
mysql://login:secret%20password@example.com:9000
.
Airflow bietet eine Komfortmethode zum Generieren von Verbindungs-URIs. Ein Beispiel für das Codieren einer komplexen URL mit JSON-Extras finden Sie in der Airflow-Dokumentation.
Prüfen Sie, ob alle Verbindungsparameter richtig aus Secret Manager gelesen wurden.
Verbindung in Airflow hinzufügen
Anstatt Ihre Verbindungen in Secret Manager zu speichern, können Sie sie auch in Airflow speichern.
So fügen Sie eine Verbindung in Airflow hinzu:
Airflow-Befehlszeile
Führen Sie den Airflow-Befehl connections add
über die Google Cloud CLI aus. Beispiel:
In Airflow 2:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
connections add -- \
--conn-type "mysql" \
--conn-host "example.com" \
--conn-port "9000" \
--conn-login "login" \
--conn-password "password" \
example_connection
Sie können auch das Argument --conn-uri
verwenden:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
connections add -- \
--conn-uri "mysql://login:password@example.com:9000" \
example_connection
In Airflow 1:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
connections -- \
--add \
--conn_type "mysql" \
--conn_host "example.com" \
--conn_port "9000" \
--conn_login "login" \
--conn_password "password" \
--conn_id "example_connection"
Ersetzen Sie Folgendes:
ENVIRONMENT_NAME
: der Name Ihrer UmgebungLOCATION
: Region, in der sich die Umgebung befindet.
Airflow-UI
Folgen Sie der Airflow-Dokumentation zum Erstellen von Verbindungen.
Prüfen, ob Airflow eine Verbindung richtig liest
Sie können den Befehl connections get
der Airflow-Befehlszeile über die Google Cloud CLI ausführen, um zu prüfen, ob eine Verbindung korrekt gelesen wird. Wenn Sie beispielsweise eine Verbindung in Secret Manager speichern, können Sie so prüfen, ob alle Parameter einer Verbindung von Airflow aus einem Secret gelesen werden.
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
connections get \
-- CONNECTION_NAME
Ersetzen Sie:
ENVIRONMENT_NAME
durch den Namen der Umgebung.LOCATION
durch die Region, in der sich die Umgebung befindet.CONNECTION_NAME
durch den Namen der Verbindung. Wenn die Verbindung in Secret Manager gespeichert ist, verwenden Sie den Verbindungsnamen ohne das Verbindungspräfix. Geben Sie beispielsweiseexample_connection
anstelle vonairflow-connections-example_connection_json
an.
Beispiel:
gcloud composer environments run example-environment \
--location us-central1 \
connections get \
-- example_connection -o json
Airflow-Verbindungen in DAGs verwenden
In diesem Abschnitt wird beschrieben, wie Sie über einen DAG auf die Verbindung zugreifen.
Secret Manager-Verbindung verwenden
Verwenden Sie den Namen der Verbindung ohne Präfix. Wenn das Secret beispielsweise den Namen airflow-connections-aws_s3
hat, geben Sie aws_s3
an.
transfer_dir_from_s3 = S3ToGCSOperator(
task_id='transfer_dir_from_s3',
aws_conn_id='aws_s3',
prefix='data-for-gcs',
bucket='example-s3-bucket-transfer-operators',
dest_gcs='gs://us-central1-example-environ-361f4221-bucket/data/from-s3/')
Wenn Sie eine Standardverbindung in Secret Manager speichern, können Sie den Verbindungsnamen weglassen. In der Airflow-Dokumentation für einen bestimmten Operator finden Sie den Standardverbindungsnamen, der von einem Operator verwendet wird. Der Airflow-Operator S3ToGCSOperator
verwendet beispielsweise standardmäßig die Verbindung aws_default
. Sie können diese Standardverbindung in einem Secret mit dem Namen airflow-connections-aws_default
speichern.
In Airflow gespeicherte Verbindung verwenden
Verwenden Sie den Namen der Verbindung, wie er in Airflow definiert ist:
transfer_dir_from_s3 = S3ToGCSOperator(
task_id='transfer_dir_from_s3',
aws_conn_id='aws_s3',
prefix='data-for-gcs',
bucket='example-s3-bucket-transfer-operators',
dest_gcs='gs://us-central1-example-environ-361f4221-bucket/data/from-s3/')
Wenn Sie die Standardverbindung für einen Operator verwenden möchten, lassen Sie den Verbindungsnamen weg. In der Airflow-Dokumentation für einen bestimmten Operator finden Sie den Standardverbindungsnamen, der von einem Operator verwendet wird. Der Airflow-Operator S3ToGCSOperator
verwendet beispielsweise standardmäßig die Verbindung aws_default
.
Fehlerbehebung
Wenn Ihre Umgebung nicht auf das in Secret Manager gespeicherte Secret zugreifen kann:
Secret Manager muss in Ihrer Umgebung konfiguriert sein.
Prüfen Sie, ob der Name der Verbindung in Secret Manager mit der von Airflow verwendeten Verbindung übereinstimmt. Für eine Verbindung mit dem Namen
example_connection
lautet der Secret-Name beispielsweiseairflow-connections-example_connection
.Prüfen Sie, ob Airflow eine Verbindung richtig liest.