Airflow-DAGs planen und auslösen

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Auf dieser Seite wird erläutert, wie die Planung und das Auslösen von DAGs in Airflow funktioniert, wie Sie einen Zeitplan für einen DAG definieren und wie Sie einen DAG manuell auslösen oder pausieren.

Airflow-DAGs in Cloud Composer

Airflow-DAGs in Cloud Composer werden in einer oder mehreren Cloud Composer-Umgebungen in Ihrem Projekt ausgeführt. Sie laden Quelldateien Ihrer Airflow-DAGs in einen Cloud Storage-Bucket hoch, der mit einer Umgebung verknüpft ist. Die Airflow-Instanz der Umgebung parset dann diese Dateien und plant DAG-Ausführungen gemäß dem Zeitplan der einzelnen DAGs. Während einer DAG-Ausführung plant und führt Airflow die einzelnen Aufgaben, aus denen ein DAG besteht, in einer vom DAG definierten Reihenfolge aus.

Weitere Informationen zu den Hauptkonzepten von Airflow wie Airflow-DAGs, DAG-Ausführungen, Aufgaben oder Operatoren finden Sie auf der Seite Grundlegende Konzepte in der Airflow-Dokumentation.

DAG-Planung in Airflow

Airflow bietet die folgenden Konzepte für seinen Planungsmechanismus:

Logisches Datum

Stellt ein Datum dar, für das eine bestimmte DAG-Ausführung ausgeführt wird.

Dies ist nicht das tatsächliche Datum, an dem Airflow einen DAG ausführt, sondern ein Zeitraum, in dem eine bestimmte DAG-Ausführung verarbeitet werden muss. Bei einem DAG, der beispielsweise täglich um 12:00 Uhr ausgeführt werden soll, wäre das logische Datum auch der 12:00 Uhr eines bestimmten Tages. Da er zweimal täglich ausgeführt wird, muss er die letzten 12 Stunden verarbeiten. Gleichzeitig wird das logische Datum oder das Zeitintervall in der Logik, die im DAG selbst definiert ist, möglicherweise gar nicht verwendet. So kann ein DAG beispielsweise dasselbe Script einmal pro Tag ausführen, ohne den Wert des logischen Datums zu verwenden.

In Airflow-Versionen vor 2.2 wird dieses Datum als Ausführungsdatum bezeichnet.

Ausführungsdatum

Gibt das Datum an, an dem eine bestimmte DAG-Ausführung ausgeführt wird.

Bei einem DAG, der beispielsweise täglich um 12:00 Uhr ausgeführt werden soll, erfolgt die tatsächliche Ausführung des DAG möglicherweise um 12:05 Uhr, also einige Zeit nach Ablauf des logischen Datums.

Zeitplanintervall

Gibt an, wann und wie oft ein DAG ausgeführt werden muss, in Form logischer Datumsangaben.

Ein täglicher Zeitplan bedeutet beispielsweise, dass ein DAG einmal pro Tag ausgeführt wird und die logischen Datumsangaben für die DAG-Ausführungen 24-Stunden-Intervalle haben.

Startdatum

Gibt an, wann Airflow Ihren DAG planen soll.

Aufgaben in Ihrem DAG können individuelle Startzeiten haben oder Sie können ein einziges Startdatum für alle Aufgaben festlegen. Basierend auf dem Mindeststartdatum für Aufgaben in Ihrem DAG und dem Zeitplanintervall plant Airflow DAG-Ausführungen.

Nachhol-, Backfill- und Wiederholungsvorgänge

Mechanismen zur Ausführung von DAG-Ausführungen für vergangene Zeiträume.

Mit der Funktion „Aufholen“ werden DAG-Ausführungen ausgeführt, die noch nicht ausgeführt wurden, z. B. wenn der DAG für einen längeren Zeitraum pausiert und dann wieder fortgesetzt wurde. Mit Backfill können Sie DAG-Ausführungen für einen bestimmten Zeitraum ausführen. Mit „Wiederholungen“ wird angegeben, wie oft Airflow versuchen muss, Aufgaben aus einem DAG auszuführen.

Die Planung funktioniert so:

1. Nach Ablauf des Startdatums wartet Airflow auf das nächste Auftreten des Zeitplanintervalls.

2. Airflow plant die erste DAG-Ausführung am Ende dieses Zeitplanintervalls.

   Wenn ein DAG beispielsweise jede Stunde ausgeführt werden soll und das Startdatum um 12:00 Uhr ist, erfolgt die erste DAG-Ausführung heute um 13:00 Uhr.

Im Abschnitt Airflow-DAG planen dieses Dokuments wird beschrieben, wie Sie die Planung für Ihre DAGs mithilfe dieser Konzepte einrichten. Weitere Informationen zu DAG-Ausführungen und Planung finden Sie in der Airflow-Dokumentation unter DAG-Ausführungen.

Möglichkeiten zum Auslösen eines DAG

Airflow bietet die folgenden Möglichkeiten zum Auslösen eines DAG:

• Trigger nach Zeitplan starten. Airflow löst den DAG anhand des Zeitplans aus, der in der DAG-Datei für ihn angegeben ist.

• Manuell auslösen. Sie können einen DAG manuell über die Google Cloud Console, die Airflow-Benutzeroberfläche oder durch einen Airflow-Befehlszeilenbefehl von der Google Cloud CLI auslösen.

• Trigger als Reaktion auf Ereignisse. Als Standardmethode zum Auslösen eines DAG als Reaktion auf Ereignisse wird die Verwendung eines Sensors verwendet.

Weitere Möglichkeiten zum Auslösen von DAGs:

• Programmatische Auslösung Sie können einen DAG mit der Airflow REST API auslösen. Zum Beispiel aus einem Python-Script.

• Programmatisch als Reaktion auf Ereignisse auslösen. Sie können DAGs als Reaktion auf Ereignisse mithilfe von Cloud Run-Funktionen und der Airflow REST API auslösen.

Hinweis

• Ihr Konto muss eine Rolle haben, mit der Objekte in den Umgebungs-Buckets verwaltet und DAGs aufgerufen und ausgelöst werden können. Weitere Informationen finden Sie unter Zugriffssteuerung.

Airflow-DAG planen

Sie definieren einen Zeitplan für einen DAG in der DAG-Datei. Bearbeiten Sie die DAG-Definition so:

1. Suchen Sie die DAG-Datei auf Ihrem Computer und bearbeiten Sie sie. Wenn Sie die DAG-Datei nicht haben, können Sie eine Kopie aus dem Bucket der Umgebung herunterladen. Für einen neuen DAG können Sie alle Parameter beim Erstellen der DAG-Datei definieren.

2. Definieren Sie im Parameter schedule_interval den Zeitplan. Sie können einen CRON-Ausdruck wie 0 0 * * * oder eine Voreinstellung wie @daily verwenden. Weitere Informationen finden Sie in der Airflow-Dokumentation unter Cron- und Zeitintervalle.

   Airflow bestimmt logische Datumsangaben für DAG-Ausführungen anhand des von Ihnen festgelegten Zeitplans.

3. Legen Sie im Parameter start_date das Startdatum fest.

   Airflow bestimmt anhand dieses Parameters das logische Datum der ersten DAG-Ausführung.

4. Optional: Legen Sie mit dem Parameter catchup fest, ob Airflow alle vorherigen Ausführungen dieses DAGs vom Startdatum bis zum aktuellen Datum ausführen muss, die noch nicht ausgeführt wurden.

   Das logische Datum von DAG-Ausführungen, die während des Aufholens ausgeführt werden, liegt in der Vergangenheit. Das Ausführungsdatum entspricht dem Zeitpunkt, zu dem die DAG-Ausführung tatsächlich ausgeführt wurde.

   Hinweis: Wenn Sie DAG-Ausführungen für ein bestimmtes Datum nachholen möchten, anstatt auf den neuesten Stand zu kommen, führen Sie den Befehl dags backfill Airflow CLI-Befehl mit der Google Cloud CLI aus.

5. Optional: Legen Sie mit dem Parameter retries fest, wie oft Airflow fehlgeschlagene Aufgaben noch einmal versuchen muss. Jeder DAG besteht aus einer oder mehreren einzelnen Aufgaben. Standardmäßig werden Aufgaben in Cloud Composer zweimal wiederholt.

6. Laden Sie die neue Version des DAG in den Bucket der Umgebung hoch.

7. Warten Sie, bis Airflow den DAG erfolgreich geparst hat. Sie können sich beispielsweise die Liste der DAGs in Ihrer Umgebung in der Google Cloud Console oder in der Airflow-Benutzeroberfläche ansehen.

Die folgende Beispiel-DAG-Definition wird zweimal täglich um 00:00 und 12:00 Uhr ausgeführt. Das Startdatum ist auf den 1. Januar 2024 festgelegt. Airflow führt den Workflow jedoch nicht für vergangene Zeiträume aus, nachdem Sie ihn hochgeladen oder pausiert haben, da die Funktion „Aufholen“ deaktiviert ist.

Der DAG enthält eine Aufgabe namens insert_query_job, die mit dem Operator BigQueryInsertJobOperator eine Zeile in eine Tabelle einfügt. Dieser Operator ist einer der Google Cloud BigQuery-Operatoren, mit denen Sie Datasets und Tabellen verwalten, Abfragen ausführen und Daten validieren können. Wenn eine bestimmte Ausführung dieser Aufgabe fehlschlägt, wird sie von Airflow noch viermal mit dem Standardwiederholungsintervall wiederholt. Das logische Datum für diese Wiederholungen bleibt gleich.

In der SQL-Abfrage für diese Zeile werden Airflow-Vorlagen verwendet, um das logische Datum und den Namen des DAG in die Zeile zu schreiben.

import datetime

from airflow.models.dag import DAG
from airflow.providers.google.cloud.operators.bigquery import BigQueryInsertJobOperator

with DAG(
  "bq_example_scheduling_dag",
  start_date=datetime.datetime(2024, 1, 1),
  schedule_interval='0 */12 * * *',
  catchup=False
  ) as dag:

  insert_query_job = BigQueryInsertJobOperator(
    task_id="insert_query_job",
    retries=4,
    configuration={
        "query": {
            # schema: date (string), description (string)
            # example row: "20240101T120000", "DAG run: <DAG: bq_example_scheduling_dag>"
            "query": "INSERT example_dataset.example_table VALUES ('{{ ts_nodash }}', 'DAG run: {{ dag }}' )",
            "useLegacySql": False,
            "priority": "BATCH",
        }
    },
    location="us-central1"
  )

  insert_query_job

Sie können diesen DAG manuell auslösen und sich dann die Logs zur Aufgabenausführung ansehen.

Weitere Beispiele für Planungsparameter

Die folgenden Beispiele für Planungsparameter zeigen, wie die Planung mit verschiedenen Parameterkombinationen funktioniert:

• Wenn start_date den Wert datetime(2024, 4, 4, 16, 25) und schedule_interval den Wert 30 16 * * * hat, erfolgt die erste DAG-Ausführung um 16:30 Uhr am 5. April 2024.

• Wenn start_date den Wert datetime(2024, 4, 4, 16, 35) und schedule_interval den Wert 30 16 * * * hat, erfolgt die erste DAG-Ausführung um 16:30 Uhr am 6. April 2024. Da das Startdatum nach dem Zeitplanintervall am 4. April 2024 liegt, erfolgt die DAG-Ausführung nicht am 5. April 2024. Stattdessen endet das Zeitplanintervall am 5. April 2024 um 16:35 Uhr. Die nächste DAG-Ausführung wird also am folgenden Tag um 16:30 Uhr geplant.

• Wenn start_date datetime(2024, 4, 4) und der schedule_interval @daily ist, wird die erste DAG-Ausführung am 5. April 2024 um 00:00 Uhr geplant.

• Wenn start_date datetime(2024, 4, 4, 16, 30) und der schedule_interval 0 * * * * ist, wird die erste DAG-Ausführung am 4. April 2024 um 18:00 Uhr geplant. Nach dem angegebenen Datum und der angegebenen Uhrzeit plant Airflow eine DAG-Ausführung zur Minute 0 jeder Stunde. Der nächste Zeitpunkt, zu dem dies der Fall ist, ist 17:00 Uhr. Zu diesem Zeitpunkt plant Airflow eine DAG-Ausführung am Ende des Zeitplanintervalls, also um 18:00 Uhr.

DAG manuell auslösen

Wenn Sie einen Airflow-DAG manuell auslösen, führt Airflow ihn unabhängig vom in der DAG-Datei angegebenen Zeitplan einmal aus.

Console

So lösen Sie einen DAG über die Google Cloud Console aus:

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite „Umgebungen“

2. Wählen Sie eine Umgebung aus, um die zugehörigen Details aufzurufen.

3. Wechseln Sie auf der Seite Umgebungsdetails zum Tab DAGs.

4. Klicken Sie auf den Namen eines DAG.

5. Klicken Sie auf der Seite DAG-Details auf DAG auslösen. Es wird eine neue DAG-Ausführung erstellt.

   Hinweis: Sie können über die Google Cloud Console keine Konfiguration für die DAG-Ausführung angeben.

Airflow-UI

So lösen Sie einen DAG über die Airflow-Benutzeroberfläche aus:

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

4. Klicken Sie in der Airflow-Weboberfläche auf der Seite DAGs in der Spalte Links für Ihren DAG auf die Schaltfläche Trigger DAG.

5. Optional: Geben Sie die DAG-Ausführungskonfiguration an.

6. Klickbasierter Trigger

gcloud

Führen Sie den Befehl dags trigger der Airflow-Befehlszeile aus:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags trigger -- DAG_ID

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name Ihrer Umgebung
• LOCATION: die Region, in der sich die Umgebung befindet.
• DAG_ID: der Name des DAG.

Weitere Informationen zum Ausführen von Befehlen der Airflow-Befehlszeile in Cloud Composer-Umgebungen finden Sie unter Befehle der Airflow-Befehlszeile ausführen.

Weitere Informationen zu den verfügbaren Airflow-Befehlszeilenbefehlen finden Sie in der Befehlsreferenz zu gcloud composer environments run.

Logs und Details zur DAG-Ausführung ansehen

In der Google Cloud Console haben Sie folgende Möglichkeiten:

• Status früherer DAG-Ausführungen und DAG-Details ansehen
• Detaillierte Protokolle aller DAG-Ausführungen und aller Aufgaben aus diesen DAGs ansehen.
• DAG-Statistiken aufrufen

Außerdem bietet Cloud Composer Zugriff auf die Airflow-Benutzeroberfläche, die Weboberfläche von Airflow.

Hinweis: Auf der Seite Orchestration in BigQuery werden Planungsinformationen für alle Airflow-DAGs aus allen Cloud Composer 3-Umgebungen in Ihrem Projekt sowie andere Arten von Assets kombiniert, die in BigQuery verfügbar sind.

DAG pausieren

Achtung: Wenn Sie catchup für den DAG definiert haben, der nach einem Zeitplan ausgeführt wird, plant Airflow alle nicht ausgeführten DAG-Ausführungen, wenn Sie die Pausierung des DAG aufheben.

Console

So pausieren Sie einen DAG über die Google Cloud Console:

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite „Umgebungen“

2. Wählen Sie eine Umgebung aus, um die zugehörigen Details aufzurufen.

3. Wechseln Sie auf der Seite Umgebungsdetails zum Tab DAGs.

4. Klicken Sie auf den Namen eines DAG.

5. Klicken Sie auf der Seite DAG-Details auf DAG pausieren.

Airflow-UI

So pausieren Sie einen DAG über die Airflow-Benutzeroberfläche:

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

Zur Seite Umgebungen

1. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

2. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

3. Klicken Sie in der Airflow-Weboberfläche auf der Seite DAGs auf die Ein/Aus-Schaltfläche neben dem Namen des DAG.

gcloud

Führen Sie den Befehl dags pause der Airflow-Befehlszeile aus:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags pause -- DAG_ID

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name Ihrer Umgebung
• LOCATION: die Region, in der sich die Umgebung befindet.
• DAG_ID: der Name des DAG.

Weitere Informationen zum Ausführen von Befehlen der Airflow-Befehlszeile in Cloud Composer-Umgebungen finden Sie unter Befehle der Airflow-Befehlszeile ausführen.

Weitere Informationen zu den verfügbaren Airflow-Befehlszeilenbefehlen finden Sie in der Befehlsreferenz zu gcloud composer environments run.

Nächste Schritte

• Airflow-DAGs schreiben
• Airflow-DAGs testen
• Fehlerbehebung bei Airflow-DAGs