Cloud Composer 1 befindet sich im Modus „Nach der Wartung“. Google veröffentlicht keine weiteren Updates für Cloud Composer 1, einschließlich neuer Versionen von Airflow sowie Fehlerkorrekturen und Sicherheitsupdates. Wir empfehlen die Migration zu Cloud Composer 2.
In dieser Kurzanleitung erfahren Sie, wie Sie eine Cloud Composer-Umgebung erstellen.
und führen Sie einen Apache Airflow-DAG in Cloud Composer 2 aus.
Wenn Sie Airflow noch nicht kennen, lesen Sie die
Anleitung zu Airflow-Konzepten in Apache Airflow
finden Sie weitere Informationen zu Airflow-Konzepten, -Objekten und
deren Nutzung.
Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Kurzanleitung benötigen:
So erstellen und verwalten Sie die Cloud Composer-Umgebung:
<ph type="x-smartling-placeholder">
Wenn dies die erste Umgebung
in Ihrem Projekt ist,
a Erforderliche Berechtigungen für das Cloud Composer-Dienstkonto gewähren
wird angezeigt.
Sie fügen das Cloud Composer-Dienst-Agent-Konto als neues
Hauptkonto Ihrer Umgebung und gewähren Sie dem
Dienst-Agent-Erweiterung für Cloud Composer v2 API zuweisen.
Prüfen Sie, ob Sie das für Ihre Umgebung vorgesehene Dienstkonto verwenden.
und klicken Sie auf Erteilen.
Geben Sie im Feld Nameexample-environment ein.
Wählen Sie in der Drop-down-Liste Standort eine Region für die Cloud Composer-Umgebung aus. In dieser Anleitung wird die Region us-central1 verwendet.
Übernehmen Sie für die anderen Optionen der Umgebungskonfiguration die angegebenen Standardeinstellungen.
Klicken Sie auf Erstellen und warten Sie, bis die Umgebung erstellt ist.
Wenn der Vorgang abgeschlossen ist, wird neben dem Umgebungsnamen ein grünes Häkchen angezeigt.
DAG-Datei erstellen
Ein Airflow-DAG ist eine Sammlung organisierter Aufgaben,
die Sie planen und ausführen möchten. DAGs werden in Standard-Python-Dateien definiert.
In dieser Anleitung wird ein Beispiel für einen Airflow-DAG verwendet, der in der Datei quickstart.py definiert ist.
Der Python-Code in dieser Datei führt Folgendes aus:
Erstellt den DAG composer_sample_dag. Dieser DAG wird täglich ausgeführt.
Die Aufgabe print_dag_run_conf wird ausgeführt. Sie gibt mithilfe des bash-Operators die Konfiguration der DAG-Ausführung aus.
Speichern Sie eine Kopie der Datei quickstart.py auf Ihrem lokalen Computer:
import datetime
from airflow import models
from airflow.operators import bash
# If you are running Airflow in more than one time zone
# see https://airflow.apache.org/docs/apache-airflow/stable/timezone.html
# for best practices
YESTERDAY = datetime.datetime.now() - datetime.timedelta(days=1)
default_args = {
"owner": "Composer Example",
"depends_on_past": False,
"email": [""],
"email_on_failure": False,
"email_on_retry": False,
"retries": 1,
"retry_delay": datetime.timedelta(minutes=5),
"start_date": YESTERDAY,
}
with models.DAG(
"composer_quickstart",
catchup=False,
default_args=default_args,
schedule_interval=datetime.timedelta(days=1),
) as dag:
# Print the dag_run id from the Airflow logs
print_dag_run_conf = bash.BashOperator(
task_id="print_dag_run_conf", bash_command="echo {{ dag_run.id }}"
)
DAG-Datei in den Bucket Ihrer Umgebung hochladen
Jede Cloud Composer-Umgebung hat ein Cloud Storage-
Bucket verknüpft. Airflow nur in Cloud Composer-Zeitplänen
DAGs, die sich in diesem Bucket im Ordner /dags befinden.
Laden Sie zum Planen des DAG quickstart.py von Ihrem lokalen Computer auf den
Ordner /dags der Umgebung:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung.
example-environment Die Seite Umgebungsdetails wird geöffnet.
Klicken Sie auf DAGs-Ordner öffnen. Die Seite Bucket-Details wird geöffnet.
Klicken Sie auf Dateien hochladen und wählen Sie dann Ihre Kopie von quickstart.py aus.
Klicken Sie zum Hochladen der Datei auf Öffnen.
DAG aufrufen
Nachdem Sie die DAG-Datei hochgeladen haben, führt Airflow die folgenden Schritte aus:
Analysiert die von Ihnen hochgeladene DAG-Datei. Es kann einige Minuten dauern,
DAG, der für Airflow verfügbar gemacht wird.
Fügt den DAG der Liste der verfügbaren DAGs hinzu.
Führt den DAG gemäß dem Zeitplan aus, den Sie in der DAG-Datei angegeben haben.
Prüfen Sie, ob Ihr DAG fehlerfrei verarbeitet wird und in Airflow verfügbar ist, indem Sie
in der DAG-UI ansehen. DAG-UI ist die Cloud Composer-Oberfläche zum Ansehen
DAG-Informationen in der Google Cloud Console Cloud Composer bietet auch
Zugriff auf die Airflow-UI, ein natives Airflow-Web
.
Warten Sie etwa fünf Minuten, damit Airflow die DAG-Datei verarbeitet hat
die Sie zuvor hochgeladen haben, und um die erste DAG-Ausführung abzuschließen
(Erläuterung später).
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung.
example-environment Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab DAGs auf.
Prüfen, ob der DAG composer_quickstart vorhanden ist
in der Liste der DAGs.
<ph type="x-smartling-placeholder"></ph>
<ph type="x-smartling-placeholder"></ph>
<ph type="x-smartling-placeholder"></ph>
Abbildung 1: In der Liste der DAGs werden die
DAG „composer_quickstart“ (zum Vergrößern klicken)
Details zur DAG-Ausführung ansehen
Eine einzelne Ausführung eines DAG wird als DAG-Ausführung bezeichnet. Airflow sofort
führt eine DAG-Ausführung für den Beispiel-DAG aus, da das Startdatum in der DAG-Datei
gestern festgelegt. So greift Airflow den angegebenen DAGs auf
ein.
Der Beispiel-DAG enthält die Aufgabe print_dag_run_conf, die den echo ausführt.
in der Konsole. Dieser Befehl gibt Metainformationen zum DAG aus
(Numerische Kennung der DAG-Ausführung).
Klicken Sie auf dem Tab DAGs auf composer_quickstart. Der Tab Ausführungen für die
Der DAG wird geöffnet.
Klicken Sie in der Liste der DAG-Ausführungen auf den ersten Eintrag.
<ph type="x-smartling-placeholder"></ph>
<ph type="x-smartling-placeholder"></ph>
<ph type="x-smartling-placeholder"></ph>
Abbildung 2: Die Liste der DAG-Ausführungen für den
DAG „composer_quickstart“ (zum Vergrößern klicken)
Es werden DAG-Ausführungsdetails mit Informationen zu einzelnen
Aufgaben des Beispiel-DAG.
<ph type="x-smartling-placeholder"></ph>
<ph type="x-smartling-placeholder"></ph>
<ph type="x-smartling-placeholder"></ph>
Abbildung 3: Die Liste der Aufgaben, die ausgeführt wurden in
die DAG-Ausführung (zum Vergrößern klicken)
Im Abschnitt Logs für DAG-Ausführung werden Logs für alle Aufgaben in der DAG-Ausführung aufgeführt.
Die Ausgabe des Befehls echo können Sie den Logs entnehmen.
Wählen Sie den Bucket der Umgebung aus und klicken Sie auf Löschen. Dieser Bucket kann beispielsweise us-central1-example-environ-c1616fe8-bucket heißen.
Löschen Sie den nichtflüchtigen Speicher der Redis-Warteschlange Ihrer Umgebung. Durch das Löschen der Cloud Composer-Umgebung wird der nichtflüchtige Speicher nicht gelöscht.
Gehen Sie in der Google Cloud Console zu
Compute Engine > Laufwerke:
Wählen Sie den nichtflüchtigen Speicher der Redis-Warteschlange der Umgebung aus und klicken Sie auf Löschen.
Dieses Laufwerk kann z. B.
mit dem Namen pvc-02bc4842-2312-4347-8519-d87bdcd31115. Laufwerke für
Cloud Composer 2 hat immer den Typ Balanced persistent disk und
so groß wie 2 GB.