Anleitungen

Umgebungen erstellen

• Cloud Composer-Dienst aktivieren und deaktivieren

  Aktivieren und deaktivieren Sie den Cloud Composer-Dienst in Ihrem Projekt.

• Umgebungen erstellen

  Erstellen Sie Cloud Composer-Umgebungen mit der Google Cloud Console, gcloud, der Cloud Composer API und Terraform.

Netzwerk konfigurieren

• Privates IP-Netzwerk konfigurieren

  Konfigurieren Sie Ihr Projektnetzwerk für private IP-Umgebungen in Cloud Composer.

• Freigegebenes VPC-Netzwerk konfigurieren

  Konfigurieren Sie das Host- und Dienstprojekt für Cloud Composer-Umgebungen.

• VPC Service Controls konfigurieren

  Erstellen Sie Umgebungen in einem VPC Service Controls-Perimeter.

• Umfangreiche Netzwerke für Cloud Composer-Umgebungen konfigurieren

  Organisieren Sie Informationen zu umfangreichen Netzwerken für Cloud Composer-Umgebungen.

• Privat genutzte öffentliche IP-Bereiche konfigurieren

  Verwenden Sie privat genutzte öffentliche IP-Bereiche in Ihren Umgebungen.

• IP-Masquerade-Agent aktivieren

  Verwenden Sie die IP-Maskierung für Ihre Umgebung.

Umgebungen konfigurieren

• Umgebungsvariablen festlegen

  Legen Sie Umgebungsvariablen fest, die für die Apache Airflow-Planer-, Worker- und Webserverprozesse verfügbar sind.

• Airflow-Konfigurationsoptionen überschreiben

  Überschreiben Sie die Airflow-Konfigurationsoptionen, um die Airflow-Instanz an Ihre Erfordernisse und Anforderungen anzupassen.

• Umgebungen skalieren

  Ändern Sie die Skalierungs- und Leistungsparameter Ihrer Umgebung.

• Airflow-Verbindungen verwalten

  Speichern Sie die Verbindungsinformationen, die Airflow für die Kommunikation mit anderen APIs verwendet, z. B. mit Google Cloud-Projekten, anderen Cloud-Anbietern oder Diensten von Drittanbietern.

• DAG-Serialisierung aktivieren und deaktivieren

  Konfigurieren Sie den Airflow-Planer so, dass DAG-Dateien verarbeitet werden, bevor sie an den Webserver gesendet werden.

• Wartungsfenster angeben

  Konfigurieren Sie Zeitfenster, in denen Cloud Composer eine Wartung für Ihre Umgebung vornehmen kann.

• E-Mail-Benachrichtigungen konfigurieren

  Konfigurieren Sie SMTP-Dienste für Ihre Umgebung.

• Umgebungslabels verwalten und Umgebungskosten aufschlüsseln

  Sie können Ihren Umgebungen Labels zuweisen und dann die Abrechnungskosten basierend auf diesen Labels aufschlüsseln.

Sicherheits- und Zugriffssteuerung konfigurieren

• Zugriffssteuerung mit IAM

  Weisen Sie Rollen und Berechtigungen für Nutzer- und Dienstkonten zu, die mit Cloud Composer funktionieren.

• Zugriffssteuerung für die Airflow-UI

  Mit der Airflow-UI-Zugriffssteuerung (Rollenbasierte Zugriffssteuerung oder Airflow-RBAC) können Sie Berechtigungen für Aktionen zuweisen, die in der Airflow-UI verfügbar sind.

• Vom Kunden verwaltete Verschlüsselungsschlüssel verwenden

  Verschlüsseln Sie Daten in Ihrer Umgebung mit vom Kunden verwalteten Verschlüsselungsschlüsseln (CMEK).

• Beschränkungen von Ressourcenstandorten konfigurieren

  Konfigurieren Sie Beschränkungen für Ressourcenstandorte, damit Cloud Composer Ihre Daten an den von Ihnen angegebenen Speicherorten speichert.

• Secret Manager konfigurieren

  Speichern Sie sensible Daten im Secret Manager und greifen Sie von Ihrer Umgebung aus darauf zu.

Umgebungen aktualisieren, aktualisieren und löschen

• Umgebungen aktualisieren

  Ändern Sie die Konfiguration Ihrer Umgebung.

• Umgebungen upgraden

  Führen Sie ein Upgrade Ihrer Umgebung auf neuere Versionen von Cloud Composer und Airflow durch.

• Umgebungen löschen

  Löschen Sie Ihre Umgebung.

• Umgebungs-Snapshots speichern und laden

  Speichern und laden Sie den Status Ihrer Umgebung mithilfe von Umgebungs-Snapshots.

• Airflow-Datenbank bereinigen

  Entfernen Sie alte Einträge aus der Airflow-Datenbank, um sie zu verkleinern.

• Umgebungen zu Airflow 2 migrieren

  DAGs, Daten und Konfiguration von einem vorhandenen Airflow 1.10 übertragen.* in Airflow 2-Umgebungen um.

• Umgebungen zu Cloud Composer 2 migrieren (von Airflow 2)

  Übertragen Sie DAGs, Daten und Konfigurationen aus Ihrer vorhandenen Cloud Composer 1-Umgebung mit Airflow 2 in eine Cloud Composer 2-Umgebung.

• Umgebungen mithilfe von Snapshots zu Cloud Composer 2 (aus Airflow 2) migrieren

  Übertragen Sie mithilfe von Umgebungs-Snapshots DAGs, Daten und Konfigurationen aus Ihrer vorhandenen Cloud Composer 1-Umgebung mit Airflow 2 in eine Cloud Composer 2-Umgebung.

• Umgebungen zu Cloud Composer 2 migrieren (von Airflow 1)

  Übertragen Sie DAGs, Daten und Konfigurationen aus Ihrer vorhandenen Cloud Composer 1-Umgebung mit Airflow 1 in eine Cloud Composer 2-Umgebung.

• Umgebungen mithilfe von Snapshots zu Cloud Composer 2 (von Airflow 1) migrieren

  Übertragen Sie mithilfe von Umgebungs-Snapshots DAGs, Daten und Konfigurationen aus Ihrer vorhandenen Cloud Composer 1-Umgebung mit Airflow 1 in eine Cloud Composer 2-Umgebung.

Auf Umgebungen zugreifen

• Airflow-Befehlszeile

  Führen Sie Befehle der Airflow-Befehlszeile in Ihrer Umgebung aus.

• Airflow-Weboberfläche

  Rufen Sie die Airflow-UI für Ihre Umgebung auf.

• Airflow REST API

  Senden Sie Anfragen an die Airflow REST API.

• Airflow-Datenbank

  Rufen Sie die Airflow-Datenbank auf und führen Sie Abfragen aus.

DAGs verwalten

• DAGs schreiben

  Schreiben Sie DAG-Definitionsdateien.

• DAGs hinzufügen und aktualisieren

  Laden Sie DAGs in den Bucket Ihrer Umgebung hoch.

• DAGs auslösen

  Lösen Sie DAGs nach Zeitplan, manuell und mit anderen Methoden aus.

• Operatoren aus Backport-Anbieterpaketen importieren

  Verwenden Sie neuere Versionen von Operatoren in Ihren Airflow 1.10.*-Umgebungen, indem Sie diese aus Backport-Operatorpaketen importieren.

• KubernetesPodOperator verwenden

  Führen Sie Pods im Cluster Ihrer Umgebung mit KubernetesPodOperator aus.

• GKE-Operatoren verwenden

  Verwalten Sie Cluster und führen Sie Pods darin mithilfe von GKE-Operatoren aus.

• Aufgaben in DAGs gruppieren

  Gruppieren Sie Aufgaben in Ihren DAGs mithilfe verschiedener Methoden, die von Airflow bereitgestellt werden.

• DAGs mit Cloud Functions auslösen

  Lösen Sie DAGs in Ihrer Umgebung mithilfe von Cloud Functions aus.

• Benutzerdefinierte Plug-ins installieren

  Installieren Sie benutzerdefinierte Plug-ins in Ihrer Cloud Composer-Umgebung.

• Python-Abhängigkeiten installieren

  Installieren Sie Python-Pakete in Ihrer Umgebung.

• DAGs testen

  Prüfen Sie DAGs auf Fehler und aktualisieren und testen Sie bereitgestellte DAGs.

Umgebungen überwachen

• Airflow-Logs ansehen

  Rufen Sie die Airflow-Logs für Ihre Umgebung auf und sehen Sie sich diese an.

• Audit-Logs ansehen

  Aktivieren Sie Audit-Logs für Cloud Composer und sehen Sie sich diese an.

• Umgebungen überwachen

  Greifen Sie auf das Monitoring-Dashboard Ihrer Umgebung zu und verwenden Sie es.

• Umgebungen mit Monitoring überwachen

  Sehen Sie sich Messwerte Ihrer Umgebung in Monitoring an und greifen Sie in Cloud Logging auf Umgebungslogs zu.