Cloud Composer-Einstellungen abrufen
Auf dieser Seite wird beschrieben, wie Sie die Cloud Composer-Einstellungen erfassen, um Daten im Cortex-Framework zu automatisieren.
Wenn Cloud Composer verfügbar ist, müssen Sie in Cloud Composer Verbindungen erstellen, die auf das Quellprojekt verweisen, in dem sich Ihre Daten befinden. Die folgenden Namen basieren auf der Arbeitslast für die Bereitstellung. Weitere Informationen zu Arbeitslasten finden Sie unter Datenquellen und Arbeitslasten. Wenn Sie Tabellen in der Berichtsebene erstellen, müssen Sie separate Verbindungen für DAGs für die Berichterstellung erstellen.
| Arbeitslast bereitstellen | Für Raw erstellen | Für CDC erstellen | Für die Berichterstellung erstellen |
| SAP | – | sap_cdc_bq
|
sap_reporting_bq
|
| SFDC | sfdc_cdc_bq
|
sfdc_cdc_bq
|
sfdc_reporting_bq
|
| Google Ads | googleads_raw_dataflow
|
googleads_cdc_bq
|
googleads_reporting_bq
|
| CM360 | cm360_raw_dataflow
|
cm360_cdc_bq
|
cm360_reporting_bq
|
| Meta | meta_raw_dataflow
|
meta_cdc_bq
|
meta_reporting_bq
|
| TikTok | tiktok_raw_dataflow
|
tiktok_cdc_bq
|
tiktok_reporting_bq
|
| LiveRamp | – | liveramp_cdc_bq
|
– |
| SFMC | sfmc_raw_dataflow
|
sfmc_cdc_bq
|
sfmc_reporting_bq
|
| DV360 | – | dv360_cdc_bq
|
dv360_reporting_bq
|
| GA4 | – | – | ga4_reporting_bq
|
| Oracle EBS | – | – | oracleebs_reporting_bq
|
| Nachhaltigkeit | – | – | k9_reporting_bq
|
| Häufig verwendete Dimensionen | – | – | k9_reporting
|
Namenskonventionen für Verbindungen
Beachten Sie die folgenden Spezifikationen für Namenskonventionen für Verbindungen:
- Suffixe für Verbindungen: Die Verbindungsnamen enthalten Suffixe, die ihren beabsichtigten Zweck angeben:
_bq: Wird zum Zugriff auf BigQuery-Daten verwendet._dataflow: Wird zum Ausführen von Dataflow-Jobs verwendet.
- Verbindungen für Rohdaten: Sie müssen nur Verbindungen für Rohdaten erstellen, wenn Sie die von Cortex bereitgestellten Datenaufnahmemodule verwenden.
- Mehrere Datenquellen: Wenn Sie mehrere Datenquellen bereitstellen (z. B. SAP und Salesforce), sollten Sie für jede eine separate Verbindung erstellen, sofern Sicherheitseinschränkungen auf einzelne Dienstkonten angewendet werden. Alternativ können Sie den Verbindungsnamen in der Vorlage vor der Bereitstellung ändern, um dieselbe Verbindung zum Schreiben in BigQuery zu verwenden.
Best Practices für Sicherheit
- Standardverbindungen vermeiden: Die Verwendung der von Airflow angebotenen Standardverbindungen und Standarddienstkonten wird nicht empfohlen, insbesondere nicht in Produktionsumgebungen. Das entspricht dem Prinzip der geringsten Berechtigung, bei dem nur die minimal erforderlichen Zugriffsberechtigungen gewährt werden.
- Secret Manager-Integration: Wenn Sie Secret Manager für Airflow aktiviert haben, können Sie diese Verbindungen in Secret Manager mit denselben Namen erstellen. In Secret Manager gespeicherte Verbindungen haben Vorrang vor direkt in Airflow definierten Verbindungen.