Recolher definições do Cloud Composer

Esta página descreve como reunir as definições do Cloud Composer para automatizar os dados na framework Cortex.

Se o Cloud Composer estiver disponível, tem de criar ligações no Cloud Composer que apontem para o projeto de origem onde os seus dados residem, com os seguintes nomes com base na carga de trabalho para implementação. Para ver detalhes sobre as cargas de trabalho, consulte o artigo Origens de dados e cargas de trabalho. Se estiver a criar tabelas na camada de relatórios, certifique-se de que cria ligações separadas para DAGs de relatórios.

Implementar carga de trabalho	Crie para o formato RAW	Crie para o CDC	Criar para relatórios
SAP	N/A	sap_cdc_bq	sap_reporting_bq
SFDC	sfdc_cdc_bq	sfdc_cdc_bq	sfdc_reporting_bq
Google Ads	googleads_raw_dataflow	googleads_cdc_bq	googleads_reporting_bq
CM360	cm360_raw_dataflow	cm360_cdc_bq	cm360_reporting_bq
Meta	meta_raw_dataflow	meta_cdc_bq	meta_reporting_bq
TikTok	tiktok_raw_dataflow	tiktok_cdc_bq	tiktok_reporting_bq
LiveRamp	N/A	liveramp_cdc_bq	N/A
SFMC	sfmc_raw_dataflow	sfmc_cdc_bq	sfmc_reporting_bq
DV360	N/A	dv360_cdc_bq	dv360_reporting_bq
GA4	N/A	N/A	ga4_reporting_bq
Oracle EBS	N/A	N/A	oracleebs_reporting_bq
Sustentabilidade	N/A	N/A	k9_reporting_bq
Dimensões comuns	N/A	N/A	k9_reporting

Nota: nem todas as origens de dados requerem ligações individuais para a respetiva camada de dados não processados ou de CDC.

Convenções de nomenclatura de associações

Considere as seguintes especificações para convenções de nomenclatura de associações:

• Sufixos de associação: os nomes das associações incluem sufixos que indicam a respetiva finalidade:
  • _bq: usado para aceder aos dados do BigQuery.
  • _dataflow: usado para executar tarefas do Dataflow.
• Associações de dados não processados: só precisa de criar associações para dados não processados se estiver a usar os módulos de carregamento de dados fornecidos pelo Cortex.
• Várias origens de dados: se estiver a implementar várias origens de dados (por exemplo, o SAP e o Salesforce), recomendamos que crie ligações separadas para cada uma, partindo do princípio de que as limitações de segurança são aplicadas a contas de serviço individuais. Em alternativa, pode modificar o nome da associação no modelo antes da implementação para usar a mesma associação para escrever no BigQuery.

Práticas recomendadas de segurança

• Evite associações predefinidas: não é recomendável usar as associações e as contas de serviço predefinidas oferecidas pelo Airflow, especialmente em ambientes de produção. Isto está alinhado com o princípio do menor privilégio, que enfatiza a concessão apenas das autorizações de acesso mínimas necessárias.
• Integração do Secret Manager: se tiver o Secret Manager ativado para o Airflow, pode criar estas associações no Secret Manager com os mesmos nomes. As associações armazenadas no Secret Manager têm precedência sobre as definidas diretamente no Airflow.