Configure conjuntos de dados externos

Esta página descreve um passo opcional para configurar conjuntos de dados externos para a implementação da base de dados do Cortex Framework. Alguns exemplos de utilização avançados podem exigir conjuntos de dados externos para complementar um sistema de registo empresarial. Além das trocas externas consumidas a partir da partilha do BigQuery (anteriormente Analytics Hub), alguns conjuntos de dados podem precisar de métodos personalizados ou adaptados para carregar dados e associá-los aos modelos de relatórios.

Para ativar os seguintes conjuntos de dados externos, defina k9.deployDataset como True se quiser implementar o conjunto de dados.

Configure os gráficos acíclicos dirigidos (DAGs) para os conjuntos de dados externos suportados seguindo estes passos:

  1. Calendário de feriados: este DAG obtém as datas especiais de PyPi Holidays.

    1. Ajuste a lista de países, a lista de anos e outros parâmetros DAG para obter feriados em holiday_calendar.ini.

  2. Tendências: este DAG obtém o interesse ao longo do tempo para um conjunto específico de termos das tendências da Pesquisa Google. Os termos podem ser configurados em trends.ini.

    1. Após uma execução inicial, ajuste o start_date para 'today 7-d' em trends.ini.
    2. Familiarize-se com os resultados dos diferentes termos para ajustar os parâmetros.
    3. Recomendamos que particione listas grandes em várias cópias deste DAG executadas em momentos diferentes.
    4. Para mais informações sobre a biblioteca subjacente que está a ser usada, consulte o artigo Pytrends.

  3. Tempo: por predefinição, este DAG usa o conjunto de dados de teste BigQuery-public-data.geo_openstreetmap.planet_layers disponível publicamente. A consulta também se baseia num conjunto de dados da NOAA disponível apenas através da partilha: noaa_global_forecast_system.

    Este conjunto de dados tem de ser criado na mesma região que os outros conjuntos de dados antes de executar a implementação. Se os conjuntos de dados não estiverem disponíveis na sua região, pode continuar com as seguintes instruções para transferir os dados para a região escolhida:

    1. Aceda à página Partilha (Centro de análise).
    2. Clique em Pesquisar fichas.
    3. Pesquise NOAA Global Forecast System.
    4. Clique em Subscrever.
    5. Quando lhe for pedido, mantenha noaa_global_forecast_system como o nome do conjunto de dados. Se necessário, ajuste o nome do conjunto de dados e da tabela nas cláusulas FROM em weather_daily.sql.
    6. Repita a pesquisa de fichas para o conjunto de dados OpenStreetMap Public Dataset.
    7. Ajuste as cláusulas FROMque contêm: BigQuery-public-data.geo_openstreetmap.planet_layers em postcode.sql.

  4. Sustentabilidade e estatísticas de ESG: a estrutura do Cortex combina os dados de desempenho dos fornecedores da SAP com estatísticas de ESG avançadas para comparar o desempenho das entregas, a sustentabilidade e os riscos de forma mais holística nas operações globais. Para mais informações, consulte a origem de dados da Dun & Bradstreet.

Considerações gerais

  • A partilha só é suportada em localizações na UE e nos EUA, e alguns conjuntos de dados, como a previsão global da NOAA, só são oferecidos numa única localização múltipla.

    Se estiver a segmentar uma localização diferente da disponível para o conjunto de dados necessário, recomendamos que crie uma consulta agendada para copiar os novos registos do conjunto de dados associado à partilha, seguida de um serviço de transferência para copiar esses novos registos para um conjunto de dados localizado na mesma localização ou região que o resto da sua implementação. Em seguida, tem de ajustar os ficheiros SQL.

  • Antes de copiar estes DAGs para o Cloud Composer, adicione os módulos do Python necessários como dependências:

    Required modules:
pytrends~=4.9.2
holidays