Integração com o YouTube (DV360)

Esta página descreve as configurações necessárias para trazer dados do YouTube com o Display & Video 360 (DV360) como uma fonte de dados da carga de trabalho de marketing do Cortex Framework Data Foundation.

O DV360 é uma plataforma de publicidade do Google para gerenciar anúncios do YouTube com outros canais digitais, oferecendo aos anunciantes mais controle e eficiência nos esforços de marketing.

O diagrama a seguir descreve como os dados do DV360 estão disponíveis na carga de trabalho de marketing do Cortex Framework Data Foundation:

Figura 1. Origem de dados do DV360.

Observação: para acessar arquivos de configuração, visualizações analíticas e modelos da fonte de dados do DV360, consulte o diretório da fonte de dados.

Arquivo de configuração

O arquivo config.json configura as configurações necessárias para se conectar a fontes de dados para transferir dados de várias cargas de trabalho. Esse arquivo contém os seguintes parâmetros para o DV360:

   "marketing": {
        "deployDV360": true,
        "DV360": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_DV360"
            }
        }
   }

A tabela a seguir descreve o valor de cada parâmetro de marketing:

Parâmetro	Significado	Valor padrão	Descrição
marketing.deployDV360	Implantar o DV360	true	Execute a implantação para a origem de dados do DV360.
marketing.DV360.deployCDC	Implantar scripts de CDC para o DV360	true	Gere scripts de processamento de CDC do DV360 para serem executados como DAGs no Cloud Composer.
marketing.DV360.datasets.cdc	Conjunto de dados do CDC para o DV360	-	Conjunto de dados do CDC para o DV360.
marketing.DV360.datasets.raw	Conjunto de dados brutos para o DV360	-	Conjunto de dados brutos do DV360.
marketing.DV360.datasets.reporting	Conjunto de dados de relatórios para o DV360	REPORTING_DV360	Conjunto de dados de relatórios do DV360.

Modelo de dados

Esta seção descreve o modelo de dados do YouTube (com o DV360) usando o diagrama de relacionamento de entidades (ERD, na sigla em inglês).

Figura 2. YouTube (com o DV360): diagrama de relacionamento de entidades.

Visualizações de relatórios

Os objetos azuis no ERD representam visualizações de relatórios que contêm métricas agregadas. Consulte os scripts em src/marketing/src/DV360/src/reporting/ddls.

Configurar a extração de dados brutos do DV360

O Cortex Framework se integra ao DV360 usando o recurso de relatórios instantâneos. O Relatório instantâneo é um recurso confiável e de baixo custo do DV360 que permite salvar, programar e fazer o download de relatórios maiores e mais complexos em arquivos e locais diferentes. Cada relatório cria periodicamente tabelas de dados de exportação no BigQuery com o mesmo prefixo de nome de tabela configurado, que contém dados para o intervalo de datas selecionado na frequência selecionada.

Observação: o Google vai migrar todos os relatórios off-line para os relatórios instantâneos a partir de julho de 2024. O recurso Exportar para o BigQuery funciona da mesma forma nos dois tipos de relatórios. Você é responsável por gerenciar todos os relatórios de Relatórios instantâneos. O Cortex Framework não configura nem controla o comportamento.

Permissões

Para exportar dados brutos do DV360 usando o Instant Reporting, é necessário ter as seguintes permissões:

• DV360:
  • Acesso padrão para os parceiros ou anunciantes selecionados.
• Google Cloud:
  • Papel BigQuery User atribuído à conta de serviço do DV360.
  • Papel BigQuery Data Editor atribuído à conta de serviço do DV360.

Configurar

Siga estas etapas para configurar a exportação de tabelas brutas do DV360.

1. Identifique a conta de serviço necessária pelo DV360 BigQuery Exporter na seção "Detalhes da permissão" da seção "Vincular conta do BigQuery Exporter". Consulte a Figura 2 para mais informações.
   Figura 2. Como identificar a conta de serviço na opção "Vincular conta do BigQuery Exporter"
2. Receber permissões Google Cloud . Uma pessoa com o papel BigQuery Administrator precisa conceder os papéis BigQuery User e BigQuery Data Editor à conta de serviço do DV360 identificada na etapa anterior.
3. Vincule o BigQuery ao DV360, especificando o conjunto de dados brutos que você pretende usar no processo. Siga as instruções na seção Relatórios off-line > Ativar o BigQuery.

4. Acesse a seção Relatórios instantâneos e crie um relatório para cada linha na tabela a seguir, com as colunas exatamente como mostrado. Para mais informações sobre arquivos de definições detalhadas de esquemas de colunas em src/DV360/config/table_schema, consulte a seção Esquema de tabela bruto para CDC.

   1. Adicione pelo menos um filtro de parceiro ou anunciante. Confira se isso está alinhado com as permissões da sua vinculação do BigQuery na etapa 3.
   Observação: talvez seja necessário configurar vários relatórios ou exportações se você exportar vários parceiros ou anunciantes.
   1. Selecione Fuso horário do anunciante como a configuração de fuso horário do relatório. Para mais informações, consulte a seção Considerações adicionais.
   Observação: se sua conta ou link do BigQuery tiver apenas acesso do anunciante, não será possível incluir um filtro Parceiro. Caso contrário, a opção Exportar para o BigQuery será desativada até que o filtro do parceiro seja removido.

   Prefixo da tabela	Campos a serem incluídos
   lineitem_details	Data ID do item de linha Item de linha ID da campanha Campanha Tipo de item de linha Data de início do item de linha Data de término do item de linha	Impressões
   lineitem_insights	Data ID do item de linha Tipo de dispositivo Navegador Ambiente País ID do parceiro Parceiro Moeda do parceiro ID do anunciante Anunciante Moeda do anunciante ID da campanha Campanha Código do pedido de inserção Pedido de veiculação Item de linha Tipo de item de linha Data de início do item de linha Data de término do item de linha	Impressões Cliques Receita (USD) Envolvimento Receita (moeda do parceiro) Receita (moeda do anunciante) TrueView: visualizações
   adgroup_insights_by_age_gender	Data ID do grupo de anúncios do YouTube Idade (YouTube) Gênero ID do item de linha ID do parceiro Parceiro Moeda do parceiro AdvertiserID Anunciante Moeda do anunciante Código do pedido de inserção Pedido de veiculação Item de linha Grupo de anúncios do YouTube	Receita (USD) Impressões Cliques Engajamentos (YouTube) Receita (moeda do parceiro) Receita (moeda do anunciante) TrueView: visualizações
   adgroup_insights_by_audience	Data ID do grupo de anúncios do YouTube Segmento de público-alvo Tipo de segmento de público-alvo ID do item de linha ID do parceiro Parceiro PartnerCurrency ID do anunciante Anunciante Moeda do anunciante Código do pedido de inserção Pedido de veiculação Item de linha	Impressões Cliques Grupo de anúncios do YouTube Receita (USD) Engajamentos (YouTube) Receita (moeda do parceiro) Receita (moeda do anunciante) TrueView: visualizações
   adgroup_insights_by_adformat	Data ID do grupo de anúncios do YouTube Formato do anúncio do YouTube ID do item de linha ID do parceiro Parceiro Moeda do parceiro ID do anunciante Anunciante Moeda do anunciante Código do pedido de inserção Pedido de veiculação Item de linha	Impressões Cliques Grupo de anúncios do YouTube Receita (USD) Engajamentos (YouTube) Receita (moeda do parceiro) Receita (moeda do anunciante) TrueView: visualizações
   adgroup_insights_by_placement	Data ID do grupo de anúncios do YouTube Canal (todos os canais do YouTube) Nome da posição (todos os canais do YouTube) ID do item de linha PartnerID Parceiro Moeda do parceiro ID do anunciante Anunciante Moeda do anunciante Código do pedido de inserção Pedido de veiculação Item de linha	Impressões Grupo de anúncios do YouTube Receita (USD) Engajamentos (YouTube) Receita (moeda do parceiro) Receita (moeda do anunciante) TrueView: visualizações
   adgroup_insights_by_adtype	Data ID do grupo de anúncios do YouTube Tipo de anúncio do YouTube ID do item de linha ID do parceiro Parceiro Moeda do parceiro ID do anunciante Anunciante Moeda do anunciante Código do pedido de inserção Pedido de veiculação Item de linha	Impressões Cliques Grupo de anúncios do YouTube Receita (USD) Engajamentos (YouTube) Receita (moeda do parceiro) Receita (moeda do anunciante) TrueView: visualizações
   ad_insights	Data ID do anúncio do YouTube ID do item de linha ID do parceiro Parceiro Moeda do parceiro ID do anunciante Anunciante AdvertiserCurrency Código do pedido de inserção Pedido de veiculação Item de linha ID do grupo de anúncios do YouTube Grupo de anúncios do YouTube Anúncio do YouTube	Impressões Cliques Receita (USD) Engajamentos (YouTube) Receita (moeda do parceiro) Receita (moeda do anunciante) TrueView: visualizações

5. Configure a programação e preencha os dados históricos. Use o mesmo link do BigQuery configurado na etapa 1 e o prefixo da tabela exatamente como mostrado na tabela anterior. Para mais informações, consulte a seção Considerações adicionais.

6. • Acione manualmente uma execução de preenchimento ou aguarde a exportação programada iniciar. De qualquer forma, seus dados vão automaticamente para o conjunto de dados brutos configurado para o link do BigQuery.

Outras considerações

Sobre a seleção de fuso horário:

• Em alguns tipos de relatórios, você tem a opção de escolher o fuso horário do anunciante ou o fuso horário UTC para datas no momento da configuração da exportação. No entanto, os relatórios relacionados ao YouTube só aceitam o fuso horário do anunciante. Portanto, selecione a configuração de fuso horário Anunciante ao configurar as exportações.

• Como a exportação de relatórios é pré-agregada ao nível diário, o Cortex Framework usa a data fornecida diretamente sem conversões de fuso horário. Você é responsável por interpretar as informações de fuso horário informadas.

Sobre a programação e o preenchimento de dados históricos:

• Recomendamos selecionar últimos 7 dias como período de exportação e Diário como frequência. Selecionar um período de exportação e uma frequência de exportação é necessário para encontrar um equilíbrio entre a precisão dos dados e o custo de armazenamento, embora qualquer configuração funcione com nosso processo de CDC.

• O Instant Reporting oferece suporte à exportação de até 14 dias de dados para o BigQuery, embora o DV360 possa fazer atualizações menores nos dados até 31 dias após a data do relatório. Se você configurar a exportação para vários anunciantes, a data de cada um deles vai estar no fuso horário deles.

• Se dados históricos forem necessários, como casos únicos não programados, os Relatórios instantâneos permitem exportar até dois anos de dados para as tabelas do BigQuery. Faça isso pelo menos uma vez, manualmente na interface do DV360.

Atualização e atraso de dados

Como regra geral, a atualidade dos dados para fontes de dados do Cortex Framework é limitada pelo que a conexão upstream permite, bem como pela frequência da execução da DAG. Ajuste a frequência de execução do DAG para alinhá-la à frequência upstream, às restrições de recursos e às necessidades da sua empresa.

Com o DV360 Instant Reporting, a atualização dos dados depende da configuração da frequência de exportação quando a exportação do BigQuery é configurada, que pode ser diária, semanal ou mensal.

Configurações

Esta seção descreve as configurações do processo de dados.

Conexões do Cloud Composer

Crie as seguintes conexões no Cloud Composer. Confira mais detalhes na documentação do Cloud Composer.

Nome da conexão	Purpose
dv360_cdc_bq	Para o conjunto de dados brutos > Transferência de conjunto de dados do CDC.
dv360_reporting_bq	Para o conjunto de dados do CDC > Transferência de conjunto de dados de relatórios.

Esquema da tabela de bruto para CDC

O diretório src/DV360/config/table_schema contém um arquivo de esquema por conjunto de tabelas (identificado pelo mesmo prefixo), que é exportado do DV360. Cada arquivo de esquema contém duas colunas: ColumnName e ColumnDataType.

Observação: se o caso de uso incluiu colunas adicionais na exportação do Instant Reporting, inclua-as também nos arquivos de esquema correspondentes.

Configurações de transferência

O arquivo src/DV360/config/ingestion_settings.yaml contém outras configurações que controlam os pipelines de dados de origem para CDC.

Fonte para tabelas de CDC

Esta seção tem entradas que controlam como as tabelas exportadas do DV360 são ingeridas e o comportamento relevante do processo de CDC. Cada entrada corresponde a um relatório do Instant Reporting, identificado pelo prefixo de exportação.

Os parâmetros a seguir controlam as configurações de Source to CDC para cada entrada:

Parâmetro	Descrição
base_table	Tabela no conjunto de dados da CDC em que os dados brutos são armazenados após a transformação da CDC (por exemplo, customer).
load_frequency	Com que frequência um DAG dessa entidade é executado para preencher a tabela CDC. Para mais informações sobre os valores possíveis, consulte a documentação do Airflow.
raw_table_prefix	Prefixo usado pelo relatório correspondente do Instant Analytics para configurar essa exportação do BigQuery.
row_identifiers	Colunas (separadas por vírgulas) que formam um registro exclusivo para esta tabela.
partition_details	Opcional:se você quiser que essa tabela seja particionada por motivos de performance. Para mais informações, consulte Particionamento de tabelas.
cluster_details	Opcional:se você quiser que essa tabela seja agrupada por motivos de performance, consulte mais informações em Configurações do cluster.

Configurações de relatórios

É possível configurar e controlar como o Framework Cortex gera dados para a camada de relatórios final do DV360 usando o arquivo de configurações de relatórios src/DV360/config/reporting_settings.yaml. Esse arquivo controla como os objetos do BigQuery da camada de relatórios (tabelas, visualizações,funções ou procedimentos armazenados) são gerados.

Para mais informações, consulte Como personalizar o arquivo de configurações de relatórios.

A seguir

• Para mais informações sobre outras fontes de dados e cargas de trabalho, consulte Fontes de dados e cargas de trabalho.
• Para mais informações sobre as etapas de implantação em ambientes de produção, consulte Pré-requisitos de implantação da base de dados do Cortex Framework.