Carregue dados do Display & Video 360 para o BigQuery

Pode carregar dados do Display & Video 360 para o BigQuery através do conetor do Serviço de transferência de dados do BigQuery para o Display & Video 360. Com o Serviço de transferência de dados do BigQuery, pode agendar tarefas de transferência recorrentes que adicionam os dados mais recentes do Display & Video 360 ao BigQuery.

Vista geral do conetor

O Serviço de transferência de dados do BigQuery para o conetor do Display & Video 360 suporta as seguintes opções para a sua transferência de dados.

Opções de transferência de dados Apoio técnico
Relatórios suportados O conetor do Display & Video 360 suporta a transferência de dados dos relatórios nos ficheiros Data Transfer v2 (Display & Video DTv2).

Para obter informações sobre como os relatórios do Display & Video 360 são transformados em tabelas e vistas do BigQuery, consulte o artigo Transformação de relatórios do Display & Video 360.
Frequência de repetição O conetor do Display & Video 360 suporta transferências de dados diárias.

Por predefinição, as transferências de dados são agendadas no momento em que são criadas. Pode configurar a hora da transferência de dados quando configurar a transferência de dados.
Período de atualização O conetor do Display & Video 360 obtém dados do Display & Video 360 até 2 dias no momento em que a transferência de dados é executada. Não pode configurar o período de atualização para este conetor.

Para mais informações, consulte o artigo Períodos de atualização.
Disponibilidade de dados de preenchimento Execute um repreenchimento de dados para obter dados fora da transferência de dados agendada. Pode obter dados até ao limite permitido pela política de retenção de dados na sua origem de dados.

Para obter informações acerca da política de retenção de dados do Display & Video 360, consulte o artigo Atualidade e disponibilidade dos dados dos relatórios.

Dados de configuração suportados

Além dos dados de relatórios, o Serviço de transferência de dados do BigQuery também transfere os seguintes dados de configuração do Display & Video 360. Os dados de configuração são obtidos a partir da API Display & Video 360 v3.

Para mais informações acerca de cada tipo de dados de configuração, consulte os seguintes links:

Carregamento de dados de transferências do Display & Video 360

Quando transfere dados do Display & Video 360 para o BigQuery, os dados são carregados para tabelas do BigQuery particionadas por data. A partição da tabela na qual os dados são carregados corresponde à data da origem de dados. Se agendar várias transferências para a mesma data, o Serviço de transferência de dados do BigQuery substitui a partição dessa data específica pelos dados mais recentes. As várias transferências no mesmo dia ou a execução de preenchimentos não resultam em dados duplicados, e as partições para outras datas não são afetadas.

Atualize as janelas

Um período de atualização é o número de dias que uma transferência de dados obtém dados quando ocorre uma transferência de dados. Por exemplo, se a janela de atualização for de três dias e ocorrer uma transferência diária, o Serviço de transferência de dados do BigQuery obtém todos os dados da tabela de origem dos últimos três dias. Neste exemplo, quando ocorre uma transferência diária, o Serviço de transferência de dados do BigQuery cria uma nova partição da tabela de destino do BigQuery com uma cópia dos dados da tabela de origem do dia atual e, em seguida, aciona automaticamente execuções de preenchimento para atualizar as partições da tabela de destino do BigQuery com os dados da tabela de origem dos últimos dois dias. As execuções de preenchimento automático acionadas automaticamente substituem ou atualizam incrementalmente a tabela de destino do BigQuery, consoante as atualizações incrementais sejam ou não suportadas no conector do Serviço de transferência de dados do BigQuery.

Quando executa uma transferência de dados pela primeira vez, a transferência de dados obtém todos os dados de origem disponíveis na janela de atualização. Por exemplo, se a janela de atualização for de três dias e executar a transferência de dados pela primeira vez, o Serviço de transferência de dados do BigQuery obtém todos os dados de origem no prazo de três dias.

Para obter dados fora do período de atualização, como dados do histórico, ou para recuperar dados de quaisquer indisponibilidades ou lacunas de transferência, pode iniciar ou agendar uma execução de preenchimento.

Antes de começar

Reveja os seguintes pré-requisitos e informações antes de criar uma transferência de dados do Display & Video 360.

Pré-requisitos

  • Verifique se concluiu todas as ações necessárias para ativar o Serviço de transferência de dados do BigQuery.
  • Crie um conjunto de dados do BigQuery para armazenar dados do Display & Video 360.
  • Certifique-se de que tem o seu ID de parceiro do Display & Video 360 ou o ID de anunciante. O ID do parceiro é o elemento principal na hierarquia.
  • Certifique-se de que tem autorizações de leitura para aceder aos dados de parceiros ou anunciantes a partir da API Display & Video.

  • Certifique-se de que a sua organização tem acesso aos ficheiros do Data Transfer v2 (DTv2) do Display & Video 360. Estes ficheiros são enviados pela equipa do Display & Video 360 num contentor do Cloud Storage. O pedido de acesso aos ficheiros DTv2 do Display & Video 360 depende de ter ou não um contrato direto com o Display & Video 360. Em ambos os casos, podem aplicar-se custos adicionais.

    • Se tiver um contrato com o Display & Video 360, contacte o apoio técnico do Display & Video 360 para configurar ficheiros DTv2 do Display & Video 360.
    • Se não tiver um contrato com o Display & Video 360, contacte a sua agência para aceder aos ficheiros DTv2 do Display & Video 360.
    • Depois de concluir este passo, recebe um dos seguintes nomes de contentores do Cloud Storage, consoante a configuração seja para um parceiro ou um anunciante:
      • gs://dcdt_-dbm_partnerPARTNER_ID
      • gs://dcdt_-dbm_advertiserADVERTISER_ID

  • Para configurar notificações de execução de transferências para o Pub/Sub, tem de ter autorizações pubsub.topics.setIamPolicy. Para mais informações, consulte o artigo Notificações de execução do Serviço de transferência de dados do BigQuery.

Encontre o seu ID do Display & Video 360

Para aceder ao seu ID do Display & Video 360, navegue para a página do Cloud Storage Recipientes na Google Cloud consola e examine os ficheiros no seu recipiente do Cloud Storage de transferência de dados do Display & Video 360. O ID do Display & Video 360 é usado para fazer corresponder ficheiros no contentor do Cloud Storage fornecido. O ID está incorporado no nome do ficheiro e não no nome do contentor do Cloud Storage. Por exemplo:

  • Num ficheiro denominado dbm_partner123_activity_*, o ID é 123.
  • Num ficheiro denominado dbm_advertiser567_activity_*, o ID é 567.

Encontrar o prefixo do nome de ficheiro

Em alguns casos, os ficheiros no seu contentor do Cloud Storage podem ter nomes de ficheiros personalizados e não padrão que foram configurados para si pela equipa de serviços da Google Marketing Platform. Por exemplo:

Num ficheiro denominado dbm_partner123456custom_activity_*, o prefixo é dbm_partner123456custom.

Para obter ajuda relativamente aos prefixos dos nomes dos ficheiros, contacte o apoio técnico do Display & Video 360.

Configure uma transferência de dados do Display & Video 360

Selecione uma das seguintes opções:

Consola

  1. Aceda à página Transferências de dados na Google Cloud consola.

    Aceda a Transferências de dados

  2. Clique em Criar transferência.

  3. Na página Criar transferência, faça o seguinte:

    • Na secção Tipo de origem, em Origem, escolha Display & Video 360.
    • Na secção Nome da configuração de transferência, em Nome a apresentar, introduza um nome para a transferência de dados. O nome da transferência pode ser qualquer valor que lhe permita identificar a transferência se precisar de a modificar mais tarde.

  4. Na secção Opções de programação:

    • Selecione Começar agora ou Começar à hora definida e, de seguida, indique uma data de início e um tempo de execução.
    • Para Repetições, escolha uma opção para a frequência de execução da transferência de dados. Se selecionar Dias, indique uma hora válida em UTC.

  5. Na secção Definições de destino, no menu Conjunto de dados de destino, selecione o conjunto de dados que criou para armazenar os seus dados.

  6. Na secção Detalhes da origem de dados:

    • No campo Bucket do Google Cloud Storage do DV360 DTV2, introduza o bucket do Google Cloud Storage que contém os ficheiros DTV2 do Display & Video 360. Se precisar de configurar este contentor, contacte o apoio técnico do Display & Video 360.
    • No campo ID do parceiro/anunciante do DV360, introduza o ID do parceiro ou o ID do anunciante.
    • Opcional: na secção Opções de notificação:
      • Clique no botão para ativar as notificações por email. Quando ativa esta opção, o administrador da transferência recebe uma notificação por email quando uma execução de transferência falha.
      • Clique no botão para ativar as notificações do Pub/Sub. Em Selecionar um tópico do Cloud Pub/Sub, escolha o nome do tópico ou clique em Criar um tópico. Esta opção configura notificações executadas pelo Pub/Sub para a transferência.

  7. Clique em Guardar.

bq

Introduza o comando bq mk e forneça a flag de criação de transferência — --transfer_config. As seguintes flags são obrigatórias:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

Onde:

  • PROJECT_ID: o ID do seu projeto.
  • DATASET: o conjunto de dados de destino para a configuração de transferência de dados.
  • NAME: o nome a apresentar da configuração de transferência de dados. O nome da transferência pode ser qualquer valor que lhe permita identificar a transferência se precisar de a modificar mais tarde.
  • PARAMETERS: os parâmetros da configuração de transferência de dados criada no formato JSON. Por exemplo: --params='{"param":"param_value"}'. Para transferências do Display & Video 360, os parâmetros bucket e displayvideo_id são obrigatórios. O parâmetro file_name_prefix é opcional e usado apenas para nomes de ficheiros personalizados raros.
  • DATA_SOURCE: a origem de dados: displayvideo.

Por exemplo, o comando seguinte cria uma transferência de dados do Display & Video 360 denominada My Transfer com o ID do Display & Video 360 123456, o contentor do Cloud Storage dcdt_-dbm_partner123456 e o conjunto de dados de destino mydataset.

A transferência de dados é criada no projeto predefinido:

  bq mk --transfer_config \
  --target_dataset=mydataset \
  --display_name='My Transfer' \
  --params='{"bucket":"dcdt_-dbm_partner123456","displayvideo_id": "123456","file_name_prefix":"YYY"}' \
  --data_source=displayvideo

Depois de executar o comando, recebe uma mensagem semelhante à seguinte:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Siga as instruções na mensagem e cole o código de autenticação na linha de comandos.

API

Use o método projects.locations.transferConfigs.create e forneça uma instância do recurso TransferConfig.

Consultar os seus dados

Quando os dados são transferidos para o BigQuery, são gravados em tabelas particionadas por tempo de ingestão. Para mais informações, consulte o artigo Introdução às tabelas particionadas.

Recomendamos que consulte as vistas geradas automaticamente em vez de consultar diretamente as tabelas. No entanto, se quiser consultar as tabelas diretamente, tem de usar a pseudocoluna _PARTITIONTIME na consulta. Para mais informações, consulte o artigo Consultar tabelas particionadas.