Carregue dados do Google Ad Manager para o BigQuery

Pode carregar dados do Google Ad Manager para o BigQuery através do conetor do Serviço de transferência de dados do BigQuery para o Google Ad Manager. Com o Serviço de transferência de dados do BigQuery, pode agendar tarefas de transferência recorrentes que adicionam os seus dados mais recentes do Google Ad Manager ao BigQuery.

Vista geral do conetor

O Serviço de transferência de dados do BigQuery para o conetor do Google Ad Manager suporta as seguintes opções para a transferência de dados.

Opções de transferência de dados Apoio técnico
Relatórios suportados O conetor do Google Ad Manager suporta a transferência de dados dos seguintes relatórios:

Para ver informações sobre como os relatórios do Google Ad Manager são transformados em tabelas e vistas do BigQuery, consulte o artigo Transformação de relatórios do Google Ad Manager.
Frequência de repetição O conetor do Google Ad Manager suporta transferências de dados a cada 4 horas. Por predefinição, as transferências de dados do Google Ad Manager repetem-se a cada 8 horas.

Pode configurar a hora da transferência de dados quando configurar a transferência de dados.
Período de atualização O conetor do Google Ad Manager obtém dados do Google Ad Manager de até 2 dias no momento em que a transferência de dados é executada. Não pode configurar o período de atualização para este conetor.

Para mais informações, consulte o artigo Períodos de atualização.
Disponibilidade de dados de preenchimento Execute um repreenchimento de dados para obter dados fora da transferência de dados agendada. Pode obter dados até ao limite permitido pela política de retenção de dados na sua origem de dados.

Para ver informações sobre a política de retenção de dados do Google Ad Manager, consulte o artigo Relatórios da Transferência de dados do Google Ad Manager.

Carregamento de dados de transferências do Google Ad Manager

Quando transfere dados do Google Ad Manager para o BigQuery, os dados são carregados em tabelas do BigQuery particionadas por data. A partição da tabela na qual os dados são carregados corresponde à data da origem de dados. Se agendar várias transferências para a mesma data, o Serviço de transferência de dados do BigQuery substitui a partição dessa data específica pelos dados mais recentes. As várias transferências no mesmo dia ou a execução de preenchimentos não resultam em dados duplicados, e as partições para outras datas não são afetadas.

Atualize as janelas

Um período de atualização é o número de dias que uma transferência de dados obtém dados quando ocorre uma transferência de dados. Por exemplo, se a janela de atualização for de três dias e ocorrer uma transferência diária, o Serviço de transferência de dados do BigQuery obtém todos os dados da tabela de origem dos últimos três dias. Neste exemplo, quando ocorre uma transferência diária, o Serviço de transferência de dados do BigQuery cria uma nova partição da tabela de destino do BigQuery com uma cópia dos dados da tabela de origem do dia atual e, em seguida, aciona automaticamente execuções de preenchimento para atualizar as partições da tabela de destino do BigQuery com os dados da tabela de origem dos últimos dois dias. As execuções de preenchimento automático acionadas automaticamente substituem ou atualizam incrementalmente a tabela de destino do BigQuery, consoante as atualizações incrementais sejam ou não suportadas no conector do Serviço de transferência de dados do BigQuery.

Quando executa uma transferência de dados pela primeira vez, a transferência de dados obtém todos os dados de origem disponíveis na janela de atualização. Por exemplo, se a janela de atualização for de três dias e executar a transferência de dados pela primeira vez, o Serviço de transferência de dados do BigQuery obtém todos os dados de origem no prazo de três dias.

Para obter dados fora do período de atualização, como dados do histórico, ou para recuperar dados de quaisquer indisponibilidades ou lacunas de transferência, pode iniciar ou agendar uma execução de preenchimento.

Atualizações aos ficheiros de transferência de dados (DT)

As tabelas criadas a partir de ficheiros da Transferência de dados do Google Ad Manager (GDAM DT) podem ser atualizadas de forma incremental. O Google Ad Manager adiciona os ficheiros DT do Google Ad Manager ao contentor do Cloud Storage. Em seguida, uma execução de transferência carrega incrementalmente os novos ficheiros DT do Google Ad Manager do segmento do Cloud Storage para a tabela do BigQuery sem recarregar ficheiros que já foram transferidos para a tabela do BigQuery.

Por exemplo, o Google Ad Manager adiciona file1 ao contentor às 01:00 e file2 às 02:00. Uma execução de transferência começa às 03:30 e carrega file1 e file2 para o BigQuery. Em seguida, o Google Ad Manager adiciona file3 às 05:00 e file4 às 06:00. Uma segunda execução de transferência começa às 07:30 e anexa file3 e file4 ao BigQuery, em vez de substituir a tabela carregando todos os quatro ficheiros.

Atualizações às tabelas de correspondência

As tabelas de correspondência oferecem um mecanismo de pesquisa para os valores não processados contidos nos ficheiros de transferência de dados. Para ver uma lista de tabelas de correspondência, consulte o artigo Transformação de relatórios do Google Ad Manager. As diferentes tabelas de correspondência são atualizadas com diferentes métodos de carregamento. As tabelas de correspondência e os respetivos métodos de carregamento estão listados na tabela seguinte:

Método de carregamento Descrição Tabela de correspondência
Atualização incremental As atualizações incrementais são anexadas em cada execução. Por exemplo, uma primeira execução de transferência do dia carrega todos os dados modificados antes da execução de transferência. A segunda execução de transferência no mesmo dia carrega os dados modificados após a execução anterior e antes da execução atual. Company, Order, Placement, LineItem e AdUnit
Atualização de toda a tabela As atualizações de tabelas completas carregam a tabela completa uma vez por dia. Por exemplo, uma primeira execução de transferência do dia carrega todos os dados disponíveis para uma tabela. Uma segunda execução de transferência no mesmo dia ignora o carregamento destas tabelas. AdCategory, AudienceSegmentCategory, BandwidthGroup, Browser, BrowserLanguage, DeviceCapability, DeviceCategory, DeviceManufacturer, GeoTarget, MobileCarrier, MobileDevice, MobileDeviceSubmodel, OperatingSystem, OperatingSystemVersion, ThirdPartyCompany, TimeZone, User, ProgrammaticBuyer
Substituição de toda a tabela Toda a tabela é substituída a cada execução de transferência. AudienceSegment

Antes de começar

Antes de criar uma transferência de dados do Google Ad Manager:

  • Verifique se concluiu todas as ações necessárias para ativar o Serviço de transferência de dados do BigQuery.
  • Crie um conjunto de dados do BigQuery para armazenar os dados do Google Ad Manager.

  • Certifique-se de que a sua organização tem acesso aos ficheiros de Transferência de dados (DT) do Google Ad Manager. Estes ficheiros são enviados pela equipa do Google Ad Manager para um contentor do Cloud Storage. Para aceder aos ficheiros de DT do Google Ad Manager, reveja os relatórios da Transferência de dados do Ad Manager. Podem aplicar-se custos adicionais por parte da equipa do Google Ad Manager.

    Após concluir este passo, vai receber um contentor do Cloud Storage semelhante ao seguinte: 

        gdfp-12345678

    A equipa Google Cloud NÃOtem a capacidade de gerar nem conceder acesso a ficheiros DT do Google Ad Manager em seu nome. Contacte o apoio técnico do Google Ad Manager para aceder aos ficheiros DT do Google Ad Manager.

  • Ative o acesso à API à sua rede do Google Ad Manager.
  • Se pretender configurar notificações de transferência de dados, tem de ter autorizações pubsub.topics.setIamPolicypara o Pub/Sub. As autorizações do Pub/Sub não são necessárias se configurar apenas as notificações por email. Para mais informações, consulte as notificações de execução do Serviço de transferência de dados do BigQuery.

Autorizações necessárias

  • BigQuery: certifique-se de que a pessoa que cria a transferência de dados tem as seguintes autorizações no BigQuery:

    • Autorizações bigquery.transfers.update para criar a Transferência de dados
    • Autorizações de bigquery.datasets.get e bigquery.datasets.update no conjunto de dados de destino

    A bigquery.adminfunção de IAM predefinida inclui as autorizações bigquery.transfers.update, bigquery.datasets.update e bigquery.datasets.get. Para mais informações sobre as funções do IAM no Serviço de transferência de dados do BigQuery, consulte o artigo Controlo de acesso.

  • Google Ad Manager: acesso de leitura aos ficheiros da TD do Google Ad Manager armazenados no armazenamento na nuvem. As autorizações para ficheiros DT do Google Ad Manager são geridas pela equipa do Google Ad Manager. Além dos ficheiros DT do Google Ad Manager, a pessoa que cria a transferência de dados tem de ser adicionada à rede do Google Ad Manager com acesso de leitura a todas as entidades necessárias para criar as várias tabelas de correspondência (elemento publicitário, encomenda, bloco de anúncios, etc.). Isto pode ser feito adicionando o utilizador do Ad Manager que autenticou a transferência de dados à equipa Todas as entidades no Ad Manager.

Configure uma transferência do Google Ad Manager

A configuração de uma transferência de dados do BigQuery para o Google Ad Manager requer o seguinte:

  • Contentor do Cloud Storage: o URI do contentor do Cloud Storage para os seus ficheiros de DT do Google Ad Manager, conforme descrito em Antes de começar. O nome do contentor deve ser semelhante ao seguinte:

    gdfp-12345678

  • Código de rede: encontra o código de rede do Google Ad Manager no URL quando tem sessão iniciada na sua rede. Por exemplo, no URL https://admanager.google.com/2032576#delivery, 2032576 é o código da sua rede. Para mais informações, consulte o artigo Comece a usar o Google Ad Manager.

Para criar uma transferência de dados do Serviço de transferência de dados do BigQuery para o Google Ad Manager:

Consola

  1. Aceda à página Transferências de dados na Google Cloud consola.

    Aceda a Transferências de dados

  2. Clique em Criar uma transferência.

  3. Na página Criar transferência:

    • Na secção Tipo de origem, para Origem, escolha Google Ad Manager (anteriormente DFP).

    Origem da transferência

    • Na secção Nome da configuração de transferência, em Nome a apresentar, introduza um nome para a transferência de dados, como My Transfer. O nome da transferência pode ser qualquer valor que lhe permita identificar a transferência se precisar de a modificar mais tarde.

    Nome da transferência

    • Na secção Definições de destino, para Conjunto de dados, escolha o conjunto de dados que criou para armazenar os seus dados.

    Conjunto de dados de transferência

    • Na secção Detalhes da origem de dados:
      • Para Contentor do Cloud Storage, introduza o nome do contentor do Cloud Storage que armazena os seus ficheiros de transferência de dados. Quando introduzir o nome do contentor, não inclua gs://.
      • Para Código de rede, introduza o seu código de rede.

    Detalhes da origem do Google Ad Manager

    • No menu Conta de serviço, selecione uma conta de serviço das contas de serviço associadas ao seu Google Cloud projeto. Pode associar uma conta de serviço à sua transferência em vez de usar as suas credenciais de utilizador. Para mais informações sobre a utilização de contas de serviço com transferências de dados, consulte o artigo Use contas de serviço.

      Se iniciou sessão com uma identidade federada, é necessária uma conta de serviço para criar uma transferência. Se iniciou sessão com uma Conta Google, uma conta de serviço para a transferência é opcional. A conta de serviço tem de ter as autorizações necessárias.

    • (Opcional) Na secção Opções de notificação:

      • Clique no botão para ativar as notificações por email. Quando ativa esta opção, o administrador da transferência recebe uma notificação por email quando uma execução de transferência falha.
      • Clique no botão para ativar as notificações de execução do Pub/Sub. Em Selecionar um tópico do Cloud Pub/Sub, escolha o nome do tópico ou clique em Criar um tópico. Esta opção configura notificações executadas pelo Pub/Sub para a transferência.

  4. Clique em Guardar.

bq

Introduza o comando bq mk e forneça a flag de criação de transferência — --transfer_config. Os seguintes indicadores também são obrigatórios:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Sinalizadores opcionais:

  • --service_account_name - Especifica uma conta de serviço a usar para a autenticação de transferência do Google Ad Manager em vez da sua conta de utilizador.
bq mk --transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source \
--service_account_name=service_account_name

Onde:

  • project_id é o ID do seu projeto.
  • dataset é o conjunto de dados de destino para a configuração de transferência.
  • name é o nome a apresentar da configuração de transferência de dados. O nome da transferência pode ser qualquer valor que lhe permita identificar a transferência de dados se precisar de a modificar mais tarde.
  • parameters contém os parâmetros da configuração de transferência criada no formato JSON. Por exemplo: --params='{"param":"param_value"}'. Para o Google Ad Manager, tem de fornecer os parâmetros bucket e network_code.
    • bucket: o contentor do Cloud Storage que contém os seus ficheiros DT do Google Ad Manager.
    • network_code: código de rede
    • load_match_tables: se devem ser carregadas tabelas de correspondência. Predefinição: True
  • data_source é a origem de dados: dfp_dt (Google Ad Manager).
  • service_account_name é o nome da conta de serviço usado para autenticar a transferência de dados. A conta de serviço deve ser propriedade do mesmo project_id usado para criar a transferência e deve ter todas as autorizações necessárias.

Também pode fornecer a flag --project_id para especificar um projeto em particular. Se --project_id não for especificado, é usado o projeto predefinido.

Por exemplo, o comando seguinte cria uma transferência de dados do Google Ad Manager denominada My Transfer com o código de rede 12345678, o contentor do Cloud Storage gdfp-12345678 e o conjunto de dados de destino mydataset. A transferência de dados é criada no projeto predefinido:

bq mk --transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket": "gdfp-12345678","network_code": "12345678"}' \
--data_source=dfp_dt

Depois de executar o comando, recebe uma mensagem semelhante à seguinte:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Siga as instruções e cole o código de autenticação na linha de comandos.

API

Use o método projects.locations.transferConfigs.create e forneça uma instância do recurso TransferConfig.

Java

Antes de experimentar este exemplo, siga as Javainstruções de configuração no início rápido do BigQuery com bibliotecas cliente. Para mais informações, consulte a API Java BigQuery documentação de referência.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente. 

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create a ad manager(formerly DFP) transfer config
public class CreateAdManagerTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String bucket = "gs://cloud-sample-data";
    // the network_code can only be digits with length 1 to 15
    String networkCode = "12345678";
    Map<String, Value> params = new HashMap<>();
    params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
    params.put("network_code", Value.newBuilder().setStringValue(networkCode).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Ad Manager Config Name")
            .setDataSourceId("dfp_dt")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createAdManagerTransfer(projectId, transferConfig);
  }

  public static void createAdManagerTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Ad manager transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Ad manager transfer was not created." + ex.toString());
    }
  }
}

Resolva problemas de configuração da transferência do Google Ad Manager

Se tiver problemas com a configuração da transferência de dados, consulte o artigo Problemas de transferência do Google Ad Manager em Resolução de problemas de configurações de transferência.

Consultar os seus dados

Quando os dados são transferidos para o BigQuery, são gravados em tabelas particionadas por tempo de ingestão. Para mais informações, consulte o artigo Introdução às tabelas particionadas.

Se consultar as tabelas diretamente em vez de usar as vistas geradas automaticamente, tem de usar a pseudocoluna _PARTITIONTIME na consulta. Para mais informações, consulte o artigo Consultar tabelas particionadas.

Consultas de exemplo

Pode usar as seguintes consultas de exemplo do Google Ad Manager para analisar os dados transferidos. Também pode usar as consultas numa ferramenta de visualização, como o Looker Studio. Estas consultas são fornecidas para ajudar a começar a consultar os seus dados do Google Ad Manager com o BigQuery. Se tiver mais dúvidas sobre o que pode fazer com estes relatórios, contacte o seu representante técnico do Google Ad Manager.

Em cada uma das seguintes consultas, substitua as variáveis, como dataset, pelos seus valores. Por exemplo, substitua network_code pelo código de rede do Google Ad Manager.

Impressões e utilizadores únicos por cidade

A seguinte consulta de exemplo de SQL analisa o número de impressões e utilizadores únicos por cidade nos últimos 30 dias.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  City,
  _DATA_DATE AS Date,
  count(*) AS imps,
  count(distinct UserId) AS uniq_users
FROM `dataset.NetworkImpressions_network_code`
WHERE
  _DATA_DATE BETWEEN start_date AND end_date
GROUP BY City, Date

Impressões e utilizadores únicos por tipo de elemento publicitário

A seguinte consulta de exemplo SQL analisa o número de impressões e utilizadores únicos por tipo de elemento publicitário nos últimos 30 dias.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  MT.LineItemType AS LineItemType,
  DT._DATA_DATE AS Date,
  count(*) AS imps,
  count(distinct UserId) AS uniq_users
FROM `dataset.NetworkImpressions_network_code` AS DT
LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT
ON
  DT.LineItemId = MT.Id
WHERE
  DT._DATA_DATE BETWEEN start_date AND end_date
GROUP BY LineItemType, Date
ORDER BY Date desc, imps desc

Impressões por bloco de anúncios

A seguinte consulta de exemplo de SQL analisa o número de impressões por bloco de anúncios nos últimos 30 dias.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  MT.AdUnitCode AS AdUnitCode,
  DT.DATA_DATE AS Date,
  count(*) AS imps
FROM `dataset.NetworkImpressions_network_code` AS DT
LEFT JOIN `dataset.MatchTableAdUnit_network_code` AS MT
ON
  DT.AdUnitId = MT.Id
WHERE
  DT._DATA_DATE BETWEEN start_date AND end_date
GROUP BY AdUnitCode, Date
ORDER BY Date desc, imps desc

Impressões por elemento publicitário

A seguinte consulta de exemplo de SQL analisa o número de impressões por elemento publicitário nos últimos 30 dias.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  MT.Name AS LineItemName,
  DT._DATA_DATE AS Date,
  count(*) AS imps
FROM `dataset.NetworkImpressions_network_code` AS DT
LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT
ON
  DT.LineItemId = MT.Id
WHERE
  DT._DATA_DATE BETWEEN start_date AND end_date
GROUP BY LineItemName, Date
ORDER BY Date desc, imps desc