Google アドマネージャーの転送

Google アドマネージャー用 BigQuery Data Transfer Service コネクタを使用すると、Google アドマネージャー（旧称: DoubleClick for Publishers）のレポートデータの定期的な読み込みジョブを自動的に作成し、管理できます。

サポートされるレポート

Google アドマネージャー用 BigQuery Data Transfer Service コネクタでは、次のレポートオプションがサポートされています。

Data Transfer（Google アドマネージャー DT）ファイル
Data Transfer フィールド
BigQuery Data Transfer Service で提供されるマッチテーブル。これらは自動的に作成、更新されます。
PQL で取得したマッチテーブル
CompanyService からのマッチテーブル（v201908）
OrderService からのマッチテーブル（v201908）
PlacementService からのマッチテーブル（v201908）

Google アドマネージャーレポートがどのように BigQuery のテーブルとビューに変換されるかについては、Google アドマネージャーレポートの変換をご覧ください。

レポートオプション	サポート
繰り返しの頻度	作成時間に基づいて、8 時間ごと。設定不可
更新ウィンドウ	過去 2 日間設定不可
最大バックフィル期間	過去 60 日間 Google アドマネージャーでは、Data Transfer ファイルが最大 60 日間保持されます。60 日を超えるファイルは Google アドマネージャーによって削除されます。

レポートオプション

サポート

繰り返しの頻度

作成時間に基づいて、8 時間ごと。

設定不可

更新ウィンドウ

過去 2 日間

設定不可

最大バックフィル期間

過去 60 日間

Google アドマネージャーでは、Data Transfer ファイルが最大 60 日間保持されます。60 日を超えるファイルは Google アドマネージャーによって削除されます。

Google アドマネージャーの転送からのデータの取り込み

Google アドマネージャーから BigQuery にデータを転送すると、データは日付でパーティション分割された BigQuery テーブルに読み込まれます。データが読み込まれるテーブルパーティションは、データソースの日付に対応します。同じ日付の複数の転送をスケジュールすると、BigQuery Data Transfer Service により、対象の日付のパーティションが最新のデータで上書きされます。同じ日に複数回の転送やバックフィルを実行しても、データは重複せず、他の日付のパーティションに対する影響はありません。

更新ウィンドウ

更新ウィンドウとは、データ転送が行われたときにデータ転送でデータが取得される日数です。たとえば、更新ウィンドウが 3 日であり、毎日転送が行われる場合、BigQuery Data Transfer Service は過去 3 日間のソーステーブルからすべてのデータを取得します。この例では、毎日転送が発生すると、BigQuery Data Transfer Service は、当日のソーステーブルのデータのコピーを含む新しい BigQuery 宛先テーブルパーティションを作成し、バックフィル実行を自動的にトリガーして、過去 2 日間のソーステーブルのデータで BigQuery 宛先テーブルパーティションを更新します。自動トリガーされたバックフィル実行は、BigQuery Data Transfer Service コネクタで増分更新がサポートされているかどうかに応じて、BigQuery の宛先テーブルを上書きするか、増分更新します。

データ転送を初めて実行する際に、更新ウィンドウ内で利用可能なすべてのソースデータを取得します。たとえば、更新ウィンドウが 3 日で、データ転送を初めて実行する際は、BigQuery Data Transfer Service によって 3 日以内のすべてのソースデータが取得されます。

更新ウィンドウは TransferConfig.data_refresh_window_days API フィールドにマッピングされます。

更新ウィンドウの期間外のデータ（過去のデータなど）を取得する場合や、転送の停止やギャップからデータを復元する場合は、バックフィル実行を開始またはスケジュールできます。

増分アップデート

Google アドマネージャーの Data Transfer（Google アドマネージャー DT）ファイルから作成されたテーブルは、増分更新できます。Google アドマネージャーは、Google アドマネージャー DT ファイルを Cloud Storage バケットに追加します。転送の実行では、BigQuery テーブルにすでに転送されているファイルを再読み込みするのではなく、Cloud Storage バケットから BigQuery テーブルに新しい Google アドマネージャー DT ファイルを増分読み込みします。

例: Google アドマネージャーは午前 1 時に file1 をバケットに追加し、午前 2 時に file2 を追加します。転送の実行は午前 3 時 30 分に開始され、file1 と file2 が BigQuery に読み込まれます。その後、Google アドマネージャーは、午前 5 時に file3 を追加し、午前 6 時に file4 を追加します。2 回目の転送の実行は午前 7 時 30 分に開始されます。4 つのファイルをすべて読み込んでテーブルを上書きするのではなく、file3 と file4 を BigQuery に追加します。

始める前に

Google アドマネージャーのデータ転送を作成する前に、以下のことを行います。

BigQuery Data Transfer Service を有効にするために必要なすべての操作が完了していることを確認します。
Google アドマネージャーデータを保存する BigQuery データセットを作成します。
Google アドマネージャーの Data Transfer（Google アドマネージャー DT）ファイルに組織がアクセスできることを確認します。これらのファイルは、Google アドマネージャーチームによって Cloud Storage バケットに配信されています。Google アドマネージャー DT ファイルにアクセスするには、アドマネージャー Data Transfer レポートを確認してください。Google アドマネージャーチームの追加料金が適用される場合があります。

この手順を完了すると、次のような Google Cloud Storage バケットを受け取ります。
```
    gdfp-12345678
  
```
Google Cloud チームには、ユーザーに代わって Google アドマネージャー DT ファイルを生成したり、このようなファイルに対するアクセス権を付与したりする権限はありません。Google アドマネージャー DT ファイルへのアクセスについては、Google アドマネージャーサポートにお問い合わせください。
Google アドマネージャーネットワークへの API アクセスを有効化します。
データ転送通知を設定する場合は、Pub/Sub の pubsub.topics.setIamPolicy 権限が必要です。メール通知を設定するだけの場合、Pub/Sub の権限は必要ありません。詳細については、BigQuery Data Transfer Service の実行通知をご覧ください。

必要な権限

BigQuery: データ転送を作成するユーザーに、BigQuery で次の権限が付与されていることを確認します。
- データ転送を作成する bigquery.transfers.update 権限
- bigquery.datasets.get と bigquery.datasets.update の両方（抽出先データセットに対する権限）
bigquery.transfers.update 権限、bigquery.datasets.update 権限、bigquery.datasets.get 権限は、IAM 事前定義ロール bigquery.admin に含まれています。BigQuery Data Transfer Service での IAM ロールについて、詳しくはアクセス制御をご覧ください。
Google アドマネージャー: Cloud Storage に保存されている Google アドマネージャー DT ファイルに対する読み取りアクセス権。Google アドマネージャー DT ファイルの権限は Google アドマネージャーチームによって管理されます。また、Google アドマネージャー DT ファイルの他に、データ転送を作成するユーザーを Google アドマネージャーネットワークに追加して、さまざまなマッチテーブルを作成するために必要なすべてのエンティティ（広告申込情報、注文、広告ユニットなど）への読み取りアクセス権を付与する必要があります。データ転送を認証したアドマネージャーユーザーを、アドマネージャーのすべてのエンティティチームに追加することで、この操作を行うことができます。

Google アドマネージャーの転送を設定する

Google アドマネージャーの BigQuery Data Transfer を設定するには、次が必要です。

Cloud Storage バケット: 始める前にで説明されている Google アドマネージャー DT ファイルの Cloud Storage バケット URI。バケット名は次のようになります。
```
gdfp-12345678
```
ネットワークコード: ネットワークにログインすると、URL に Google アドマネージャーのネットワークコードが表示されます。たとえば、URL https://admanager.google.com/2032576#delivery の場合は、2032576 がネットワークコードです。詳細については、Google アドマネージャーのスタートガイドをご覧ください。

Google アドマネージャーの BigQuery Data Transfer Service データ転送を作成するには:

コンソール

Google Cloud コンソールの [データ転送] ページに移動します。

[データ転送] に移動
[転送を作成] をクリックします。
[転送の作成] ページで、次の操作を行います。
- [ソースタイプ] セクションの [ソース] で、[Google アドマネージャー] を選択します。
- [転送構成名] セクションの [表示名] に、データ転送の名前（例: My Transfer）を入力します。転送名には、後で修正が必要になった場合に識別できる任意の名前を使用できます。
- [転送先の設定] セクションの [宛先データセット] で、データを保存するために作成したデータセットを選択します。
- [データソースの詳細] セクションで、次の操作を行います。
  - [Cloud Storage バケット] に、Data Transfer ファイルを格納する Cloud Storage バケットの名前を入力します。バケット名を入力するときに、gs:// は含めないでください。
  - [ネットワークコード] に、ネットワークコードを入力します。
- [サービスアカウント] メニューで、Google Cloud プロジェクトに関連付けられたサービスアカウントからサービスアカウントを選択します。ユーザー認証情報を使用する代わりに、サービスアカウントを転送に関連付けることができます。データ転送でサービスアカウントを使用する方法の詳細については、サービスアカウントの使用をご覧ください。
  - フェデレーション ID でログインした場合、転送を作成するにはサービスアカウントが必要です。Google アカウントでログインした場合、転送用のサービスアカウントは省略可能です。
  - サービスアカウントには必要な権限が付与されている必要があります。
- （省略可）[通知オプション] セクションで、次の操作を行います。
  - 切り替えボタンをクリックしてメール通知を有効にします。このオプションを有効にすると、転送の実行が失敗した場合、転送管理者にメール通知が送信されます。
  - [Pub/Sub トピックを選択してください] で、トピック名を選択するか、[トピックを作成する] をクリックします。このオプションで、Pub/Sub の転送実行通知を構成します。
[保存] をクリックします。

bq

bq mk コマンドを入力して、転送作成フラグ --transfer_config を指定します。次のフラグも必要です。

--data_source
--target_dataset
--display_name
--params

オプションのフラグ:

--service_account_name - ユーザーアカウントの代わりに、Google アドマネージャーの転送認証に使用するサービスアカウントを指定します。

bq mk --transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source \
--service_account_name=service_account_name

ここで

project_id は、プロジェクト ID です。
dataset は、転送構成のターゲットデータセットです。
name は、データ転送構成の表示名です。転送名には、後で修正が必要になった場合に識別できる任意の名前を使用できます。
parameters には、作成される転送構成のパラメータを JSON 形式で指定します。例: --params='{"param":"param_value"}'。Google アドマネージャーでは、bucket パラメータと network_code パラメータを指定する必要があります。bucket は、Google アドマネージャー DT ファイルを格納する Cloud Storage バケットです。network_code は、ネットワークコードです。
data_source は、データソース dfp_dt（Google アドマネージャー）です。
service_account_name は、データ転送の認証に使用されるサービスアカウント名です。サービスアカウントは、転送の作成に使用した project_id が所有している必要があります。また、必要な権限がすべて付与されている必要があります。

--project_id フラグを指定して、特定のプロジェクトを指定することもできます。--project_id を指定しない場合は、デフォルトのプロジェクトが使用されます。

たとえば、次のコマンドは、ネットワークコード 12345678、Cloud Storage バケット gdfp-12345678、ターゲットデータセット mydataset を使用して、My Transfer という名前で Google アドマネージャーのデータ転送を作成します。このデータ転送はデフォルトのプロジェクトで作成されます。

bq mk --transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket": "gdfp-12345678","network_code": "12345678"}' \
--data_source=dfp_dt

コマンドを実行すると、次のようなメッセージが表示されます。

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

指示に従って、認証コードをコマンドラインに貼り付けます。

API

projects.locations.transferConfigs.create メソッドを使用して、TransferConfig リソースのインスタンスを指定します。

Java

このサンプルを試す前に、クライアントライブラリを使用した BigQuery クイックスタートにある Java の設定手順を完了してください。詳細については、BigQuery Java API のリファレンスドキュメントをご覧ください。

BigQuery に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、クライアントライブラリの認証を設定するをご覧ください。

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create a ad manager(formerly DFP) transfer config
public class CreateAdManagerTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String bucket = "gs://cloud-sample-data";
    // the network_code can only be digits with length 1 to 15
    String networkCode = "12345678";
    Map<String, Value> params = new HashMap<>();
    params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
    params.put("network_code", Value.newBuilder().setStringValue(networkCode).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Ad Manager Config Name")
            .setDataSourceId("dfp_dt")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createAdManagerTransfer(projectId, transferConfig);
  }

  public static void createAdManagerTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Ad manager transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Ad manager transfer was not created." + ex.toString());
    }
  }
}

Google アドマネージャーの転送設定のトラブルシューティング

データ転送の設定で問題が発生した場合は、転送構成のトラブルシューティングにある Google アドマネージャーの転送に関する問題をご覧ください。

データに対するクエリを実行する

データが BigQuery に転送されると、取り込み時間パーティション分割テーブルにそのデータが書き込まれます。詳細については、パーティション分割テーブルの概要をご覧ください。

自動生成されたビューを使用せずに、テーブルでクエリを直接実行する場合は、そのクエリで _PARTITIONTIME 疑似列を使用する必要があります。詳細については、パーティション分割テーブルのクエリをご覧ください。

Google アドマネージャーのサンプルクエリ

次の Google アドマネージャーのサンプルクエリを使用すると、転送されたデータを分析できます。このクエリは、Looker Studio などの可視化ツールでも使用できます。これらのクエリは、BigQuery で Google アドマネージャーデータのクエリを開始する場合に役立つように用意されています。これらのレポートでできることに関するその他の質問については、Google アドマネージャーの技術担当者にお問い合わせください。

次の各クエリで、dataset などの変数は実際の値で置き換えてください。たとえば、network_code は Google アドマネージャーのネットワークコードで置き換えます。

都市別のインプレッション数とユニークユーザー数

次の SQL サンプルクエリは、過去 30 日間のインプレッション数とユニークユーザー数を都市別に分析します。

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  City,
  _DATA_DATE AS Date,
  count(*) AS imps,
  count(distinct UserId) AS uniq_users
FROM `dataset.NetworkImpressionsnetwork_code`
WHERE
  _DATA_DATE BETWEEN start_date AND end_date
GROUP BY City, Date

広告申込情報タイプ別のインプレッション数とユニークユーザー数

次の SQL サンプルクエリは、過去 30 日間のインプレッション数とユニークユーザー数を広告申込情報タイプ別に分析します。

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  MT.LineItemType AS LineItemType,
  DT._DATA_DATE AS Date,
  count(*) AS imps,
  count(distinct UserId) AS uniq_users
FROM `dataset.NetworkImpressionsnetwork_code` AS DT
LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT
ON
  DT.LineItemId = MT.Id
WHERE
  DT._DATA_DATE BETWEEN start_date AND end_date
GROUP BY LineItemType, Date
ORDER BY Date desc, imps desc

広告ユニット別のインプレッション数

次の SQL サンプルクエリは、過去 30 日間のインプレッション数を広告ユニット別に分析します。

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  MT.AdUnitCode AS AdUnitCode,
  DT.DATA_DATE AS Date,
  count(*) AS imps
FROM `dataset.NetworkImpressionsnetwork_code` AS DT
LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT
ON
  DT.AdUnitId = MT.Id
WHERE
  DT._DATA_DATE BETWEEN start_date AND end_date
GROUP BY AdUnitCode, Date
ORDER BY Date desc, imps desc

広告申込情報別のインプレッション数

次の SQL サンプルクエリは、過去 30 日間のインプレッション数を広告申込情報別に分析します。

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  MT.Name AS LineItemName,
  DT._DATA_DATE AS Date,
  count(*) AS imps
FROM `dataset.NetworkImpressionsnetwork_code` AS DT
LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT
ON
  DT.LineItemId = MT.Id
WHERE
  DT._DATA_DATE BETWEEN start_date AND end_date
GROUP BY LineItemName, Date
ORDER BY Date desc, imps desc

Google アド マネージャーの転送

サポートされるレポート

Google アド マネージャーの転送からのデータの取り込み

更新ウィンドウ

増分アップデート

始める前に

必要な権限

Google アド マネージャーの転送を設定する

コンソール

bq

API

Java

Google アド マネージャーの転送設定のトラブルシューティング

データに対するクエリを実行する

Google アド マネージャーのサンプルクエリ

都市別のインプレッション数とユニーク ユーザー数

広告申込情報タイプ別のインプレッション数とユニーク ユーザー数

広告ユニット別のインプレッション数

広告申込情報別のインプレッション数

Google アドマネージャーの転送

Google アドマネージャーの転送からのデータの取り込み

Google アドマネージャーの転送を設定する

Google アドマネージャーの転送設定のトラブルシューティング

Google アドマネージャーのサンプルクエリ

都市別のインプレッション数とユニークユーザー数

広告申込情報タイプ別のインプレッション数とユニークユーザー数