Google アド マネージャーの転送

Google アド マネージャー用 BigQuery Data Transfer Service を使用すると、Google アド マネージャー(旧称: DoubleClick for Publishers)のレポートデータの定期的な読み込みジョブを自動的に作成し、管理できます。

サポートされるレポート

Google アド マネージャー用 BigQuery Data Transfer Service では現在、次のレポート オプションがサポートされています。

Google アド マネージャー レポートがどのように BigQuery のテーブルとビューに変換されるかについては、Google アド マネージャー レポートの変換をご覧ください。

レポート オプション サポート
スケジュール

作成時間に基づいて、8 時間ごと。

設定不可

ウィンドウの更新

過去 2 日間

設定不可

最大バックフィル期間

過去 60 日間

Google アド マネージャーでは、Data Transfer ファイルが最大 60 日間保持されます。60 日を超えるファイルは Google アド マネージャーによって削除されます。

始める前に

Google アド マネージャーの転送を作成する前に、以下を行います。

  • BigQuery Data Transfer Service を有効にするために必要なすべての操作が完了していることを確認します。
  • Google アド マネージャー データを保存する BigQuery データセットを作成します。
  • Google アド マネージャーの Data Transfer(Google アド マネージャー DT)ファイルに組織がアクセスできることを確認します。これらのファイルは、Google アド マネージャー チームによって Cloud Storage バケットに配信されています。Google アド マネージャー DT ファイルにアクセスするには、アド マネージャー Data Transfer レポートを確認してください。Google アド マネージャー チームの追加料金が適用される場合があります。

    この手順を完了すると、次のような Google Cloud Storage バケットを受け取ります。

    gdfp-12345678

    Google Cloud チームには、ユーザーに代わって Google アド マネージャー DT ファイルを生成したり、このようなファイルに対するアクセス権を付与したりする権限はありません。Google アド マネージャー DT ファイルへのアクセスについては、Google アド マネージャー サポートにお問い合わせください。

  • Google アド マネージャー ネットワークへの API アクセスを有効化します。
  • 転送通知を設定する場合は、Pub/Sub の pubsub.topics.setIamPolicy 権限が必要です。メール通知を設定するだけの場合、Pub/Sub の権限は必要ありません。詳細については、BigQuery Data Transfer Service の実行通知をご覧ください。
  • 必要な権限

    • BigQuery: 転送を作成するユーザーに、BigQuery で次の権限が付与されていることを確認します。

      • 転送を作成するための bigquery.transfers.update 権限
      • 抽出先データセットに対する bigquery.datasets.getbigquery.datasets.updateの両方の権限

      bigquery.transfers.update 権限、bigquery.datasets.update 権限、bigquery.datasets.get 権限は、IAM 事前定義ロール bigquery.admin に含まれています。BigQuery Data Transfer Service での IAM ロールについて、詳しくはアクセス制御をご覧ください。

    • Google アド マネージャー: Cloud Storage に保存されている Google アド マネージャー DT ファイルに対する読み取りアクセス権。Google アド マネージャー DT ファイルの権限は Google アド マネージャー チームによって管理されます。また、Google アド マネージャー DT ファイルの他に、転送を作成する人を Google アド マネージャー ネットワークに追加して、さまざまなマッチテーブルを作成するために必要なすべてのエンティティ(広告申込情報、注文、広告ユニットなど)への読み取りアクセス権を付与する必要があります。最も簡単な方法は、転送を認証したアド マネージャー ユーザーを、アド マネージャーのすべてのエンティティ チームに追加することです。

    Google アド マネージャーの転送を設定する

    Google アド マネージャーの BigQuery Data Transfer を設定するには、次が必要です。

    • Cloud Storage バケット: 始める前にで説明されている Google アド マネージャー DT ファイルの Cloud Storage バケット URI。バケット名は次のようになります。

      gdfp-12345678
    • ネットワーク コード: ネットワークにログインすると、URL に Google アド マネージャーのネットワーク コードが表示されます。たとえば、URL https://admanager.google.com/2032576#delivery の場合は、2032576 がネットワーク コードです。詳細については、Google アド マネージャーのスタートガイドをご覧ください。

    Google アド マネージャーの BigQuery Data Transfer Service を作成するには次を行います。

    コンソール

    1. Google Cloud コンソールの [BigQuery] ページに移動します。

      [BigQuery] ページに移動

    2. [データ転送] をクリックします。

    3. [転送を作成] をクリックします。

    4. [転送の作成] ページで、次の操作を行います。

      • [ソースタイプ] セクションの [ソース] で、[Google アド マネージャー] を選択します。

        転送のソース

      • [転送構成名] セクションの [表示名] に、転送名(例: My Transfer)を入力します。転送名には、後で修正が必要になった場合に簡単に識別できる任意の名前を使用できます。

        転送名

      • [転送先の設定] セクションの [宛先データセット] で、データを保存するために作成したデータセットを選択します。

        転送データセット

      • [データソースの詳細] セクションで、次の操作を行います。

        • [Cloud Storage バケット] に、Data Transfer ファイルを格納する Cloud Storage バケットの名前を入力します。バケット名を入力するときに、gs:// は含めないでください。
        • [ネットワーク コード] に、ネットワーク コードを入力します。

          Google アド マネージャーのソースの詳細

      • [サービス アカウント] メニューで、Google Cloud プロジェクトに関連付けられたサービス アカウントからサービス アカウントを選択します。ユーザー認証情報を使用する代わりに、サービス アカウントを転送に関連付けることができます。データ転送でサービス アカウントを使用する方法の詳細については、サービス アカウントの使用をご覧ください。

        • フェデレーション ID でログインした場合、転送を作成するにはサービス アカウントが必要です。Google アカウントでログインした場合、転送用のサービス アカウントは省略可能です。
        • サービス アカウントには必要な権限が付与されている必要があります。
      • (省略可)[通知オプション] セクションで、次の操作を行います。

        • 切り替えボタンをクリックしてメール通知を有効にします。このオプションを有効にすると、転送の実行が失敗した場合、転送管理者にメール通知が送信されます。
        • [Pub/Sub トピックを選択してください] で、トピック名を選択するか、[トピックを作成する] をクリックします。このオプションで、Pub/Sub の転送実行通知を構成します。
    5. [保存] をクリックします。

    bq

    bq mk コマンドを入力して、転送作成フラグ --transfer_config を指定します。次のフラグも必要です。

    • --data_source
    • --target_dataset
    • --display_name
    • --params

    オプションのフラグ:

    • --service_account_name - ユーザー アカウントの代わりに、Google アド マネージャーの転送認証に使用するサービス アカウントを指定します。
    bq mk --transfer_config \
    --project_id=project_id \
    --target_dataset=dataset \
    --display_name=name \
    --params='parameters' \
    --data_source=data_source \
    --service_account_name=service_account_name
    

    ここで

    • project_id は、プロジェクト ID です。
    • dataset は、転送構成の抽出先データセットです。
    • name は、転送構成の表示名です。転送名には、後で修正が必要になった場合に簡単に識別できる任意の名前を使用できます。
    • parameters には、作成される転送構成のパラメータを JSON 形式で指定します。例: --params='{"param":"param_value"}'。Google アド マネージャーでは、bucket パラメータと network_code パラメータを指定する必要があります。bucket は、Google アド マネージャー DT ファイルを格納する Cloud Storage バケットです。network_code は、ネットワーク コードです。
    • data_source は、データソース dfp_dt(Google アド マネージャー)です。
    • service_account_name は、転送の認証に使用されるサービス アカウント名です。サービス アカウントは、転送の作成に使用した project_id が所有している必要があります。また、必要な権限がすべて付与されている必要があります。

    --project_id フラグを指定して、特定のプロジェクトを指定することもできます。--project_id を指定しない場合は、デフォルトのプロジェクトが使用されます。

    たとえば、次のコマンドは、ネットワーク コード 12345678、Cloud Storage バケット gdfp-12345678、ターゲット データセット mydataset を使用して、My Transfer という名前の Google アド マネージャー転送を作成します。この転送はデフォルトのプロジェクトで作成されます。

    bq mk --transfer_config \
    --target_dataset=mydataset \
    --display_name='My Transfer' \
    --params='{"bucket": "gdfp-12345678","network_code": "12345678"}' \
    --data_source=dfp_dt
    

    コマンドを実行すると、次のようなメッセージが表示されます。

    [URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

    指示に従って、認証コードをコマンドラインに貼り付けます。

    API

    projects.locations.transferConfigs.create メソッドを使用して、TransferConfig リソースのインスタンスを指定します。

    Java

    このサンプルを試す前に、クライアント ライブラリを使用した BigQuery クイックスタートJava の手順に沿って設定を行ってください。詳細については、BigQuery Java API のリファレンス ドキュメントをご覧ください。

    BigQuery に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証を設定するをご覧ください。

    import com.google.api.gax.rpc.ApiException;
    import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
    import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
    import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
    import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
    import com.google.protobuf.Struct;
    import com.google.protobuf.Value;
    import java.io.IOException;
    import java.util.HashMap;
    import java.util.Map;
    
    // Sample to create a ad manager(formerly DFP) transfer config
    public class CreateAdManagerTransfer {
    
      public static void main(String[] args) throws IOException {
        // TODO(developer): Replace these variables before running the sample.
        final String projectId = "MY_PROJECT_ID";
        String datasetId = "MY_DATASET_ID";
        String bucket = "gs://cloud-sample-data";
        // the network_code can only be digits with length 1 to 15
        String networkCode = "12345678";
        Map<String, Value> params = new HashMap<>();
        params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
        params.put("network_code", Value.newBuilder().setStringValue(networkCode).build());
        TransferConfig transferConfig =
            TransferConfig.newBuilder()
                .setDestinationDatasetId(datasetId)
                .setDisplayName("Your Ad Manager Config Name")
                .setDataSourceId("dfp_dt")
                .setParams(Struct.newBuilder().putAllFields(params).build())
                .build();
        createAdManagerTransfer(projectId, transferConfig);
      }
    
      public static void createAdManagerTransfer(String projectId, TransferConfig transferConfig)
          throws IOException {
        try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
          ProjectName parent = ProjectName.of(projectId);
          CreateTransferConfigRequest request =
              CreateTransferConfigRequest.newBuilder()
                  .setParent(parent.toString())
                  .setTransferConfig(transferConfig)
                  .build();
          TransferConfig config = client.createTransferConfig(request);
          System.out.println("Ad manager transfer created successfully :" + config.getName());
        } catch (ApiException ex) {
          System.out.print("Ad manager transfer was not created." + ex.toString());
        }
      }
    }

    Google アド マネージャーの転送設定のトラブルシューティング

    転送を設定する際に問題が発生した場合は、転送構成のトラブルシューティングにある Google アド マネージャーの転送に関する問題をご覧ください。

    データに対するクエリを実行する

    データが BigQuery に転送されると、取り込み時間パーティション分割テーブルにそのデータが書き込まれます。詳細については、パーティション分割テーブルの概要をご覧ください。

    自動生成されたビューを使用せずに、テーブルでクエリを直接実行する場合は、そのクエリで _PARTITIONTIME 疑似列を使用する必要があります。詳細については、パーティション分割テーブルのクエリをご覧ください。

    次の Google アド マネージャーのサンプルクエリを使用すると、転送されたデータを分析できます。このクエリは、Looker Studio などの可視化ツールでも使用できます。これらのクエリは、BigQuery で Google アド マネージャー データのクエリを開始する場合に役立つように用意されています。これらのレポートでできることに関するその他の質問については、Google アド マネージャーの技術担当者にお問い合わせください。

    次の各クエリで、dataset などの変数は実際の値で置き換えてください。たとえば、network_code は Google アド マネージャーのネットワーク コードで置き換えます。

    都市別のインプレッション数とユニーク ユーザー数

    次の SQL サンプルクエリは、過去 30 日間のインプレッション数とユニーク ユーザー数を都市別に分析します。

    # START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
    # END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
    SELECT
      City,
      _DATA_DATE AS Date,
      count(*) AS imps,
      count(distinct UserId) AS uniq_users
    FROM `dataset.NetworkImpressionsnetwork_code`
    WHERE
      _DATA_DATE BETWEEN start_date AND end_date
    GROUP BY City, Date
    

    広告申込情報タイプ別のインプレッション数とユニーク ユーザー数

    次の SQL サンプルクエリは、過去 30 日間のインプレッション数とユニーク ユーザー数を広告申込情報タイプ別に分析します。

    # START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
    # END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
    SELECT
      MT.LineItemType AS LineItemType,
      DT._DATA_DATE AS Date,
      count(*) AS imps,
      count(distinct UserId) AS uniq_users
    FROM `dataset.NetworkImpressionsnetwork_code` AS DT
    LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT
    ON
      DT.LineItemId = MT.Id
    WHERE
      DT._DATA_DATE BETWEEN start_date AND end_date
    GROUP BY LineItemType, Date
    ORDER BY Date desc, imps desc
    

    広告ユニット別のインプレッション数

    次の SQL サンプルクエリは、過去 30 日間のインプレッション数を広告ユニット別に分析します。

    # START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
    # END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
    SELECT
      MT.AdUnitCode AS AdUnitCode,
      DT.DATA_DATE AS Date,
      count(*) AS imps
    FROM `dataset.NetworkImpressionsnetwork_code` AS DT
    LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT
    ON
      DT.AdUnitId = MT.Id
    WHERE
      DT._DATA_DATE BETWEEN start_date AND end_date
    GROUP BY AdUnitCode, Date
    ORDER BY Date desc, imps desc
    

    広告申込情報別のインプレッション数

    次の SQL サンプルクエリは、過去 30 日間のインプレッション数を広告申込情報別に分析します。

    # START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
    # END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
    SELECT
      MT.Name AS LineItemName,
      DT._DATA_DATE AS Date,
      count(*) AS imps
    FROM `dataset.NetworkImpressionsnetwork_code` AS DT
    LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT
    ON
      DT.LineItemId = MT.Id
    WHERE
      DT._DATA_DATE BETWEEN start_date AND end_date
    GROUP BY LineItemName, Date
    ORDER BY Date desc, imps desc