サードパーティ転送を使用する

BigQuery Data Transfer Service のサードパーティ転送を使用すると、Salesforce CRM、Adobe Analytics、Facebook Ads などの、繰り返し実施する必要がある外部データソースの読み込みジョブのスケジュールと管理を自動化できます。

始める前に

サードパーティ データ転送を作成する前に、以下の作業が必要です。

• BigQuery Data Transfer Service を有効にするために必要なすべての操作が完了していることを確認します。
• データを格納する BigQuery データセットを作成します。

• 転送を作成するユーザーに、BigQuery で必要な次の権限が付与されていることを確認します。

  • bigquery.transfers.update（転送を作成する権限）
  • 抽出先データセットに対する bigquery.datasets.get と bigquery.datasets.updateの両方の権限

  bigquery.transfers.update 権限、bigquery.datasets.update 権限、bigquery.datasets.get 権限は、IAM 事前定義ロール bigquery.admin に含まれています。BigQuery Data Transfer Service での IAM ロールについて、詳しくはアクセス制御をご覧ください。

• 転送を有効にするために必要な権限が構成されたことを確認するには、サードパーティ データソースのドキュメントをご覧ください。

• Pub/Sub の転送実行通知を設定する場合は、pubsub.topics.setIamPolicy 権限が必要です。メール通知を設定するだけの場合、Pub/Sub の権限は必要ありません。詳細については、BigQuery Data Transfer Service の実行通知をご覧ください。

制限事項

サードパーティ転送には、次の制限があります。

• サードパーティ転送は、Google Cloud コンソールを使用して作成または更新する必要があります。
• 現時点では、bq コマンドライン ツールを使用したサードパーティ転送の構成や更新はできません。

サードパーティ データ転送の設定

Google Cloud コンソールを使用してサードパーティ データ転送を作成するには:

1. Google Cloud Marketplace に移動します。

   Google Cloud Marketplace に移動

2. 該当のサードパーティ プロバイダをクリックします。

3. サードパーティ プロバイダのドキュメント ページで、[登録] をクリックします。登録プロセスにはしばらく時間がかかることがあります。

4. 登録が完了したら、[転送を構成] をクリックします。

5. [転送の作成] ページで、次の操作を行います。

   • [ソース] で、該当するサードパーティ データソースを選択します。[データソースを探索] をクリックすると、Google Cloud Marketplace のサードパーティ プロバイダのリストを表示できます。

     

   • [表示名] に、転送名（例: My Transfer）を入力します。転送名には、後で修正が必要になった場合に簡単に識別できる任意の名前を使用できます。

     

   • [スケジュール] で、デフォルト値（[すぐに開始可能]）のままにするか、[設定した時間に開始] をクリックします。

     • [繰り返しの頻度] で、転送を実行する頻度のオプションを選択します。次のオプションがあります。

       • 毎日（デフォルト）
       • 毎週
       • 毎月
       • カスタム
       • オンデマンド

       [毎日] 以外のオプションを選択した場合は、追加のオプションが利用可能です。たとえば、[毎週] を選択した場合、曜日を選択するためのオプションが表示されます。

     • [開始日と実行時間] に、転送を開始する日付と時刻を入力します。[すぐに開始可能] を選択した場合、このオプションは無効になります。

       

   • [宛先データセット] で、データを保存するために作成したデータセットを選択します。

     

   • （省略可）[通知オプション] セクションで、次の操作を行います。

     • 切り替えボタンをクリックしてメール通知を有効にします。このオプションを有効にすると、転送の実行が失敗した場合、転送管理者にメール通知が送信されます。
     • [Pub/Sub トピックを選択してください] で、トピック名を選択するか、[トピックを作成する] をクリックしてトピックを作成します。このオプションで、Pub/Sub の転送実行通知を構成します。

6. [ソースを接続] をクリックします。

   注: 宛先データセットを選択しなかった場合、[ソースを接続] をクリックすると「A selected destination dataset is required before connecting to the source.」というエラーが発生します。

7. プロンプトが表示されたら、[同意する] をクリックして、BigQuery Data Transfer Service にデータソースへの接続権限と BigQuery 内のデータ管理権限を付与します。

8. 後続のページの指示に従って、外部データソースへの接続を構成します。

9. 構成手順が完了したら、[保存] をクリックします。

サードパーティ転送の設定のトラブルシューティング

転送の設定に問題がある場合は、該当するサードパーティ ベンダーにお問い合わせください。連絡先情報は、Google Cloud Marketplace の転送のドキュメント ページで確認できます。

データに対するクエリを実行する

データが BigQuery に転送されると、取り込み時間パーティション分割テーブルにそのデータが書き込まれます。詳細については、パーティション分割テーブルの概要をご覧ください。

自動生成されたビューを使用せずに、テーブルでクエリを直接実行する場合は、そのクエリで _PARTITIONTIME 疑似列を使用する必要があります。詳細については、パーティション分割テーブルのクエリをご覧ください。

次のステップ

• BigQuery Data Transfer Service の概要については、BigQuery Data Transfer Service の概要をご覧ください。
• 転送構成に関する情報の取得、転送構成の一覧表示、転送の実行履歴の表示など、転送の使用方法については、転送の操作をご覧ください。