サードパーティ転送の使用

は、

BigQuery Data Transfer Service のサードパーティ転送を使用すると、Salesforce CRM、Adobe Analytics、Facebook Ads など、繰り返し実施する必要がある外部データソースの読み込みジョブのスケジュールと管理を自動化できます。

始める前に

サードパーティ データ転送を作成する前に、以下の作業が必要です。

  • BigQuery Data Transfer Service を有効にするために必要なすべての操作が完了していることを確認します。
  • データを格納する BigQuery データセットを作成します。
  • 転送を作成するユーザーに、BigQuery で必要な次の権限が付与されていることを確認します。

    • 転送を作成するための bigquery.transfers.update 権限。
    • ターゲット データセットに対する bigquery.datasets.update 権限

    事前定義されたプロジェクト レベルの IAM 役割である bigquery.admin には、bigquery.transfers.update 権限と bigquery.datasets.update 権限が含まれています。BigQuery での IAM 役割の詳細については、アクセス制御をご覧ください。

  • 転送を有効にするために必要な権限が構成されたことを確認するには、サードパーティ データソースのドキュメントをご覧ください。

  • 転送実行通知は、現時点ではアルファ版です。Cloud Pub/Sub に対する転送実行通知を設定する場合は、pubsub.topics.setIamPolicy 権限が必要です。メール通知の設定のみを行う場合は、Cloud Pub/Sub の権限は必要ありません。詳細については、BigQuery Data Transfer Service の実行通知をご覧ください。

制限事項

サードパーティ転送には、次の制限があります。

  • GCP Console で BigQuery ウェブ UI を使用してサードパーティ転送を作成、あるいは更新する必要があります。サードパーティ転送は、従来のウェブ UI を使用して構成することはできません。
  • 現時点では、コマンドライン ツールを使用したサードパーティ転送の構成や更新はできません。

サードパーティ データ転送の設定

GCP Console を使用してサードパーティ データ転送を作成するには:

  1. GCP Marketplace に移動します。

    GCP Marketplace に移動

  2. 該当のサードパーティ プロバイダをクリックします。

  3. サードパーティ プロバイダのドキュメント ページで、[登録] をクリックします。登録プロセスにはしばらく時間がかかることがあります。

  4. 登録が完了したら、[転送を構成] をクリックします。

  5. [転送の作成] ページで、次の操作を行います。

    • [ソース] で、該当するサードパーティ データソースを選択します。[データソースを探索] をクリックすると、GCP Marketplace のサードパーティ プロバイダのリストを表示できます。

      転送のソース

    • [表示名] に転送名(My Transfer など)を入力します。転送名には、後で修正が必要になった場合に簡単に識別できる任意の名前を使用できます。

      転送名

    • [スケジュール] で、デフォルト値([すぐに開始可能])のままにするか、[設定した時間に開始] をクリックします。

      • [繰り返しの頻度] で、転送を実行する頻度のオプションを選択します。以下のオプションがあります。

        • 毎日(デフォルト)
        • 毎週
        • 毎月
        • カスタム
        • オンデマンド

        [毎日] 以外のオプションを選択した場合は、追加のオプションが利用可能です。たとえば、[毎週] を選択した場合、曜日を選択するためのオプションが表示されます。

      • [開始日と実行時間] に、転送を開始する日付と時刻を入力します。[すぐに開始可能] を選択した場合、このオプションは無効になります。

        転送スケジュール

    • [宛先データセット] で、データを保存するために作成したデータセットを選択します。

      宛先データセット

    • (省略可)[通知オプション] セクションで、次の操作を行います。

      • 切り替えボタンをクリックしてメール通知を有効にします。このオプションを有効にすると、転送の実行が失敗した場合、転送管理者にメール通知が送信されます。
      • [Cloud Pub/Sub トピックを選択してください] で、トピック名を選択するか、[トピックを作成する] をクリックしてトピックを作成します。このオプションで、Cloud Pub/Sub の転送実行通知を構成します。現在、転送実行通知は、アルファ版です。
  6. [ソースを接続] をクリックします。

  7. プロンプトが表示されたら、[同意する] をクリックして、BigQuery Data Transfer Service にデータソースへの接続権限と BigQuery 内のデータ管理権限を付与します。

  8. 後続のページの指示に従って、外部データソースへの接続を構成します。

  9. 構成手順が完了したら、[保存] をクリックします。

サードパーティ転送設定のトラブルシューティング

転送の設定に問題がある場合は、該当するサードパーティ ベンダーにお問い合わせください。連絡先情報が GCP Marketplace の転送のドキュメント ページにあります。

データのクエリ

データが BigQuery に転送されると、取り込み時間パーティション分割テーブルにそのデータが書き込まれます。詳細については、パーティション分割テーブルの概要をご覧ください。

自動生成されたビューを使用せずに、テーブルでクエリを直接実行する場合は、そのクエリで _PARTITIONTIME 疑似列を使用する必要があります。詳細については、パーティション分割テーブルのクエリをご覧ください。

次のステップ

  • BigQuery Data Transfer Service の概要については、BigQuery Data Transfer Service の概要をご覧ください。
  • 転送構成に関する情報の取得、転送構成の一覧表示、転送の実行履歴の表示など、転送の使用方法については、転送の操作をご覧ください。
このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...

ご不明な点がありましたら、Google のサポートページをご覧ください。