BigQuery Data Transfer Service を有効にする

BigQuery Data Transfer Service を使用するには、プロジェクトのオーナーとして次の手順を実施する必要があります。

• プロジェクトを作成して BigQuery API を有効にします。
• BigQuery Data Transfer Service を有効にします。

Identity and Access Management（IAM）ロールの詳細については、IAM ドキュメントのロールについてをご覧ください。

注: BigQuery Data Transfer Service をプログラムで有効にした直後に BigQuery Data Transfer Service API を呼び出す場合は、連続した呼び出しの間にバックオフ遅延を設けて、再試行可能な呼び出しを実装する必要があります。これが必要なのは、API 有効化が非同期的であり、結果整合性によって生じる伝播遅延の影響を受けるためです。

プロジェクトを作成して BigQuery API を有効にする

BigQuery Data Transfer Service を使用する前に、プロジェクトを作成し、通常はこのプロジェクトで請求を有効にする必要があります。BigQuery Data Transfer Service で既存のプロジェクトを使用することも、新しいプロジェクトを作成することもできます。既存のプロジェクトを使用する場合は、BigQuery API を有効にする必要があります。

プロジェクトを作成して BigQuery API を有効にするには:

1. Google Cloud コンソールでプロジェクトの選択ページに移動します。

   プロジェクト セレクタに移動

2. Google Cloud プロジェクトを選択または作成します。

   注: この手順で作成するリソースをそのまま保持する予定でない場合、既存のプロジェクトを選択するのではなく、新しいプロジェクトを作成してください。チュートリアルの終了後にそのプロジェクトを削除すれば、プロジェクトに関連するすべてのリソースを削除できます。

3. すべての転送について、プロジェクトで課金を有効にします。無料の転送では、$0 が請求されます。

   課金の有効化が必要になるのは、プロジェクトごとに 1 回のみです。複数のソースからデータを転送する場合も同様です。BigQuery でデータのクエリを行うには、データの転送後に課金を有効にする必要があります。

   プロジェクトに対して課金が有効になっていることを確認するで詳細をご覧ください。

4. 新しいプロジェクトでは、BigQuery が自動的に有効になります。既存のプロジェクトで BigQuery を有効にするには、BigQuery API を有効にします。
   
   BigQuery API を有効にする

BigQuery Data Transfer Service を有効にする

転送を作成する前に、BigQuery Data Transfer Service を有効にする必要があります。BigQuery Data Transfer Service を有効にするには、プロジェクトのオーナーのロールが付与されている必要があります。

BigQuery Data Transfer Service を有効にするには:

1. API ライブラリの BigQuery Data Transfer API ページを開きます。

2. プルダウン メニューから、適切なプロジェクトを選択します。

3. [有効にする] ボタンをクリックします。

   Data Transfer API を有効にします

サービス エージェント

BigQuery Data Transfer Service は、Google 管理のサービス アカウント（サービス エージェント）を使用してリソースにアクセスして管理します。これには次のリソースが含まれますが、これらに限定されるものではありません。

• データ転送の承認時に使用するサービス アカウントのアクセス トークンを取得する。
• 有効な Pub/Sub トピックに通知をパブリッシュする。
• BigQuery ジョブを開始する。

サービス エージェントは、BigQuery Data Transfer Service を有効にした後で API を初めて使用するときに、自動的に作成されます。サービス エージェントを作成すると、事前定義のサービス エージェント ロールが自動的に付与されます。

プロジェクト間のサービス アカウントの承認

BigQuery Data Transfer Service が有効になっているプロジェクトとは別のプロジェクトを使用して、サービス アカウントを使用してデータ転送を承認する場合、roles/iam.serviceAccountTokenCreator ロールを、次の Google Cloud CLI コマンドを使用しているサービス エージェントに付与する必要があります。

gcloud iam service-accounts add-iam-policy-binding service_account \
--member serviceAccount:[e-mail] \
--role roles/iam.serviceAccountTokenCreator

ここで

• service_account は、データ転送の承認に使用されるプロジェクト間のサービス アカウントです。
• project_number は、BigQuery Data Transfer Service が有効になっているプロジェクトのプロジェクト番号です。

プロジェクト間のリソース構成の詳細については、Identity and Access Management サービス アカウントの権限借用に関するドキュメントの別のプロジェクトのリソースの構成をご覧ください。

サービス エージェントの手動作成

API を操作する前にサービス エージェントの作成をトリガーする場合（たとえば、サービス エージェントに追加のロールを付与する必要がある場合）は、次のいずれかの方法を使用できます。

• API: services.GenerateServiceIdentity
• gcloud CLI: gcloud beta services identity create
• Terraform プロバイダ: google_project_service_identity

サービス エージェントの作成を手動でトリガーする場合、事前定義されたサービス エージェントのロールが自動的に付与されることはありません。次の Google Cloud CLI コマンドを使用して、サービス エージェントに事前定義ロールを手動で付与する必要があります。

gcloud projects add-iam-policy-binding project_number \
--member serviceAccount:[e-mail] \
--role roles/bigquerydatatransfer.serviceAgent

ここで

• project_number は、BigQuery Data Transfer Service が有効になっているプロジェクトのプロジェクト番号です。

警告: サービス エージェントからサービス エージェントのロールを取り消さないでください。ロールを取り消すと、BigQuery Data Transfer Service は機能しなくなります。

bigquery.admin アクセス権を付与する

BigQuery Data Transfer Service 転送を作成するユーザーには、bigquery.admin IAM 事前定義ロールを付与することをおすすめします。bigquery.admin ロールには、最も一般的なタスクを実行するために必要な IAM 権限が含まれています。bigquery.admin のロールには、次の BigQuery Data Transfer Service の権限が含まれます。

• BigQuery Data Transfer Service の権限:
  • bigquery.transfers.update
  • bigquery.transfers.get
• BigQuery の権限:
  • bigquery.datasets.get
  • bigquery.datasets.update
  • bigquery.jobs.create

注: 特定のユースケースに対して bigquery.admin ロールが広すぎる場合は、必要な権限のみがあるカスタム IAM ロールを作成できます。

場合によっては、必要な権限がデータソースによって異なることがあります。具体的な IAM 情報については、各データソース転送ガイドの「必要な権限」をご覧ください。たとえば、Amazon S3 の転送権限や Cloud Storage の転送権限をご覧ください。

bigquery.admin ロールを付与するには:

コンソール

1. Google Cloud コンソールで [IAM] ページを開きます

   [IAM] ページを開く

2. [プロジェクトを選択] をクリックします。

3. プロジェクトを選択して [開く] をクリックします。

4. [追加] をクリックしてプロジェクトに新しいメンバーを追加し、権限を設定します。

5. [メンバーの追加] ダイアログで、次の操作を行います。

   • [メンバー] で、ユーザーまたはグループのメールアドレスを入力します。
   • [役割を選択] プルダウンで [BigQuery] > [BigQuery 管理者] の順にクリックします。

   • [追加] をクリックします。

     

gcloud

Google Cloud CLI を使用して、ユーザーやグループに bigquery.admin ロールを付与できます。

プロジェクトの IAM ポリシーにバインドを 1 つ追加するには、次のコマンドを入力します。ユーザーを追加するには、フォーマット user:[e-mail] で --member フラグを指定します。グループを追加するには、フォーマット group:[e-mail] で --member フラグを指定します。

gcloud projects add-iam-policy-binding project_id \
--member principal:address \
--role roles/bigquery.admin

ここで

• project_id はプロジェクト ID です。
• principal は group か user のどちらかです。
• address はユーザーまたはグループのメールアドレスです。

例:

gcloud projects add-iam-policy-binding myproject \
--member group:[e-mail] \
--role roles/bigquery.admin

このコマンドでは、更新したポリシーが出力されます。

    bindings:
    - members:
      - group:[e-mail]
        role: roles/bigquery.admin
    

BigQuery での IAM のロールの詳細については、事前定義ロールと権限をご覧ください。

次のステップ

BigQuery Data Transfer Service を有効にしたら、データソースの転送を作成します。

Google の Software as a Service（SaaS）アプリ:

• キャンペーン マネージャー
• ディスプレイ＆ビデオ 360
• Google アド マネージャー
• Google 広告
• Google Merchant Center
• Google Play
• 検索広告 360
• YouTube チャンネル
• YouTube コンテンツ所有者

クラウド ストレージ プロバイダ:

• Cloud Storage
• Amazon S3
• Azure Blob Storage

データ ウェアハウス:

• Teradata
• Amazon Redshift

また、Google Cloud Marketplace では、いくつかのサードパーティ転送を利用できます。