Salesforce の転送をスケジュールする

BigQuery Data Transfer Service for Salesforce を使用すると、Salesforce から BigQuery への定期的な読み込みジョブを自動的にスケジュールし、管理できます。

制限事項

Salesforce の転送には、次の制限があります。

  • BigQuery Data Transfer Service for Salesforce は、Salesforce Bulk API のみを使用して Salesforce インスタンスに接続し、Salesforce Bulk API でサポートされているエンティティの転送のみをサポートします。サポートされているエンティティの詳細については、「Entity is not supported by the Bulk API」エラーをご覧ください。
  • 定期的な転送の最小間隔は 15 分です。デフォルトの定期的な転送間隔は 24 時間です。
  • BigQuery Data Transfer Service for Salesforce は、Salesforce サンドボックス環境への接続をサポートしていません。

始める前に

以降のセクションでは、Salesforce の転送を作成する前に必要な手順について説明します。

Salesforce の前提条件

Salesforce インスタンスで Salesforce Bulk API を有効にします。

次の構成で Salesforce 接続アプリを作成します。

  • アプリのセキュリティ トークンを生成します。

  • 次の手順で OAuth ユーザー名とパスワードのフローを許可します。

    1. 接続済みのアプリで [Setup] をクリックします。

    2. [Quick find] フィールドで、[OAuth and OpenID Connect Settings] を検索して有効にします。

      Salesforce で OAuth と OpenID Connect の設定を有効にする

  • 次の手順で、接続されているアプリに対してユーザーの自己認証を有効にします。

    1. 接続済みのアプリで [Setup] をクリックします。
    2. [Quick find] フィールドで「Manage connected apps」を検索します。
    3. 転送実行に使用している接続アプリで [Edit] をクリックします。

    4. [OAuth policies] で [Permitted Users] メニューをクリックし、[All users may self-authorize] を選択します。

      Salesforce でユーザーのセルフ認証を有効にする

    5. [IP Relaxation] で [Relax IP restrictions] を選択します。

      Salesforce での IP 制限の緩和

Salesforce の転送を作成する場合は、Salesforce について次の情報も用意する必要があります。

パラメータ名 説明
clientId Salesforce 接続アプリケーションの ClientId またはコンシューマ キー。
clientSecret

Salesforce 接続アプリケーションの OAuth クライアント シークレットまたはコンシューマ シークレット。
username

Salesforce アカウントのユーザー名。
password

Salesforce アカウントのパスワード。
securityToken

Salesforce アカウントのセキュリティ トークン。このセキュリティ トークンは、パスワードに付加される英数字のコードで、大文字と小文字が区別されます。セキュリティ トークンは、Salesforce 構成の信頼できる IP 範囲の外部から Salesforce API にアクセスする場合に必要です。

BigQuery の前提条件

必要な BigQuery のロール

転送の作成に必要な権限を取得するには、BigQuery 管理者（roles/bigquery.admin）IAM ロールを付与するよう管理者に依頼してください。ロールの付与の詳細については、アクセス権の管理をご覧ください。

この事前定義ロールには、転送の作成に必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

転送を作成するには、次の権限が必要です。

  • ユーザーに対する bigquery.transfers.update
  • ターゲット データセットに対する bigquery.datasets.get
  • ターゲット データセットに対する bigquery.datasets.update

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

Salesforce のデータ転送を設定する

Salesforce データ転送を作成するには:

コンソール

  1. Google Cloud コンソールで [BigQuery] ページに移動します。

    [BigQuery] に移動

  2. [データ転送] > [転送を作成] をクリックします。

  3. [ソースタイプ] セクションの [ソース] で、[Salesforce] を選択します。

  4. [転送構成名] セクションの [表示名] に、転送名を入力します。

  5. [スケジュール オプション] セクションで:

    • [繰り返しの頻度] リストで、この転送の実行頻度を指定するオプションを選択します。カスタムの繰り返しの頻度を指定するには、[カスタム] を選択します。[オンデマンド] を選択した場合、手動で転送をトリガーすると、この転送が実行されます。

    • 必要に応じて、[すぐに開始可能] を選択するか、[設定した時刻に開始] を選択して開始日と実行時間を指定します。

  6. [転送先の設定] セクションの [データセット] で、データを保存するために作成したデータセットを選択します。

  7. [データソースの詳細] セクションで、次のようにします。

    • [カスタム ドメイン] に、必要に応じてカスタム ログイン ドメインを入力します。
    • [ユーザー名] に Salesforce アカウントのユーザー名を入力します。
    • [パスワード] に Salesforce アカウントのパスワードを入力します。
    • [Security token] に Salesforce アカウントのセキュリティ トークンを入力します。
    • [クライアント ID] に、Salesforce 接続アプリケーションのコンシューマ キーを入力します。
    • [クライアント シークレット] に、Salesforce 接続アプリケーションのコンシューマ シークレットを入力します。

    • [Salesforce objects to transfer] で、[参照] をクリックして、BigQuery 宛先データセットに転送するオブジェクトを選択します。

      • このフィールドには、転送に含めるオブジェクトを手動で入力することもできます。

      Salesforce の転送構成を行う

  8. [サービス アカウント] リストで、Google Cloud プロジェクトに関連付けられたサービス アカウントを選択します。選択したサービス アカウントには、この転送の実行に必要なロールが付与されている必要があります。

    フェデレーション ID でログインした場合、転送を作成するにはサービス アカウントが必要です。Google アカウントでログインした場合、転送用のサービス アカウントは省略可能です。

    データ転送でサービス アカウントを使用する方法の詳細については、サービス アカウントの使用をご覧ください。

  9. 省略可: [通知オプション] セクションで、次のようにします。

    • メール通知を有効にするには、[メール通知] をクリックします。このオプションを有効にすると、転送の実行が失敗した場合、転送管理者にメール通知が送信されます。
    • この転送の Pub/Sub 転送実行通知を有効にするには、[Pub/Sub 通知] をクリックします。トピック名を選択するか、[トピックを作成] をクリックしてトピックを作成します。

  10. [保存] をクリックします。

bq

bq mk コマンドを入力して、転送作成フラグ --transfer_config を指定します。

bq mk \
    --transfer_config \
    --project_id=PROJECT_ID \
    --data_source=DATA_SOURCE \
    --display_name=NAME \
    --target_dataset=DATASET \
    --params='PARAMETERS'

ここで

  • PROJECT_ID（省略可）: Google Cloud プロジェクト ID。--project_id で特定のプロジェクトを指定しない場合は、デフォルトのプロジェクトが使用されます。
  • DATA_SOURCE: データソース - salesforce。
  • NAME: 転送構成の表示名。転送名には、後で修正が必要になった場合に識別できる任意の名前を使用できます。
  • DATASET: 転送構成のターゲット データセット。

  • PARAMETERS: 作成される転送構成のパラメータを JSON 形式で指定します。例: --params='{"param":"param_value"}'。Salesforce 転送のパラメータは次のとおりです。

    • connector.authentication.oauth.clientId: Salesforce 接続されているアプリケーションの ClientId またはコンシューマ キー。
    • connector.authentication.oauth.clientSecret: Salesforce 接続アプリケーションの OAuth クライアント シークレットまたはコンシューマ シークレット。
    • connector.customDomainName（省略可）: Salesforce カスタム ログイン ドメイン（該当する場合）。デフォルトのログイン ドメイン login.Salesforce.com を使用する場合は空欄にします。
    • connector.authentication.username: Salesforce アカウントのユーザー名。
    • connector.authentication.password: Salesforce アカウントのパスワード。
    • connector.authentication.securityToken: Salesforce アカウントのセキュリティ トークン。
    • assets: BigQuery に転送する Salesforce オブジェクトのパス。

たとえば、次のコマンドは、必要なすべてのパラメータを使用してデフォルト プロジェクトに Salesforce 転送を作成します。

bq mk \
    --transfer_config \
    --target_dataset=mydataset \
    --data_source=salesforce \
    --display_name='My Transfer' \
    --params='{"assets":["Account"],
        "connector.authentication.oauth.clientId": "1234567890",
        "connector.authentication.oauth.clientSecret":"ABC12345",
        "connector.customDomainName":"MyDomainName",
        "connector.authentication.username":"user1@force.com",
        "Connector.authentication.password":"abcdef1234",
        "connector.authentication.securityToken":"a1hghbb44lnl465lbl75b",}'

API

projects.locations.transferConfigs.create メソッドを使用して、TransferConfig リソースのインスタンスを指定します。

料金

この機能のプレビュー版では、Salesforce データを BigQuery に転送しても費用はかかりません。

転送の設定に関するトラブルシューティング

転送を設定する際に問題が発生した場合は、Salesforce の転送に関する問題をご覧ください。

次のステップ