Salesforce 전송 예약

Salesforce용 BigQuery Data Transfer Service를 사용하면 Salesforce에서 BigQuery로 반복되는 로드 작업을 자동으로 예약하고 관리할 수 있습니다.

제한사항

Salesforce 전송에는 다음과 같은 제한사항이 적용됩니다.

Salesforce용 BigQuery Data Transfer Service는 Salesforce Bulk API만 Salesforce 인스턴스에 연결할 수 있도록 지원하고 Salesforce Bulk API에서 지원하는 항목의 전송만 지원합니다. 지원되는 항목에 대한 자세한 내용은 '항목이 Bulk API에서 지원되지 않습니다' 오류를 참조하세요.
반복 전송 사이의 최소 간격은 15분입니다. 반복 전송의 기본 간격은 24시간입니다.
Salesforce용 BigQuery Data Transfer Service는 Salesforce Sandbox 환경에 대한 연결을 지원하지 않습니다.

시작하기 전에

다음 섹션에서는 Salesforce 전송을 만들기 전에 수행해야 하는 단계를 설명합니다.

Salesforce 기본 요건

Salesforce 인스턴스에 Salesforce Bulk API를 사용 설정합니다.

다음 구성으로 Salesforce 연결 앱을 만듭니다.

앱에 대한 보안 토큰을 생성합니다.
다음을 수행하여 OAuth 사용자 이름 및 비밀번호 흐름을 허용합니다.
1. 연결된 앱에서 설정을 클릭합니다.
2. 빠른 찾기 필드에서 OAuth 및 OpenID Connect 설정을 검색하고 사용 설정합니다.
다음을 수행하여 연결된 앱의 사용자에 대해 자체 승인을 사용 설정합니다.
1. 연결된 앱에서 설정을 클릭합니다.
2. 빠른 찾기 필드에서 연결된 앱 관리를 검색합니다.
3. 전송 실행에 사용하는 연결된 앱에서 수정을 클릭합니다.
4. OAuth 정책에서 허용되는 사용자 메뉴를 클릭하고 모든 사용자가 자체 승인할 수 있음을 선택합니다.
5. IP 완화에서 IP 제한사항 완화를 선택합니다.

Salesforce 전송을 만들 때 다음 Salesforce 정보도 있어야 합니다.

매개변수 이름	설명
`clientId`	Salesforce 연결 애플리케이션의 ClientId 또는 고객 키입니다.
`clientSecret`	Salesforce 연결 애플리케이션의 OAuth 클라이언트 보안 비밀번호 또는 고객 보안 비밀입니다.
`username`	Salesforce 계정의 사용자 이름입니다.
`password`	Salesforce 계정의 비밀번호입니다.
`securityToken`	Salesforce 계정의 보안 토큰입니다. 이 보안 토큰은 비밀번호에 추가되는 대소문자를 구분하는 영숫자 코드입니다. 보안 토큰은 Salesforce 구성의 신뢰할 수 있는 IP 범위 외부에서 Salesforce API에 액세스할 때 필요합니다.

BigQuery 기본 요건

BigQuery Data Transfer Service 사용 설정에 필요한 모든 작업을 완료했는지 확인합니다.
데이터를 저장할 BigQuery 데이터세트를 만듭니다.
Pub/Sub의 전송 실행 알림을 설정하려면 pubsub.topics.setIamPolicy Identity and Access Management(IAM) 권한이 있는지 확인합니다. 이메일 알림만 설정한다면 Pub/Sub 권한이 필요하지 않습니다. 자세한 내용은 BigQuery Data Transfer Service 실행 알림을 참조하세요.

필요한 BigQuery 역할

전송을 만드는 데 필요한 권한을 얻으려면 관리자에게 BigQuery 관리자(roles/bigquery.admin) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

이 사전 정의된 역할에는 전송을 만드는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

전송을 만들려면 다음 권한이 필요합니다.

사용자에 대한 bigquery.transfers.update
대상 데이터 세트에 대한 bigquery.datasets.get
대상 데이터 세트에 대한 bigquery.datasets.update

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

Salesforce 데이터 전송 설정

Salesforce 데이터 전송을 만들려면 다음 안내를 따르세요.

콘솔

Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

BigQuery로 이동
데이터 전송 > 전송 만들기를 클릭합니다.
소스 유형 섹션의 소스에서 Salesforce를 선택합니다.
전송 구성 이름 섹션의 표시 이름에 전송 이름을 입력합니다.
일정 옵션 섹션에서 다음을 수행합니다.
- 반복 빈도 목록에서 이 전송 실행 빈도를 지정하는 옵션을 선택합니다. 커스텀 반복 빈도를 지정하려면 커스텀을 선택합니다. 주문형을 선택하면 이 전송은 수동으로 전송을 트리거할 때 실행됩니다.
- 해당하는 경우 지금 시작 또는 설정 시간에 시작을 선택하고 시작 날짜와 실행 시간을 제공합니다.
대상 설정 섹션의 데이터 세트에서 데이터를 저장하기 위해 만든 데이터 세트를 선택합니다.
데이터 소스 세부정보 섹션에서 다음을 수행합니다.
- 커스텀 도메인에 해당하는 경우 커스텀 로그인 도메인을 입력합니다. Salesforce 로그인 URL이 login.salesforce.com 또는 test.salesforce.com이면 이 필드를 비워 둡니다.
- Salesforce URL에 Salesforce 로그인 URL이 끝나는 서픽스를 선택합니다. my.salesforce.com 또는 sandbox.my.salesforce.com을 선택하면 이 값은 커스텀 도메인 필드에 제공한 커스텀 도메인에 서픽스를 추가합니다.
  
  예를 들어 커스텀 도메인 mydomain을 제공하고 my.salesforce.com을 선택한 경우 로그인 URL은 mydomain.my.salesforce.com입니다.
- 사용자 이름에 Salesforce 계정의 사용자 이름을 입력합니다.
- 비밀번호에 Salesforce 계정의 비밀번호를 입력합니다.
- 보안 토큰에 Salesforce 계정의 보안 토큰을 입력합니다.
- 클라이언트 ID에 Salesforce 연결 애플리케이션 고객 키를 입력합니다.
- 클라이언트 보안 비밀번호에 Salesforce 연결 애플리케이션 고객 보안 비밀을 입력합니다.
- 전송할 Salesforce 객체에서 찾아보기를 클릭하여 BigQuery 대상 데이터 세트로 전송할 객체를 선택합니다.
  - 이 필드에 전송에 포함할 객체를 수동으로 입력할 수도 있습니다.
서비스 계정 목록에서 Google Cloud 프로젝트와 연결된 서비스 계정을 선택합니다. 선택한 서비스 계정에는 이 전송을 실행하는 데 필요한 역할이 있어야 합니다.

제휴 ID로 로그인한 경우 서비스 계정이 전송을 만드는 데 필요합니다. Google 계정으로 로그인한 경우 전송에 사용되는 서비스 계정은 선택사항입니다.

데이터 전송에서 서비스 계정을 사용하는 방법에 대한 자세한 내용은 서비스 계정 사용을 참조하세요.
선택사항: 알림 옵션 섹션에서 다음을 수행합니다.
- 이메일 알림을 사용 설정하려면 이메일 알림 전환 버튼을 클릭합니다. 이 옵션을 사용 설정하면 전송 실행이 실패할 때 전송 관리자에게 이메일 알림이 발송됩니다.
- 이 전송에 Pub/Sub 전송 실행 알림을 사용 설정하려면 Pub/Sub 알림 전환 버튼을 클릭합니다. 주제 이름을 선택하거나 주제 만들기를 클릭하여 주제를 만들 수 있습니다.
저장을 클릭합니다.

bq

bq mk 명령어를 입력하고 전송 생성 플래그 --transfer_config를 지정합니다.

bq mk \
    --transfer_config \
    --project_id=PROJECT_ID \
    --data_source=DATA_SOURCE \
    --display_name=NAME \
    --target_dataset=DATASET \
    --params='PARAMETERS'

각 항목의 의미는 다음과 같습니다.

PROJECT_ID(선택사항): Google Cloud 프로젝트 ID입니다. 특정 프로젝트를 지정하는 --project_id가 입력되지 않으면 기본 프로젝트가 사용됩니다.
DATA_SOURCE: 데이터 소스 — salesforce입니다.
NAME: 전송 구성의 표시 이름입니다. 전송 이름은 나중에 수정해야 할 경우를 대비해 간편하게 전송을 식별할 수 있는 값이면 됩니다.
DATASET. 전송 구성의 대상 데이터 세트입니다.
PARAMETERS: JSON 형식으로 생성된 전송 구성의 매개변수입니다. 예를 들면 --params='{"param":"param_value"}'입니다. Salesforce 전송에 대한 매개변수는 다음과 같습니다.
- connector.authentication.oauth.clientId: Salesforce 연결 애플리케이션의 ClientId 또는 고객 키입니다.
- connector.authentication.oauth.clientSecret: Salesforce 연결 애플리케이션의 OAuth 클라이언트 보안 비밀번호 또는 고객 보안 비밀입니다.
- connector.customDomainName(선택사항): Salesforce 커스텀 로그인 도메인(해당되는 경우)입니다. 기본 로그인 도메인 login.Salesforce.com을 사용하려면 비워 둡니다.
- connector.authentication.username: Salesforce 계정의 사용자 이름입니다.
- connector.authentication.password: Salesforce 계정의 비밀번호입니다.
- connector.authentication.securityToken: Salesforce 계정의 보안 토큰입니다.
- assets: BigQuery로 전송할 Salesforce 객체의 경로입니다.

예를 들어 다음 명령어는 필요한 모든 매개 변수를 사용하여 기본 프로젝트에 Salesforce 전송을 만듭니다.

bq mk \
    --transfer_config \
    --target_dataset=mydataset \
    --data_source=salesforce \
    --display_name='My Transfer' \
    --params='{"assets":["Account"],
        "connector.authentication.oauth.clientId": "1234567890",
        "connector.authentication.oauth.clientSecret":"ABC12345",
        "connector.customDomainName":"MyDomainName",
        "connector.authentication.username":"user1@force.com",
        "Connector.authentication.password":"abcdef1234",
        "connector.authentication.securityToken":"a1hghbb44lnl465lbl75b",}'

API

projects.locations.transferConfigs.create 메서드를 사용하고 TransferConfig 리소스의 인스턴스를 지정합니다.

가격 책정

이 기능이 프리뷰 버전인 동안에는 Salesforce 데이터를 BigQuery로 전송하는 데 비용이 들지 않습니다.

전송 설정 문제 해결

전송을 설정하는 데 문제가 있으면 Salesforce 전송 문제를 참조하세요.

다음 단계

BigQuery Data Transfer Service 개요는 BigQuery Data Transfer Service 소개를 참조하세요.
전송 구성 정보 가져오기, 전송 구성 나열, 전송 실행 기록 보기를 포함한 전송 사용에 대한 정보는 전송 작업을 참조하세요.
교차 클라우드 작업으로 데이터를 로드하는 방법을 알아보세요.