전송 관리
이 문서에서는 기존 데이터 전송 구성을 관리하는 방법을 보여줍니다.
백필 실행을 시작해도 기존 전송을 수동으로 트리거할 수 있습니다.
전송 보기
각 전송에 대한 정보를 보고 모든 기존 전송을 나열하고 전송 실행 기록이나 로그 메시지를 확인하여 기존 전송 구성을 봅니다.
필요한 역할
전송 세부정보를 보는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 BigQuery 사용자(roles/bigquery.user
) IAM 역할을 부여해 달라고 요청하세요.
역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
또한 Google Cloud 콘솔을 통해 로그 메시지를 보려면 Cloud Logging 데이터를 볼 수 있는 권한이 있어야 합니다. 로그 뷰어 역할(roles/logging.viewer
)은 Logging의 모든 기능에 대한 읽기 전용 액세스 권한을 제공합니다. 클라우드 로그 데이터에 적용되는 Identity and Access Management(IAM) 권한과 역할에 대한 자세한 내용은 Cloud Logging 액세스 제어 가이드를 참조하세요.
BigQuery Data Transfer Service의 IAM 역할에 대한 자세한 내용은 액세스 제어를 참조하세요.
전송 세부정보 가져오기
전송을 만든 후 전송 구성 정보를 가져올 수 있습니다. 구성에는 전송을 만들 때 입력한 값과 리소스 이름과 같은 기타 중요한 정보가 포함됩니다.
전송 구성 정보를 가져오려면 다음 안내를 따르세요.
콘솔
데이터 전송 페이지로 이동합니다.
세부정보를 가져올 전송을 선택합니다.
전송 구성 및 데이터 소스 세부정보를 보려면 전송 세부정보 페이지에서 구성을 클릭합니다. 다음 예시는 Google Ads 전송의 구성 속성을 보여줍니다.
bq
bq show
명령어를 입력하고 전송 구성 리소스 이름을 제공합니다. --format
플래그를 사용하면 출력 형식을 제어할 수 있습니다.
bq show \
--format=prettyjson \
--transfer_config resource_name
resource_name
을 전송 리소스 이름(전송 구성이라고도 함)으로 바꿉니다. 전송 리소스 이름을 모르면 bq ls --transfer_config --transfer_location=location
으로 리소스 이름을 찾습니다.
예를 들어 다음 명령어를 입력하여 전송 구성 projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
을 표시합니다.
bq show \
--format=prettyjson \
--transfer_config projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
projects.locations.transferConfigs.get
메서드를 사용하고 name
매개변수를 사용하여 전송 구성을 제공합니다.
자바
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
전송 구성 나열
프로젝트의 모든 기존 전송 구성을 나열하려면 다음 안내를 따르세요.
콘솔
Google Cloud 콘솔에서 데이터 전송 페이지로 이동합니다.
프로젝트에 전송 구성이 있는 경우 전송 구성 목록이 데이터 전송 목록에 표시됩니다.
bq
프로젝트의 모든 전송 구성을 위치별로 나열하려면 bq ls
명령어를 입력하고 --transfer_location
및 --transfer_config
플래그를 제공합니다. 또한 --project_id
플래그를 입력하여 특정 프로젝트를 지정할 수도 있습니다. --project_id
를 지정하지 않으면 기본 프로젝트가 사용됩니다.
--format
플래그를 사용하면 출력 형식을 제어할 수 있습니다.
특정 데이터 소스의 전송 구성을 나열하려면 --filter
플래그를 제공합니다.
특정 개수의 전송 구성을 페이지 번호 매김 형식으로 보려면 --max_results
플래그를 제공하여 전송 수를 제공합니다. 이 명령어는 --page_token
플래그를 사용하여 사용자가 제공하는 페이지 토큰을 반환하여 다음 n개 구성을 표시합니다. --max_results
가 생략된 경우 반환되는 구성 한도는 1,000개이며 --max_results
는 1,000보다 큰 값을 수락하지 않습니다. 프로젝트에 구성이 1,000개 넘게 있으면 --max_results
및 --page_token
을 사용하여 모두 반복합니다.
bq ls \ --transfer_config \ --transfer_location=location \ --project_id=project_id \ --max_results=integer \ --filter=dataSourceIds:data_sources
다음을 바꿉니다.
location
은 전송 구성 위치입니다. location은 전송을 만들 때 지정됩니다.project_id
는 프로젝트 ID입니다.integer
는 페이지당 표시되는 결과 수입니다.data_sources
는 다음 중 하나 이상입니다.amazon_s3
- Amazon S3 데이터 전송azure_blob_storage
- Azure Blob Storage 데이터 전송dcm_dt
- Campaign Manager 데이터 전송google_cloud_storage
- Cloud Storage 데이터 전송cross_region_copy
- 데이터 세트 사본dfp_dt
- Google Ad Manager 데이터 전송adwords
- Google Ads 데이터 전송google_ads
- Google Ads 데이터 전송(미리보기)merchant_center
- Google 판매자 센터 데이터 전송play
- Google Play 데이터 전송scheduled_query
- 예약된 쿼리 데이터 전송doubleclick_search
- Search Ads 360 데이터 전송youtube_channel
- YouTube 채널 데이터 전송youtube_content_owner
- YouTube 콘텐츠 소유자 데이터 전송redshift
- Amazon Redshift 마이그레이션on_premises
- Teradata 마이그레이션
예를 들면 다음과 같습니다.
다음 명령어를 입력하여 기본 프로젝트의 미국 내 모든 전송 구성을 표시합니다. 출력은 --format
플래그를 통해 제어됩니다.
bq ls \
--format=prettyjson \
--transfer_config \
--transfer_location=us
다음 명령어를 입력하여 프로젝트 ID myproject
에 대한 미국 내 모든 전송 구성을 표시합니다.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject
다음 명령어를 입력하여 최근 전송 구성 3개를 나열합니다.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3
이 명령어는 다음 페이지 토큰을 반환합니다. 페이지 토큰을 복사하고 이를 bq ls
명령어에 제공하여 다음 3개 결과를 확인합니다.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL
다음 명령어를 입력하여 프로젝트 ID myproject
의 Ads 및 Campaign Manager 전송 구성을 나열합니다.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--filter=dataSourceIds:dcm_dt,google_ads
API
projects.locations.transferConfigs.list
메서드를 사용하고 parent
매개변수를 사용하여 프로젝트 ID를 제공합니다.
자바
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
Python
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
전송 실행 기록 보기
예약 전송이 실행됨에 따라 각 전송 구성의 전송 실행 성공과 실패를 포함한 실행 기록이 유지됩니다. 90일이 지난 전송 실행은 자동으로 실행 기록에서 삭제됩니다.
전송 구성 실행 기록을 보려면 다음 안내를 따르세요.
콘솔
Google Cloud 콘솔에서 데이터 전송 페이지로 이동합니다.
데이터 전송 목록에서 전송을 클릭합니다.
선택한 전송에 대한 실행 기록 페이지가 표시됩니다.
bq
특정 전송 구성의 전송 실행을 나열하려면 bq
ls
명령어를 입력하고 --transfer_run
플래그를 제공합니다. 또한 --project_id
플래그를 입력하여 특정 프로젝트를 지정할 수도 있습니다. resource_name에 프로젝트 정보가 없으면 --project_id
값이 사용됩니다. --project_id
를 지정하지 않으면 기본 프로젝트가 사용됩니다. --format
플래그를 사용하면 출력 형식을 제어할 수 있습니다.
특정 개수의 전송 실행을 보려면 --max_results
플래그를 제공합니다. 이 명령어는 --page_token
플래그를 사용하여 사용자가 제공하는 페이지 토큰을 반환하여 다음 n개 구성을 표시합니다.
실행 상태를 기준으로 전송 실행을 나열하려면 --filter
플래그를 제공합니다.
bq ls \ --transfer_run \ --max_results=integer \ --transfer_location=location \ --project_id=project_id \ --filter=states:state, ... \ resource_name
다음을 바꿉니다.
integer
는 반환할 결과 수입니다.location
은 전송 구성 위치입니다. location은 전송을 만들 때 지정됩니다.project_id
는 프로젝트 ID입니다.state, ...
는 다음 중 하나이거나 쉼표로 구분된 목록입니다.SUCCEEDED
FAILED
PENDING
RUNNING
CANCELLED
resource_name
은 전송 리소스 이름입니다(또는 전송 구성이라고 함). 전송 리소스 이름을 모르면bq ls --transfer_config --transfer_location=location
으로 리소스 이름을 찾습니다.
예를 들면 다음과 같습니다.
다음 명령어를 입력하여 전송 구성 projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
의 최근 3회 실행 내역을 표시합니다.
출력은 --format
플래그를 통해 제어됩니다.
bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
이 명령어는 다음 페이지 토큰을 반환합니다. 페이지 토큰을 복사하고 이를 bq ls
명령어에 제공하여 다음 3개 결과를 확인합니다.
bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
다음 명령어를 입력하여 전송 구성 projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
의 실패한 모든 실행 내역을 표시합니다.
bq ls \
--format=prettyjson \
--transfer_run \
--filter=states:FAILED \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
projects.locations.transferConfigs.runs.list
메서드를 사용하고 parent
매개변수를 사용하여 프로젝트 ID를 지정합니다.
자바
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
전송 실행 세부정보 및 로그 메시지 보기
전송 실행이 실행 기록에 나타나면 로그 메시지, 경고 및 오류, 실행 이름, 시작 시간 및 종료 시간을 포함한 실행 세부정보를 확인할 수 있습니다.
전송 실행 세부정보를 보려면 다음 안내를 따르세요.
콘솔
Google Cloud 콘솔에서 데이터 전송 페이지로 이동합니다.
데이터 전송 목록에서 전송을 클릭합니다.
선택한 전송에 대한 실행 기록 페이지가 표시됩니다.
전송의 개별 실행을 클릭하면 해당 전송 실행에 대한 실행 세부정보 패널이 열립니다.
실행 세부정보에서 오류 메시지를 확인합니다. 이 정보는 Cloud Customer Care에 문의하는 경우에 필요합니다. 실행 세부정보에는 로그 메시지와 경고도 포함됩니다.
bq
전송 실행 세부정보를 보려면 bq show
명령어를 입력하고 --transfer_run
플래그를 사용하여 전송 실행의 실행 이름을 제공합니다. --format
플래그를 사용하면 출력 형식을 제어할 수 있습니다.
bq show \ --format=prettyjson \ --transfer_run run_name
run_name
을 전송 실행의 실행 이름으로 바꿉니다.
bq ls
명령어를 사용하여 실행 이름을 검색할 수 있습니다.
예:
다음 명령어를 입력하여 전송 실행 projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
의 세부정보를 표시합니다.
bq show \
--format=prettyjson \
--transfer_run \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
전송 실행의 전송 로그 메시지를 보려면 --transfer_log
플래그를 사용하여 bq ls
명령어를 입력합니다. --message_type
플래그를 사용하여 로그 메시지를 유형별로 필터링할 수 있습니다.
특정 개수의 로그 메시지를 보려면 --max_results
플래그를 제공합니다. 이 명령어는 --page_token
플래그를 사용하여 사용자가 제공하는 페이지 토큰을 반환하여 다음 n개 메시지를 표시합니다.
bq ls \ --transfer_log \ --max_results=integer \ --message_type=messageTypes:message_type \ run_name
다음을 바꿉니다.
integer
는 반환할 로그 메시지 수입니다.message_type
은 보려는 로그 메시지 유형입니다(단일 값 또는 쉼표로 구분된 목록)INFO
WARNING
ERROR
run_name
은 전송 실행의 실행 이름입니다.bq ls
명령어를 사용하여 실행 이름을 검색할 수 있습니다.
예를 들면 다음과 같습니다.
다음 명령어를 입력하여 전송 실행 projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
의 처음 2개 로그 메시지를 확인합니다.
bq ls \
--transfer_log \
--max_results=2 \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
이 명령어는 다음 페이지 토큰을 반환합니다. 페이지 토큰을 복사하고 이를 bq ls
명령어에 제공하여 다음 2개 결과를 확인합니다.
bq ls \
--transfer_log \
--max_results=2 \
--page_token=AB1CdEfg_hIJKL \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
전송 실행 projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
의 오류 메시지만 확인하려면 다음 명령어를 입력합니다.
bq ls \
--transfer_log \
--message_type=messageTypes:ERROR \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
API
projects.transferConfigs.runs.transferLogs.list
메서드를 사용하고 parent
매개변수를 사용하여 전송 실행의 실행 이름을 제공합니다.
자바
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
전송 수정
전송 구성에 대한 정보를 수정하고 전송 구성에 연결된 사용자의 사용자 인증 정보를 업데이트하고 전송을 중지하거나 삭제하여 기존 전송을 수정할 수 있습니다.
필요한 역할
전송을 수정하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 BigQuery 관리자(roles/bigquery.admin
) IAM 역할을 부여해 달라고 요청하세요.
역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
전송 업데이트
전송 구성을 만든 후 다음 필드를 수정할 수 있습니다.
- 대상 데이터 세트
- 표시 이름
- 특정 전송 유형으로 지정된 매개변수
- 실행 알림 설정
- 서비스 계정
전송이 생성되면 전송 소스를 수정할 수 없습니다.
전송을 업데이트하려면 다음 안내를 따르세요.
콘솔
Google Cloud 콘솔에서 데이터 전송 페이지로 이동합니다.
데이터 전송 목록에서 전송을 클릭합니다.
수정을 클릭하여 전송 구성을 업데이트합니다.
bq
bq update
명령어를 입력하고 --transfer_config
플래그를 사용하여 전송 구성의 리소스 이름을 입력하고 --display_name
, --params
, --refresh_window_days
, --schedule
, 또는 --target_dataset
플래그를 제공합니다. 선택적으로 예약된 쿼리 또는 Cloud Storage 전송에 --destination_kms_key
플래그를 제공할 수 있습니다.
bq update \ --display_name='NAME' \ --params='PARAMETERS' \ --refresh_window_days=INTEGER \ --schedule='SCHEDULE' --target_dataset=DATASET_ID \ --destination_kms_key="DESTINATION_KEY" \ --transfer_config \ --service_account_name=SERVICE_ACCOUNT \ RESOURCE_NAME
다음을 바꿉니다.
NAME
: 전송 구성의 표시 이름입니다.PARAMETERS
: JSON 형식으로 생성된 전송 구성의 매개변수입니다. 예를 들면--params='{"param1":"param_value1"}'
입니다. 다음 매개변수를 수정할 수 있습니다.- Campaign Manager:
bucket
및network_id
- Google Ad Manager:
bucket
및network_code
- Google Ads:
customer_id
- Google 판매자 센터:
merchant_id
- Google Play:
bucket
및table_suffix
- 예약된 쿼리:
destination_table_kms_key
,destination_table_name_template
,partitioning_field
,partitioning_type
,query
,write_disposition
- Search Ads 360:
advertiser_id
,agency_id
,custom_floodlight_variables
,include_removed_entities
,table_filter
- YouTube 채널:
table_suffix
- YouTube 콘텐츠 소유자:
content_owner_id
및table_suffix
- Campaign Manager:
INTEGER
: 0~30 사이의 값입니다. 새로고침 창 설정 방법에 대한 자세한 내용은 전송 유형의 문서를 참조하세요.SCHEDULE
: 반복 일정입니다(예:--schedule="every 3 hours"
).schedule
구문에 대한 설명은schedule
형식 지정을 참조하세요.- DATASET_ID. 전송 구성의 대상 데이터 세트입니다.
- DESTINATION_KEY: Cloud KMS 키 리소스 ID입니다(예:
projects/project_name/locations/us/keyRings/key_ring_name/cryptoKeys/key_name
). CMEK는 예약된 쿼리 또는 Cloud Storage 전송에만 사용 가능합니다. - SERVICE_ACCOUNT: 이 전송에 사용할 서비스 계정을 지정합니다.
- RESOURCE_NAME: 전송 리소스 이름입니다(전송 구성이라고도 함). 전송 리소스 이름을 모르면
bq ls --transfer_config --transfer_location=location
으로 리소스 이름을 찾습니다.
예를 들면 다음과 같습니다.
다음 명령어는 Google Ads 전송 projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
에 대한 표시 이름, 대상 데이터 세트, 새로고침 기간, 매개변수를 업데이트합니다.
bq update \ --display_name='My changed transfer' \ --params='{"customer_id":"123-123-5678"}' \ --refresh_window_days=3 \ --target_dataset=mydataset2 \ --transfer_config \ projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
다음 명령어는 예약된 쿼리 전송 projects/myproject/locations/us/transferConfigs/5678z567-5678-5z67-5yx9-56zy3c866vw9
의 매개변수 및 일정을 업데이트합니다.
bq update \ --params='{"destination_table_name_template":"test", "write_disposition":"APPEND"}' \ --schedule="every 24 hours" \ --transfer_config \ projects/myproject/locations/us/transferConfigs/5678z567-5678-5z67-5yx9-56zy3c866vw9
API
projects.transferConfigs.patch
메서드를 사용하고 transferConfig.name
매개변수를 사용하여 전송의 리소스 이름을 제공합니다. 전송 리소스 이름을 모르면 bq ls --transfer_config --transfer_location=location
로 리소스 이름을 찾으세요.
또한 projects.locations.transferConfigs.list
메서드를 호출하고 parent
매개변수를 사용해서 프로젝트 ID를 제공하여 모든 전송을 나열할 수 있습니다.
자바
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
Python
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
사용자 인증 정보 업데이트
전송은 전송을 만든 사용자의 사용자 인증 정보를 사용합니다. 전송 구성에 연결된 사용자를 변경해야 하는 경우, 전송 사용자 인증 정보를 업데이트할 수 있습니다. 이 기능은 전송을 만든 사용자가 더 이상 조직에 없는 경우에 유용합니다.
전송 사용자 인증 정보를 업데이트하려면 다음 안내를 따르세요.
콘솔
Google Cloud 콘솔에서 소유권을 이전할 사용자로 로그인합니다.
데이터 전송 페이지로 이동합니다.
데이터 전송 목록에서 전송을 클릭합니다.
더보기 메뉴를 클릭한 후 사용자 인증 정보 새로고침을 선택합니다.
허용을 클릭하여 보고 데이터를 확인하고 BigQuery 데이터에 액세스하고 관리할 수 있는 BigQuery Data Transfer Service 권한을 부여합니다.
bq
bq update
명령어를 입력하고 --transfer_config
플래그를 사용하여 전송 구성의 리소스 이름을 제공하고, --update_credentials
플래그를 제공합니다.
bq update \ --update_credentials=boolean \ --transfer_config \ resource_name
다음을 바꿉니다.
boolean
은 전송 구성의 사용자 인증 정보를 업데이트해야 하는지 여부를 나타내는 부울 값입니다.resource_name
은 전송 리소스 이름입니다(또는 전송 구성이라고 함). 전송 리소스 이름을 모르면bq ls --transfer_config --transfer_location=location
으로 리소스 이름을 찾습니다.
예를 들면 다음과 같습니다.
다음 명령어를 입력하여 Google Ads 전송 projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
의 사용자 인증 정보를 업데이트합니다.
bq update \
--update_credentials=true \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
projects.transferConfigs.patch
메서드를 사용하고 authorizationCode
및 updateMask
매개변수를 제공합니다.
자바
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
Python
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
전송 중지
전송을 중지하면 disabled가 전송 이름에 추가됩니다. 전송을 중지하면 새 전송 실행이 예약되지 않고 새 백필이 허용되지 않습니다. 진행 중인 전송 실행은 완료됩니다.
전송을 중지해도 이미 BigQuery에 전송된 데이터는 삭제되지 않습니다. 개발자가 데이터 세트를 삭제하거나 테이블을 삭제할 때까지 이전에 전송한 데이터에 대한 표준 BigQuery 스토리지 요금이 청구됩니다.
전송을 중지하려면 다음 안내를 따르세요.
콘솔
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
전송을 클릭합니다.
전송 페이지에서 사용 중지할 목록의 전송을 클릭합니다.
사용 중지를 클릭합니다. 전송을 다시 사용 설정하려면 사용을 클릭합니다.
bq
CLI에서는 전송 중지가 지원되지 않습니다.
API
projects.locations.transferConfigs.patch
메서드를 사용하고 projects.locations.transferConfig
리소스에서 disabled
를 true
로 설정합니다.
자바
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
전송을 다시 사용 설정하려면 다음 안내를 따르세요.
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
전송 삭제
전송이 삭제되면 새 전송 실행이 예약되지 않습니다. 진행 중인 전송 실행은 중지됩니다.
전송을 삭제해도 BigQuery로 이미 전송된 데이터는 삭제되지 않습니다. 개발자가 데이터 세트를 삭제하거나 테이블을 삭제할 때까지 이전에 전송한 데이터에 대한 표준 BigQuery 스토리지 요금이 청구됩니다.
전송을 삭제하려면 다음 안내를 따르세요.
콘솔
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
전송을 클릭합니다.
전송 페이지에서 삭제할 목록의 전송을 클릭합니다.
삭제를 클릭합니다. 안전을 위해 상자에 'delete'라는 단어를 입력하여 작업을 확인해야 합니다.
bq
bq rm
명령어를 입력하고 전송 구성 리소스 이름을 제공합니다. -f
플래그를 사용하면 확인 없이 전송 구성을 삭제할 수 있습니다.
bq rm \
-f \
--transfer_config \
resource_name
각 항목의 의미는 다음과 같습니다.
- resource_name는 전송 구성이라고도 하는 전송의 리소스 이름입니다. 전송 리소스 이름을 모르면
bq ls --transfer_config --transfer_location=location
명령어를 실행하여 모든 전송을 나열합니다.
예를 들어 다음 명령어를 입력하여 전송 구성 projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
을 표시합니다.
bq rm \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
projects.locations.transferConfigs.delete
메서드를 사용하고 name
매개변수를 사용하여 삭제하려는 리소스를 제공합니다.
자바
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
Python
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
수동 전송 트리거
백필 실행이라고도 하는 전송을 수동으로 트리거하여 자동 예약 전송 외부의 추가 데이터 파일을 로드할 수 있습니다. 런타임 매개변수를 지원하는 데이터 소스를 사용하면 이전 데이터를 로드할 날짜나 시간 범위를 지정하여 전송을 수동으로 트리거할 수도 있습니다.
언제든지 데이터 백필을 수동으로 시작할 수 있습니다. 소스 제한 외에도 BigQuery Data Transfer Service는 백필 요청당 최대 180일을 지원합니다. 동시 백필 요청은 지원되지 않습니다.
백필에 사용할 수 있는 데이터 양은 해당 데이터 소스의 전송 가이드를 참조하세요.
필요한 역할
전송을 수정하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 BigQuery 관리자(roles/bigquery.admin
) IAM 역할을 부여해 달라고 요청하세요.
역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
수동으로 전송 또는 백필 트리거
다음 방법을 사용하여 전송 또는 백필 실행을 수동으로 트리거할 수 있습니다.
- Google Cloud 콘솔을 사용하여 전송 실행을 선택한 후 지금 전송 실행 또는 백필 예약을 클릭합니다.
bq
명령줄 도구를 사용하여bq mk –transfer run
명령어를 사용합니다.projects.locations.transferConfigs.startManualRuns method
API 메서드를 호출합니다.
각 메서드에 대한 자세한 내용을 보려면 해당 탭을 선택하세요.
콘솔
Google Cloud 콘솔에서 데이터 전송 페이지로 이동합니다.
목록에서 전송을 선택합니다.
지금 전송 실행 또는 백필 예약을 클릭합니다. 전송 구성 유형에 따라 옵션 하나만 사용할 수 있습니다.
지금 전송 실행을 클릭한 경우 일회성 전송 실행 또는 특정 날짜에 실행(해당하는 경우)을 선택합니다. 특정 날짜에 실행을 선택한 경우 특정 날짜와 시간을 선택합니다.
백필 예약을 클릭한 경우 일회성 전송 실행 또는 특정 기간에 실행(해당하는 경우)을 선택합니다. 기간 실행을 선택한 경우 시작 및 종료 날짜와 시간을 선택합니다.
OK(확인)를 클릭합니다.
bq
전송 실행을 수동으로 시작하려면 --transfer_run
플래그와 함께 bq mk
명령어를 입력합니다.
bq mk \ --transfer_run \ --run_time='RUN_TIME' \ RESOURCE_NAME
다음을 바꿉니다.
RUN_TIME
은 이전 전송 날짜를 지정하는 타임스탬프입니다. Z로 끝나거나 유효한 시간대 오프셋이 포함된 타임스탬프를 사용합니다(예:2022-08-19T12:11:35.00Z
또는2022-05-25T00:00:00+00:00
).- 전송에 런타임 매개변수가 없거나 이전 전송을 지정하지 않고 지금 전송을 트리거하려면 이 필드에 현재 시간을 입력합니다.
RESOURCE_NAME
은 전송 구성에 나열된 리소스 이름입니다(예:projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
).- 전송 구성의 리소스 이름을 찾으려면 전송 정보 가져오기를 참조하세요.
- 리소스 이름은 상대적 리소스 이름 형식을 사용합니다.
일정 기간 동안 전송 실행을 수동으로 시작하려면 --transfer_run
플래그, 기간과 함께 bq mk
명령어를 입력합니다.
bq mk \ --transfer_run \ --start_time='START_TIME' \ --end_time='END_TIME' \ RESOURCE_NAME
다음을 바꿉니다.
START_TIME
및END_TIME
은 Z로 끝나거나 유효한 시간대 오프셋이 포함된 타임스탬프입니다. 이러한 값은 백필하려는 이전 전송 실행이 포함된 시간 범위를 지정합니다(예:2022-08-19T12:11:35.00Z
또는2022-05-25T00:00:00+00:00
).RESOURCE_NAME
은 전송 구성에 나열된 리소스 이름입니다(예:projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
).- 전송 구성의 리소스 이름을 찾으려면 전송 정보 가져오기를 참조하세요.
- 리소스 이름은 상대적 리소스 이름 형식을 사용합니다.
API
전송 실행을 수동으로 시작하려면 projects.locations.transferConfigs.startManualRuns
메서드를 사용하고 상위 매개변수를 사용하여 전송 구성 리소스 이름을 입력합니다. 전송 구성 리소스 이름을 찾으려면 전송 정보 가져오기를 참조하세요.
"requestedRunTime": "RUN_TIME"
다음을 바꿉니다.
RUN_TIME
은 이전 전송 날짜를 지정하는 타임스탬프입니다. Z로 끝나거나 유효한 시간대 오프셋이 포함된 타임스탬프를 사용합니다(예:2022-08-19T12:11:35.00Z
또는2022-05-25T00:00:00+00:00
).- 전송에 런타임 매개변수가 없거나 이전 전송을 지정하지 않고 지금 전송을 트리거하려면 이 필드에 현재 시간을 입력합니다.
날짜 범위의 전송 실행을 수동으로 시작하려면 기간을 입력합니다.
"requestedTimeRange": { "startTime": "START_TIME", "endTime": "END_TIME" }
다음을 바꿉니다.
START_TIME
및END_TIME
은 Z로 끝나거나 유효한 시간대 오프셋이 포함된 타임스탬프입니다. 이러한 값은 백필하려는 이전 전송 실행이 포함된 시간 범위를 지정합니다(예:2022-08-19T12:11:35.00Z
또는2022-05-25T00:00:00+00:00
).
Java
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
Python
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
로그 기록 및 모니터링
BigQuery Data Transfer Service는 전송에 대한 관측 가능성을 제공하는 Cloud Monitoring 및 Cloud Logging으로 로그와 측정항목을 내보냅니다. Monitoring을 사용하여 전송을 모니터링하도록 대시보드를 설정하고, 전송 실행 성능을 평가하고, 오류 메시지를 확인하여 전송 실패 문제를 해결할 수 있습니다. Logging을 사용하여 전송 실행 또는 전송 구성과 관련된 로그를 볼 수 있습니다.
전송 활동 및 데이터 액세스 로그와 관련해 BigQuery Data Transfer Service에 제공되는 감사 로그를 확인할 수도 있습니다.