Google Play 전송

Google Play용 BigQuery Data Transfer Service를 사용하면 Google Play 보고서 데이터와 관련한 반복적인 로드 작업을 자동으로 예약하고 관리할 수 있습니다.

지원되는 보고서

Google Play용 BigQuery Data Transfer Service는 현재 다음 월별 보고 옵션을 지원합니다.

세부 보고서

집계 보고서

Google Play 보고서가 BigQuery 테이블로 변환되는 방식에 대한 자세한 내용은 Google Play 보고서 변환을 참조하세요.

보고 옵션 지원
지원되는 API 버전

해당 없음

일정

매일, 전송이 처음 만들어진 시간(기본값)

시간을 구성할 수 있습니다.

새로고침 기간

지난 7일

구성할 수 없음

최대 백필 기간

제한 없음

Google Play에는 알려진 데이터 보관 제한이 없지만, BigQuery Data Transfer Service에는 하나의 백필에서 요청 가능한 일수에 제한이 있습니다. 백필에 대한 자세한 내용은 백필 설정을 참조하세요.

시작하기 전에

Google Play 전송을 만들기 전에 다음을 수행하세요.

  • BigQuery Data Transfer Service 사용 설정에 필요한 모든 작업을 완료했는지 확인합니다.
  • 기본 BigQuery 웹 UI를 사용하여 전송을 만드는 경우 bigquery.cloud.google.com에서 브라우저의 팝업을 허용하여 권한 창을 볼 수 있도록 합니다. 전송을 관리하려면 BigQuery Data Transfer Service 권한을 허용해야 합니다.
  • Google Play 데이터를 저장할 BigQuery 데이터세트를 만듭니다.
  • Cloud Storage 버킷 찾기:
    • Google Play Console에서 리뷰와 같은 임의의 보고서를 선택합니다. 페이지 하단 근처에서 Cloud Storage 버킷 ID를 찾을 수 있습니다. 버킷 ID는 gs://로 시작합니다. 예를 들어 리뷰 보고서의 경우 다음과 같이 표시됩니다.
      gs://pubsite_prod_rev_01234567890987654321/reviews
      전송을 설정하려면 gs:///reviews 사이에 표시되는 고유 ID만 복사하세요.
      pubsite_prod_rev_01234567890987654321
  • 전송 실행 알림은 현재 알파 버전입니다. Cloud Pub/Sub에서 전송 실행 알림을 설정하려면 pubsub.topics.setIamPolicy 권한이 있어야 합니다. 이메일 알림만 설정한다면 Cloud Pub/Sub 권한은 필요 없습니다. 자세한 내용은 BigQuery Data Transfer Service 실행 알림을 참조하세요.

필수 권한

  • BigQuery: 전송을 만드는 사람에게 다음과 같은 BigQuery의 권한이 있는지 확인합니다.

    • 전송을 만들기 위한 bigquery.transfers.update 권한

    bigquery.admin 사전 정의 Cloud IAM 역할에는 bigquery.transfers.update 권한이 포함되어 있습니다. BigQuery의 Cloud IAM 역할에 대한 자세한 내용은 액세스 제어를 참조하세요.

  • Google Play: 다음과 같은 Google Play의 권한이 있는지 확인합니다.

    Google Cloud팀은 사용자를 대신하여 Google Play 파일에 대한 액세스 권한을 생성하거나 부여할 수 없습니다. Google Play 파일 액세스에 관한 도움말은 Google Play 지원팀에 문의하기를 참조하세요.

Google Play 전송 설정하기

Google Play 전송 설정에 필요한 사항은 다음과 같습니다.

  • Cloud Storage 버킷 - Cloud Storage 버킷을 찾는 단계는 시작하기 전에에서 설명합니다. Cloud Storage 버킷은 pubsite_prod_rev로 시작합니다(예: pubsite_prod_rev_01234567890987654321).
  • 테이블 서픽스 - 동일한 데이터세트에 로딩하는 모든 데이터 소스에 사용하는 사용자 친화적인 이름입니다. 서픽스는 동일한 테이블에 개별 전송이 기록되는 경우를 방지하려는 목적으로 사용합니다. 테이블 서픽스는 같은 데이터세트에 데이터를 로드하는 모든 전송에서 고유해야 하며 결과 테이블 이름의 길이를 최소화하도록 짧은 서픽스를 사용해야 합니다.

Google Play 전송을 설정하는 방법:

Console

  1. GCP Console에서 BigQuery 웹 UI로 이동합니다.

    GCP Console로 이동

  2. 전송을 클릭합니다.

  3. 전송 만들기를 클릭합니다.

  4. 전송 만들기 페이지에서 다음을 수행합니다.

    • 소스 유형 섹션의 소스에서 Google Play를 선택합니다.

      전송 소스

    • 전송 구성 이름 섹션의 표시 이름에 전송 이름(예: My Transfer)을 입력합니다. 전송 이름은 나중에 수정해야 할 경우를 대비하여 전송을 쉽게 식별할 수 있는 값이면 됩니다.

      전송 이름

    • 일정 옵션 섹션의 일정에서 기본값(지금 시작)을 유지하거나 설정 시간에 시작을 클릭합니다.

      • 반복에서 전송을 실행하는 빈도 옵션을 선택합니다.
        • 매일(기본값)
        • 매주
        • 매월
        • 커스텀
        • 주문형
      • 시작일 및 실행 시간에 전송을 시작할 날짜 및 시간을 입력합니다. 지금 시작을 선택하면 이 옵션은 사용 중지됩니다.

        전송 일정

    • 대상 설정 섹션의 대상 데이터세트에서 데이터를 저장하기 위해 만든 데이터세트를 선택합니다.

      전송 데이터세트

    • 데이터 소스 세부정보 섹션에서 다음을 수행합니다.

      • Cloud Storage 버킷에는 Cloud Storage 버킷 ID를 입력합니다.
      • 테이블 서픽스에는 'MT'('My Transfer'의 약자)와 같은 서픽스를 입력합니다.

        Google Play 소스 세부정보

    • (선택사항) 알림 옵션 섹션에서 다음을 수행합니다.

      • 전환을 클릭해서 이메일 알림을 사용 설정합니다. 이 옵션을 사용 설정하면 전송 실행이 실패할 때 전송 관리자에게 이메일 알림이 발송됩니다.
      • Cloud Pub/Sub 주제 선택에서 주제 이름을 선택하거나 주제 만들기를 클릭합니다. 이 옵션은 전송의 Cloud Pub/Sub 실행 알림을 구성합니다. 전송 실행 알림은 현재 알파 버전입니다.
  5. 저장을 클릭합니다.

기본 UI

  1. BigQuery 웹 UI로 이동합니다.

    BigQuery 웹 UI로 이동

  2. 전송을 클릭합니다.

  3. 전송 추가를 클릭합니다.

  4. 새 전송 페이지에서 다음 안내를 따릅니다.

    • 소스에서 Google Play를 선택합니다.
    • 표시 이름에 전송 이름(예: My Transfer)을 입력합니다. 전송 이름은 나중에 수정해야 할 경우에 전송을 쉽게 식별할 수 있는 값이면 됩니다.
    • 일정의 경우 기본값을 그대로 두거나(전송 생성 시간에서 매 24시간마다) 수정을 클릭하여 시간을 변경합니다.

      Google Play 전송 커스텀 일정

    • 대상 데이터세트에서 적절한 데이터세트를 선택합니다.

    • Cloud Storage 버킷에는 사용자의 Cloud Storage 버킷을 입력합니다.

    • 테이블 서픽스에는 'MT'('My Transfer'의 약자)와 같은 서픽스를 입력합니다.

      Google Play 전송 기본 일정

    • (선택사항) 고급 섹션을 펼쳐서 전송의 실행 알림을 구성합니다. 전송 실행 알림은 현재 알파 버전입니다.

      • Cloud Pub/Sub 주제주제 이름을 입력합니다(예: 'projects/myproject/topics/mytopic').
      • 전송 실행 실패 시 이메일 알림을 허용하려면 이메일 알림 전송을 선택합니다.
      • 전송 설정 시 사용 중지됨을 선택하지 않습니다. 기존 전송을 사용 중지하려면 전송 작업을 참조하세요.

        Cloud Pub/Sub 주제

  5. 추가를 클릭합니다. 추가 버튼을 클릭하면 Google Play 보고서에 사용자가 선택한 대상 BigQuery 데이터세트에 대한 읽기/쓰기 권한을 허용하게 됩니다.

  6. 메시지가 표시되면 허용을 클릭해 Google Play 보고 데이터를 조회하고 BigQuery에서 데이터에 액세스하고 데이터를 관리할 권한을 BigQuery Data Transfer Service에 부여합니다. 권한 창을 보려면 bigquery.cloud.google.com에서 팝업을 허용해야 합니다.

    전송 허용

CLI

bq mk 명령어를 입력하고 전송 생성 플래그 --transfer_config를 지정합니다. 다음 플래그도 필요합니다.

  • --target_dataset
  • --display_name
  • --params
  • --data_source
bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

각 항목의 의미는 다음과 같습니다.

  • project_id는 프로젝트 ID입니다. --project_id를 지정하지 않으면 기본 프로젝트가 사용됩니다.
  • dataset는 전송 구성 대상 데이터세트입니다.
  • name은 전송 구성의 표시 이름입니다. 전송 이름은 나중에 수정해야 할 경우에 전송을 쉽게 식별할 수 있는 값이면 됩니다.
  • parameters에는 JSON 형식으로 생성된 전송 구성의 매개변수가 포함됩니다. (예: --params='{"param":"param_value"}'). Google Play의 경우 buckettable_suffix 매개변수를 제공해야 합니다. bucket은 Play 보고서 파일이 저장되는 Cloud Storage 버킷입니다.
  • data_source는 데이터 소스(play)입니다.

예를 들어 다음 명령어는 Cloud Storage 버킷 pubsite_prod_rev_01234567890987654321 및 대상 데이터세트 mydataset를 사용하여 My Transfer라는 Google Play 전송을 만듭니다. 기본 프로젝트에 전송이 생성됩니다.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket":"pubsite_prod_rev_01234567890987654321","table_suffix":"MT"}' \
--data_source=play

명령어를 처음 실행하면 다음과 같은 메시지가 수신됩니다.

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

메시지의 안내에 따라 명령줄에 인증 코드를 붙여넣습니다.

API

projects.locations.transferConfigs.create 메서드를 사용하고 TransferConfig 리소스의 인스턴스를 제공합니다.

Google Play 전송 설정 문제 해결

전송을 설정하는 데 문제가 있으면 BigQuery Data Transfer Service 전송 설정 문제해결을 참조하세요.

데이터 쿼리

BigQuery로 전송되는 데이터는 내부 데이터화 시간별로 파티션을 나눈 테이블에 기록됩니다. 자세한 내용은 파티션을 나눈 테이블 소개를 참조하세요.

자동 생성된 뷰를 사용하지 않고 직접 테이블을 쿼리하는 경우에는 쿼리에서 _PARTITIONTIME 유사 열을 사용해야 합니다. 자세한 내용은 파티션을 나눈 테이블 쿼리를 참조하세요.

다음 단계

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...

도움이 필요하시나요? 지원 페이지를 방문하세요.