BigQuery의 Cloud Billing 데이터 테이블 이해하기

이 문서에서는 BigQuery의 각 테이블로 내보낸 Cloud Billing 데이터의 스키마에 대한 참조 정보를 제공합니다.

결제 데이터 테이블

Cloud Billing을 BigQuery로 내보내기를 사용 설정한 직후 결제 데이터 테이블이 BigQuery 데이터 세트에 자동으로 생성됩니다.

  • 표준 사용량 비용 테이블 – BigQuery 데이터 세트에서 이 테이블의 이름은 gcp_billing_export_v1_<BILLING_ACCOUNT_ID>입니다.
  • 자세한 사용 비용 테이블 – 여기에는 서비스 사용을 발생시키는 가상 머신 또는 SSD와 같이 리소스 수준 비용 데이터를 제공하는 추가 필드와 함께 표준 사용 비용 테이블의 모든 데이터 필드가 포함됩니다. BigQuery 데이터 세트에서 이 테이블은 이름이 gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>입니다.
  • 가격 책정 데이터 테이블 – BigQuery 데이터 세트에서 이 테이블의 이름은 cloud_pricing_export입니다.

데이터 로드 빈도

표준 및 세부 사용량 비용 내보내기

  • BigQuery로 표준 또는 상세 사용량 비용 내보내기를 처음 사용 설정하면 Google Cloud 비용 데이터가 BigQuery 데이터 세트로 전파되는 데 몇 시간이 걸릴 수 있습니다. 시간순으로 데이터를 내보냅니다. 내보내기가 이번 달과 지난달의 데이터를 소급하여 포함하도록 구성된 경우 내보낸 데이터가 현재 사용량 데이터를 완전히 따라잡으려면 최대 5일이 걸릴 수 있습니다.
  • Google Cloud 서비스는 다양한 간격으로 Cloud Billing 프로세스에 사용량 및 비용 데이터를 보고합니다.
  • Cloud Billing은 BigQuery 데이터 세트로 사용량 및 비용 데이터를 정기적으로 내보냅니다(BigQuery로 내보내기에 대한 전송 또는 지연 시간 보장은 없습니다).
  • Google Cloud 서비스에 따라 사용량 보고 빈도가 다르므로 최근에 사용한 모든 Google Cloud 서비스의 Cloud Billing 사용량 및 비용 데이터가 바로 표시되지 않을 수 있습니다.

가격 책정 내보내기

  • BigQuery로 가격 내보내기를 처음 사용 설정하면 Google Cloud 가격 책정 데이터가 표시되는 데 최대 48시간이 걸릴 수 있습니다.
  • 가격 내보내기를 사용 설정하면 Cloud Billing 계정에 해당하는 가격 데이터가 매일 한 번 BigQuery로 내보내집니다.

데이터 사용 가능 여부

  • 표준 또는 상세 사용량 비용 데이터 내보내기를 처음 사용 설정하는 고객의 경우:

    • 멀티 리전 위치(EU 또는 미국)를 사용하도록 BigQuery 데이터 세트를 구성하는 경우 Cloud Billing 데이터를 이전 달 초부터 소급해서 내보냅니다. 예를 들어 9월 23일의 표준 사용량 비용 또는 상세 사용량 비용 데이터 내보내기를 사용 설정한 경우 내보내기에 8월 1일부터의 데이터가 포함됩니다.

      한 번에 하루씩 데이터를 시간순으로 내보내므로 지난 달 1일부터의 데이터가 먼저 채워집니다. 내보낸 데이터의 초기 백필의 경우 최신 사용량 데이터가 표시되기 전에 소급 Cloud Billing 데이터 내보내기가 완료되는 데 최대 5일이 걸릴 수 있습니다.

    • 지원되는 리전 위치를 사용하도록 BigQuery 데이터 세트를 구성하면 표준 사용량 비용 또는 상세 사용량 비용 데이터는 Cloud Billing 내보내기를 사용 설정한 날짜부터 사용 가능합니다. 즉, 멀티 리전이 아닌 데이터 세트 위치의 경우 _Google Cloud 결제 데이터가 소급하여 추가되지 않으므로 내보내기를 사용 설정하기 전의 Cloud Billing 데이터는 표시되지 않습니다.

    • 표준 사용량 비용 또는 상세 사용량 비용 데이터 내보내기를 사용 설정, 중지했다가 다시 사용 설정한 고객의 경우 내보내기가 명시적으로 중단된 기간 동안에는 Cloud Billing 데이터를 사용할 수 없습니다.

  • 가격 책정 데이터 내보내기를 사용 설정하는 경우 BigQuery 데이터 세트는 가격 내보내기를 처음 사용 설정한 날짜부터 발생한 Cloud Billing 데이터만 반영합니다. Cloud Billing 가격 책정 데이터는 소급해서 추가되지 않으므로 내보내기를 사용 설정하기 이전 날짜의 가격 책정 데이터는 표시되지 않습니다.

  • BigQuery 데이터 세트의 데이터에는 사용량이 기록된 시점의 리소스 상태가 반영됩니다. 프로젝트에 새 라벨을 추가하거나 프로젝트의 계층 구조를 변경하는 등(project.ancestors 변경) 리소스를 변경할 때는 이러한 변경사항이 사용 데이터의 향후 내보내기에만 표시됩니다. 이전에 내보낸 레코드는 변경되지 않습니다.

  • 내보낸 데이터 (예: BigQuery 내보내기 레코드)를 삭제하면 삭제된 레코드를 백필할 수 없습니다.

  • BigQuery 로드는 ACID와 호환되므로 데이터가 로드되는 중에 BigQuery Cloud Billing 내보내기 데이터 세트를 쿼리하더라도 데이터는 부분적으로 로드되지 않습니다.

  • 고객 관리 암호화 키(CMEK)가 사용 설정된 데이터 세트와 같이 BigQuery로 결제 데이터를 내보내는 데 영향을 줄 수 있는 다른 제한사항을 참조하세요.

제한사항

Cloud Billing 데이터를 BigQuery로 내보내려면 다음과 같은 제한사항이 적용됩니다.

  • Cloud Billing 데이터에서 사용할 수 있는 BigQuery 데이터 세트 위치

    BigQuery 데이터 세트는 위치(멀티 리전 위치(EU 또는 미국) 또는 리전 위치)를 사용하도록 구성됩니다. 데이터 세트 위치는 생성될 때 설정됩니다. 데이터 세트를 만든 후에는 위치를 변경할 수 없습니다.

    Cloud Billing 데이터 내보내기는 모든 멀티 리전 위치(EU 또는 미국)를 지원하지만 리전 위치의 하위 집합만 지원합니다. Cloud Billing 내보내기 설정을 구성할 때 지원되지 않는 리전 위치를 사용하도록 구성된 데이터 세트를 만들거나 선택하는 경우 내보내기 설정을 저장하려고 하면 잘못된 데이터 세트 리전 오류가 표시됩니다.

    다음 표에는 Cloud Billing 데이터를 포함하는 BigQuery 데이터 세트에서 사용할 수 있는 멀티 리전 위치와 리전 위치가 나와 있습니다.

    미주 아시아 태평양 유럽

    멀티 리전: 미국

    리전:

    • northamerica-northeast1(몬트리올)
    • southamerica-east1(상파울루)
    • us-central1(아이오와)
    • us-east1(사우스캐롤라이나)
    • us-east4(북 버지니아)
    • us-west1(오리건)
    • us-west2(로스앤젤레스)
    • us-west3(솔트레이크시티)
    • us-west4(라스베이거스)

    리전:

    • asia-east1(타이완)
    • asia-east2(홍콩)
    • asia-northeast1(도쿄)
    • asia-northeast2(오사카)
    • asia-northeast3(서울)
    • asia-south1(뭄바이)
    • asia-southeast1(싱가포르)
    • asia-southeast2(자카르타)
    • australia-southeast1(시드니)

    멀티 리전: EU

    리전:

    • europe-central2(바르샤바)
    • europe-north1(핀란드)
    • europe-west1(벨기에)
    • europe-west2(런던)
    • europe-west3(프랑크푸르트)
    • europe-west4(네덜란드)
    • europe-west6(취리히)

  • 표준 사용량 비용 데이터 또는 상세 사용량 비용 데이터가 포함된 BigQuery 데이터 세트의 경우 데이터 세트에 구성하는 위치의 유형은 Google Cloud Billing 데이터를 데이터 세트로 내보낼 때의 타이밍에 영향을 줍니다.

    • 멀티 리전 위치(EU 또는 미국)를 사용하도록 데이터 세트를 구성한 경우 내보내기를 다시 사용 설정하지 않는 한 내보내기를 처음 사용 설정한 이전 월부터 발생한 Google Cloud 결제 데이터가 데이터 세트에 포함됩니다. 즉, 이번 달과 지난달에 대해 Google Cloud 결제 데이터가 소급하여 추가됩니다. 내보낸 데이터의 초기 백필의 경우 현재 사용량 데이터가 표시되기 전에 소급 Cloud Billing 데이터 내보내기가 완료되는 데 최대 5일이 걸릴 수 있습니다.

    • 데이터 세트가 지원되는 리전 위치를 사용하도록 구성된 경우 표준 사용량 비용 데이터와 상세 사용량 비용 데이터는 Cloud Billing 내보내기를 사용 설정한 날짜부터 발생한 Google Cloud 결제 데이터만 반영합니다. 즉, Google Cloud 결제 데이터는 멀티 리전이 아닌 데이터 세트 위치에 대해 소급하여 추가되지 않으므로 내보내기를 사용 설정하기 전의 Cloud Billing 데이터가 표시되지 않습니다.

    • 자세한 내용은 데이터 가용성을 참조하세요.

  • 가격 책정 데이터가 포함된 BigQuery 데이터 세트는 Cloud Billing 내보내기를 설정한 날짜부터 발생한 Google Cloud 결제 데이터만 수집합니다. 즉, _Google Cloud 가격 책정 데이터는 소급하여 추가되지 않으므로 내보내기를 사용 설정하기 전의 Cloud Billing 가격 책정 데이터는 표시되지 않습니다. 자세한 내용은 데이터 가용성을 참고하세요.

  • 상세 사용량 비용 데이터를 내보낼 때 상세 내보내기에는 Compute Engine에 대한 리소스 수준 정보가 자동으로 포함됩니다. 또한 상세 데이터 내보내기에서 Google Kubernetes Engine (GKE) 클러스터 비용 분석을 보려면 GKE에 대한 비용 할당을 사용 설정해야 합니다.

  • 데이터 세트 암호화: 결제 데이터를 BigQuery로 내보낼 때 고객 관리 암호화 키(CMEK)는 지원되지 않습니다. 결제 데이터 데이터 세트에 CMEK 암호화를 사용 설정하면 이러한 유형의 암호화로 인해 Cloud Billing에서 해당 데이터 세트 내의 적절한 테이블에 결제 데이터를 쓰지 못하게 됩니다. 대신 Google 소유 및 Google 관리 키를 사용하도록 데이터 세트를 사용 설정해야 합니다.

  • 내보낸 데이터가 포함된 테이블에서 BigQuery 행 수준 보안을 사용하려면 BigQuery TRUE 필터를 사용하여 Cloud Billing 내보내기 서비스 계정 billing-export-bigquery@system.gserviceaccount.com에 테이블에 대한 전체 액세스 권한을 부여해야 합니다. 다음 명령어는 Cloud Billing 서비스 계정에 대한 액세스 권한을 부여합니다.

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • 리소스 수준 태그가 BigQuery 내보내기에 전파되는 데 최대 1시간이 걸릴 수 있습니다. 1시간 내에 태그가 추가 또는 삭제되었거나 1시간 미만 동안 리소스가 존재하면 내보내기에 표시되지 않을 수 있습니다.

    리소스 수준 태그는 다음 리소스에 사용할 수 있습니다.

    • Compute Engine 인스턴스
    • Spanner 인스턴스
    • Cloud Run 서비스
    • Artifact Registry 저장소

  • VPC 서비스 제어를 사용하는 경우 BigQuery 내보내기가 차단될 수 있습니다. 이 문제를 해결하려면 VPC를 수동으로 제외해야 합니다.

Google Cloud 콘솔에서 사용 가능한 비용 및 가격 책정 보고서

이전
BigQuery에 결제 데이터 내보내기 설정
다음
표준 데이터 내보내기의 구조