각 기능의 DCU 요금은 다음과 같이 계산됩니다.
- 데이터 품질
자동 데이터 품질 스캔:
- DCU 시간 소비는 데이터 프로파일링 및 데이터 품질 측정항목 계산과 관련된 처리에 비례합니다. 초당 청구되며 최소 사용 기준은 1분입니다.
- 요금은 행 수, 열 수, 스캔한 데이터 양, 데이터 품질 규칙 구성, 테이블의 파티션 나누기 및 클러스터링 설정, 스캔 빈도에 따라 달라집니다.
- 데이터 품질 이상 감지 스캔에는 DCU 요금이 적용되지 않습니다. 대신 컴퓨팅, 스토리지, BQML 모델 학습, 처리, 배포에 대한 표준 BigQuery 가격 책정이 적용됩니다.
- 커스텀 실행 ID를 사용하면 스캔에 대한 청구 방식이 변경됩니다. 커스텀 실행 ID를 지정하면 스캔과 관련된 컴퓨팅 및 스토리지 비용이 표준 Dataplex 프리미엄 SKU를 우회하여 BigQuery 프로젝트에 직접 청구됩니다.
자동 데이터 품질 스캔 비용을 줄일 수 있는 다음과 같은 몇 가지 옵션이 있습니다.
- 샘플링
- 증분 스캔
- 데이터 품질 요금을 Dataplex 프리미엄 처리 SKU의 다른 요금과 구분하려면 Cloud Billing 보고서에서 goog-dataplex-workload-type 라벨에 DATA_QUALITY 값을 사용합니다.
집계 요금을 필터링하려면 BigQuery의 결제 내보내기에서 사용할 수 있는 다음 라벨을 사용합니다.
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-data-source-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
2. 데이터 프로파일링
데이터 프로파일링 스캔:
- DCU 시간 소비는 데이터 프로파일링 및 데이터 품질 측정항목 계산과 관련된 처리에 비례합니다. 초당 청구되며 최소 사용 기준은 1분입니다.
- 요금은 행 수, 열 수, 스캔되는 데이터 양, 테이블의 파티션 나누기 및 클러스터링 설정, 스캔 빈도에 따라 달라집니다.
- 커스텀 실행 ID를 사용하면 스캔에 대한 청구 방식이 변경됩니다. 커스텀 실행 ID를 지정하면 스캔과 관련된 컴퓨팅 및 스토리지 비용이 표준 Dataplex 프리미엄 SKU를 우회하여 BigQuery 프로젝트에 직접 청구됩니다.
데이터 프로파일링 스캔 비용을 줄일 수 있는 다음과 같은 몇 가지 옵션이 있습니다.
- 샘플링
- 증분 스캔
- 열 필터링
- 행 필터링
- 데이터 프로파일링 요금을 Dataplex 프리미엄 처리 SKU의 다른 요금과 구분하려면 Cloud Billing 보고서에서 goog-dataplex-workload-type 라벨에 DATA_PROFILE 값을 사용합니다.
집계 요금을 필터링하려면 BigQuery의 결제 내보내기에서 사용할 수 있는 다음 라벨을 사용합니다.
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-data-source-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
3. 데이터 계보
두 가지 항목에 대한 비용을 지불합니다. 지원되는 Google Cloud 시스템의 자동 계보 보고에서 소비하는 컴퓨팅(Dataplex 프리미엄 처리 SKU를 통해 DCU 시간 단위로 청구)과 결과 계보 메타데이터(프로세스, 실행, 계보 이벤트, 링크)의 보관 기간 동안의 스토리지(기본적으로 30일, Knowledge Catalog 메타데이터 스토리지 SKU를 통해 GiB-월 단위로 청구, 메타데이터 스토리지 가격 책정 참조)입니다. 결제는 작업을 실행한 프로젝트에 표시됩니다.
데이터 계보 요금을 Dataplex 프리미엄 처리 및 메타데이터 스토리지 SKU의 다른 요금과 구분하려면 Cloud Billing 결제 보고서에서 goog-dataplex-workload-type 라벨에 LINEAGE 값을 사용합니다.
청구 가능 및 청구 불가능 사용량
다음 활동에는 요금이 부과됩니다.
- 자동 계보 파싱: 처리 복잡성에 따라 데이터 컴퓨팅 단위(DCU) 시간을 소비합니다. DCU는 파싱을 수행하기 위해 할당된 추상 컴퓨팅 용량을 측정합니다. 소비량은 작업 수, 작업 실행 수, 생성된 계보 링크 수를 기준으로 계산됩니다.
- 계보 메타데이터 스토리지: 계보 메타데이터(프로세스, 실행, 계보 이벤트, 링크)는 제한된 기간(기본적으로 30일) 동안 보관되며 저장된 기간 동안 메타데이터 스토리지 SKU에 따라 청구됩니다. 보관 기간이 끝나 메타데이터가 만료되거나 메타데이터를 삭제하면 스토리지 요금이 중단됩니다.
Data Lineage API Origin sourceType이 CUSTOM 이외의 값으로 설정된 경우 DCU 비용이 발생합니다. BIGQUERY, DATAPROC, COMPOSER와 같은 값은 Google Cloud가 서비스의 로그 및 메타데이터에서 계보를 자동으로 추출하고 있음을 나타냅니다. 이 추출 프로세스에는 컴퓨팅 리소스(DCU)가 필요하므로 요금이 청구됩니다. 반면 CUSTOM은 파싱을 직접 수행했음을 나타내므로 프리미엄 처리(DCU) 요금이 적용되지 않습니다. 저장된 결과에는 다른 계보 메타데이터와 마찬가지로 메타데이터 스토리지 가격이 적용됩니다.
다음 활동은 무료입니다.
- 커스텀 계보 보고: 서드 파티 시스템 또는 커스텀 통합(sourceType이 CUSTOM인 경우)에서 계보를 보고하는 경우 프리미엄 처리 요금이 발생하지 않습니다. 저장된 계보에는 메타데이터 스토리지 가격 책정이 계속 적용됩니다. 여기에는 다음 메서드가 포함됩니다.
- ProcessOpenLineageRunEvent를 호출하여 OpenLineage 호환 이벤트를 가져올 수 있습니다.
- 커스텀 클라이언트를 사용하여 LineageEvent를 만들어 기본 계보 이벤트를 수동으로 보고합니다.
- 프로세스 및 실행 보고: 프로세스 메타데이터 자체를 보고하는 것은 무료입니다. LineageEvents의 자동 파싱에만 요금이 부과됩니다.
- 계보 소비: 계보 검색(Get 또는 List 메서드 사용) 및 계보 삭제(Delete 메서드 사용)는 무료입니다.
가격 책정 예시
이 예시에서는 데이터 계보를 사용 설정하여 프로젝트의 BigQuery 계보를 추적합니다. 프로젝트는 us-central1 위치에 있으며, 이 위치에서 1DCU-시간의 비용은 $0.089입니다.
하나의 EntityReference로 또는 하나의 EntityReference에서 계보를 보고하는 데 약 0.0056 DCU-시간이 소요됩니다. EntityReference는 BigQuery 테이블 또는 Cloud Storage 버킷과 같은 Google Cloud 내의 데이터 리소스를 고유하게 식별합니다.
- 일일 작업: 다음 BigQuery 작업을 30일 동안 하루에 한 번 실행합니다.
CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);
결과: 이 작업은 두 개의 소스 테이블을 하나의 대상 테이블(3개의 고유한 항목)에 연결하는 계보 링크를 생성합니다.
- 격일 작업: 격일로(한 달에 15회) 다음 작업을 실행합니다.
CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;
결과: 이 작업은 3개의 소스 테이블을 1개의 대상 테이블(4개의 고유 항목)에 연결하는 계보 링크를 생성합니다.
비용 산정
이번 달에는 1GiB의 데이터 계보 메타데이터가 생성되었다고 가정합니다. 비용은 다음과 같이 계산됩니다.
- 일일 작업: 30일 * 항목 3개 * ~0.0056 DCU-시간 * $0.089 ~= $0.045
- 격일 작업: 15일 * 항목 4개 * 0.0056 DCU 시간 * $0.089 = $0.030
- 스토리지: (1GiB) * $2.00 = $1.998
합계: ~$0.045+$0.030+$1.998 = ~$2.07
설계 시간 계보 가격 책정(Looker Core)
Looker의 계보는 설계 시간 계보입니다. Knowledge Catalog는 작업 실행이 아닌 모델 정의(예: LookML 뷰 및 Explore와 이들이 참조하는 BigQuery 테이블)에서 계보를 파생합니다. 설계 시간 계보는 자동 계보 파싱과 동일한 Dataplex 프리미엄 처리 SKU로 청구되지만 DCU 시간 소비는 다르게 계산됩니다.
- 계보 링크 또는 프로세스가 처음 보고될 때와 변경될 때마다(예: Looker 모델이 수정되고 다시 게시될 때) 요금이 부과됩니다. 설계 시간 계보에는 실행이 없으므로 위에서 설명한 이벤트 기반 계보 처리와 마찬가지로 이벤트별 요금이 부과되지 않습니다.
- 하나의 노드에서 계보를 보고하거나 하나의 노드로 계보를 보고하는 데 드는 비용은 약 0.0325 DCU 시간입니다(us-central1에서 약 $0.0029, 1 DCU 시간당 $0.089).
- 계보 검색 및 삭제는 계속 무료로 제공됩니다. 계보 메타데이터는 메타데이터 스토리지 SKU에 따라 별도로 청구됩니다.
Looker Core 설계 시간 계보 처리에 대한 요금 청구는 2027년 3월 1일부터 시작됩니다. 해당 날짜 이전에 보고된 Looker 계보는 무료입니다. 수신 거부하려면 Looker Core 계보 처리를 사용 설정 또는 중지하는 방법에 대한 정보가 포함된 https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion을 참조하세요.
