Los cargos de DCU para cada función se calculan de la siguiente manera:
- Calidad de los datos
Análisis de calidad automática de los datos:
- El consumo de horas de DCU es proporcional al procesamiento involucrado en la creación de perfiles de los datos y el cálculo de las métricas de calidad de los datos. Esto se factura por segundo, con un mínimo de un minuto.
- El cargo depende de la cantidad de filas, la cantidad de columnas, la cantidad de datos que analizaste, la configuración de la regla de calidad de los datos, la configuración de partición y agrupamiento en clústeres de la tabla, y la frecuencia del análisis.
- No se aplican cargos de DCU para los análisis de detección de anomalías de calidad de los datos. En su lugar, se aplican los precios estándar de BigQuery para el procesamiento, el almacenamiento y el entrenamiento, el procesamiento y la implementación de modelos de BQML.
- Usar una identidad de ejecución personalizada cambia la forma en que se te factura por el análisis. Cuando especificas una identidad de ejecución personalizada, los costos de procesamiento y almacenamiento asociados con el análisis se facturan directamente a tu proyecto de BigQuery, lo que omite los SKU estándar de Dataplex Premium.
Existen varias opciones para reducir el costo de los análisis automáticos de calidad de los datos:
Para filtrar los cargos agregados, usa las siguientes etiquetas disponibles en la exportación de facturación en BigQuery:
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-data-source-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
2. Creación de perfiles de datos
Análisis de perfiles de datos:
- El consumo de horas de DCU es proporcional al procesamiento involucrado en la creación de perfiles de los datos y el cálculo de las métricas de calidad de los datos. Esto se factura por segundo, con un mínimo de un minuto.
- El cargo depende de la cantidad de filas, la cantidad de columnas, la cantidad de datos analizados, la configuración de partición y agrupamiento en clústeres de la tabla, y la frecuencia del análisis.
- Usar una identidad de ejecución personalizada cambia la forma en que se te factura por el análisis. Cuando especificas una identidad de ejecución personalizada, los costos de procesamiento y almacenamiento asociados con el análisis se facturan directamente a tu proyecto de BigQuery, lo que omite los SKU estándar de Dataplex Premium.
Existen varias opciones para reducir el costo de los análisis de perfiles de datos:
- Muestreo
- Análisis incrementales
- Filtrado de columnas
- Filtrado de filas
- Para separar los cargos de generación de perfiles de datos de otros cargos en el SKU de procesamiento premium de Dataplex, en el informe de Facturación de Cloud, usa la etiqueta goog-dataplex-workload-type con el valor DATA_PROFILE
Para filtrar los cargos agregados, usa las siguientes etiquetas disponibles en la exportación de facturación en BigQuery:
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-data-source-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
3. Linaje de datos
Pagas por dos cosas: el procesamiento consumido por los informes de linaje automáticos de los sistemas de Google Cloud compatibles (facturado a través del SKU de procesamiento premium de Dataplex, en horas de DCU) y el almacenamiento de los metadatos de linaje resultantes (procesos, ejecuciones, eventos de linaje y vínculos) durante el tiempo que se conserven (de forma predeterminada, 30 días; facturado a través del SKU de almacenamiento de metadatos de Knowledge Catalog, por GiB-mes; consulta los precios de almacenamiento de metadatos). La facturación aparece en el proyecto en el que ejecutaste el trabajo.
Para separar los cargos de linaje de datos de otros cargos en los SKU de procesamiento premium y almacenamiento de metadatos de Dataplex, usa la etiqueta goog-dataplex-workload-type con el valor LINEAGE en el informe de Facturación de Cloud.
Uso facturable y no facturable
Las siguientes actividades generan cargos:
- Análisis automático de linaje: consume horas de unidad de procesamiento de datos (DCU) según la complejidad del procesamiento. Las DCU miden la capacidad de procesamiento abstracta asignada para realizar el análisis. El consumo se calcula en función de la cantidad de trabajos, las ejecuciones de trabajos y la cantidad de vínculos de linaje creados.
- Almacenamiento de metadatos de linaje: Los metadatos de linaje (procesos, ejecuciones, eventos de linaje y vínculos) se retienen por un período limitado (de forma predeterminada, 30 días) y se facturan según el SKU de almacenamiento de metadatos durante el tiempo que se almacenen. Los cargos de almacenamiento se detienen cuando los metadatos vencen al final del período de retención o cuando los borras.
Se generan costos de DCU cuando el sourceType Origin de la API de Data Lineage se establece en cualquier valor que no sea CUSTOM. Los valores como BIGQUERY, DATAPROC o COMPOSER indican que Google Cloud extrae automáticamente el linaje de los registros y metadatos del servicio. Este proceso de extracción requiere recursos de procesamiento (DCU), por lo que es facturable. Por el contrario, CUSTOM indica que realizaste el análisis por tu cuenta, por lo que no se aplica ningún cargo de procesamiento premium (DCU); el resultado almacenado está sujeto a los precios de almacenamiento de metadatos como cualquier otro metadato de linaje.
Las siguientes actividades son gratuitas:
- Informes de linaje personalizados: los informes de linaje de sistemas de terceros o integraciones personalizadas (en los que el sourceType es CUSTOM) no generan cargos de procesamiento premium. Los precios de almacenamiento de metadatos se siguen aplicando al linaje almacenado. Esto incluye los siguientes métodos:
- Llamar a ProcessOpenLineageRunEvent, que te permite importar eventos compatibles con OpenLineage.
- Crear un LineageEvent con un cliente personalizado para informar de forma manual los eventos de linaje nativos.
- Informes de procesos y ejecuciones: Informar los metadatos del proceso en sí es gratuito; los cargos solo se aplican al análisis automático de LineageEvents.
- Consumo de linaje: recuperar el linaje (con los métodos Get o List) y borrarlo (con los métodos Delete) es gratis.
Ejemplo de precios
En este ejemplo, habilitarás el linaje de datos para hacer un seguimiento del linaje de BigQuery en tu proyecto. El proyecto se encuentra en la ubicación us-central1, donde una hora de DCU cuesta $0.089.
Informar el linaje hacia o desde una EntityReference cuesta aproximadamente 0.0056 horas de DCU. Un EntityReference identifica de forma única un recurso de datos dentro de Google Cloud, como una tabla de BigQuery o un bucket de Cloud Storage.
- Trabajo diario: Ejecutas el siguiente trabajo de BigQuery una vez al día durante 30 días:
CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);
Resultado: Esta operación genera vínculos de linaje que conectan dos tablas de origen con una tabla de destino (3 entidades distintas).
- Trabajo de cada dos días: Ejecutas el siguiente trabajo cada dos días (15 veces al mes):
CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;
Resultado: Esta operación genera vínculos de linaje que conectan tres tablas de origen con una tabla de destino (4 entidades distintas).
Cálculo de costos
Para este mes, supongamos que se generó 1 GiB de metadatos de linaje de datos. Los costos se calculan de la siguiente manera:
- Trabajo diario: 30 días * 3 entidades * ~0.0056 horas de DCU * $0.089 ~= $0.045
- Trabajo de cada dos días: 15 días * 4 entidades * 0.0056 horas de DCU * $0.089 = $0.030
- Almacenamiento: (1 GiB) * $2.00 = $1.998
Total: ~$0.045+$0.030+$1.998 = ~$2.07
Precios del linaje en tiempo de diseño (Looker Core)
El linaje de Looker es un linaje de tiempo de diseño: Knowledge Catalog lo deriva de las definiciones del modelo (por ejemplo, vistas y exploraciones de LookML y las tablas de BigQuery a las que hacen referencia) en lugar de las ejecuciones de trabajos. El linaje en tiempo de diseño se factura con el mismo SKU de procesamiento premium de Dataplex que el análisis de linaje automático, pero el consumo de horas de DCU se calcula de manera diferente:
- Se aplican cargos la primera vez que se informa un vínculo o proceso de linaje, y cada vez que cambia (por ejemplo, cuando se modifica y se vuelve a publicar el modelo de Looker). No hay ejecuciones en el linaje de tiempo de diseño, por lo que no hay cargos por evento, similar al procesamiento de linaje basado en eventos que se describió antes.
- Informar el linaje hacia o desde un nodo cuesta aproximadamente 0.0325 horas de DCU (aproximadamente $0.0029 en us-central1, donde una hora de DCU cuesta $0.089).
- La recuperación y eliminación de linaje sigue siendo gratuita. Los metadatos de linaje se cobran por separado en el SKU de almacenamiento de metadatos.
La facturación por el procesamiento de linaje en tiempo de diseño de Looker Core comienza el 1 de marzo de 2027. El linaje de Looker informado antes de esa fecha es sin costo. Para inhabilitar esta opción, consulta https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion, donde encontrarás información sobre cómo habilitar o inhabilitar el procesamiento de linaje de Looker Core.
