A continuación, se muestra un resumen general de cómo se factura cada función clave de Dataplex Universal Catalog:

Nivel sin coste económico de Dataplex Universal Catalog para Knowledge Catalog

Como parte del nivel sin coste económico de Google Cloud, Knowledge Catalog ofrece determinados recursos sin coste dentro de un límite específico. Estos límites de uso sin coste económico están disponibles durante y después del periodo de prueba sin coste económico. Si superas estos límites de uso y ya no te encuentras en el periodo de prueba, se te cobrará según los precios que se describen en las secciones anteriores.

Nota: El nivel sin coste económico de Knowledge Catalog solo está disponible para el SKU de procesamiento estándar de Dataplex Universal Catalog, y no para el SKU de procesamiento premium de Dataplex Universal Catalog.

Los cargos de DCU por cada función se calculan de la siguiente manera:

1. Análisis de calidad de los datos automáticos:

• El consumo de horas de DCU es proporcional al procesamiento que conlleva la creación de perfiles de datos y el cálculo de las métricas de calidad de los datos. Se factura por segundo, con un mínimo de un minuto.
• El cargo depende del número de filas, del número de columnas, de la cantidad de datos que hayas analizado, de la configuración de las reglas de calidad de los datos, de la configuración de particiones y de clústeres de la tabla, y de la frecuencia del análisis.
• No se aplican cargos de DCU por los análisis de detección de anomalías de calidad de los datos. En su lugar, se aplican los precios estándar de BigQuery por la computación, el almacenamiento y el entrenamiento, el procesamiento y el despliegue de modelos de BQML.
• Si usas una identidad de ejecución personalizada, cambiará la forma en que se te factura el análisis. Cuando especificas una identidad de ejecución personalizada, los costes de computación y almacenamiento asociados al análisis se facturan directamente a tu proyecto de BigQuery, sin pasar por los SKUs estándar de Dataplex Premium.

2. Hay varias opciones para reducir el coste de los análisis automáticos de calidad de los datos:

• Muestreo
• Análisis incrementales
• Para separar los cargos de calidad de los datos de otros cargos en el SKU de procesamiento premium de Dataplex, en el informe de Facturación de Cloud, usa la etiqueta goog-dataplex-workload-type con el valor DATA_QUALITY.

3. Para filtrar los cargos agregados, usa las siguientes etiquetas disponibles en la exportación de facturación de BigQuery:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

4. Análisis de elaboración de perfiles de datos:

• El consumo de horas de DCU es proporcional al procesamiento que conlleva la creación de perfiles de datos y el cálculo de las métricas de calidad de los datos. Se factura por segundo, con un mínimo de un minuto.
• El cargo depende del número de filas, del número de columnas, de la cantidad de datos analizados, de la configuración de particiones y de clústeres de la tabla, y de la frecuencia del análisis.
• Si usas una identidad de ejecución personalizada, cambiará la forma en que se te factura el análisis. Cuando especificas una identidad de ejecución personalizada, los costes de computación y almacenamiento asociados al análisis se facturan directamente a tu proyecto de BigQuery, sin pasar por los SKUs estándar de Dataplex Premium.

5. Hay varias opciones para reducir el coste de los análisis de elaboración de perfiles de datos:

• Muestreo
• Análisis incrementales
• Filtrado de columnas
• Filtrado de filas
• Para separar los cargos de elaboración de perfiles de datos de otros cargos en el SKU de procesamiento premium de Dataplex, en el informe de Facturación de Cloud, usa la etiqueta goog-dataplex-workload-type con el valor DATA_PROFILE.

6. Para filtrar los cargos agregados, usa las siguientes etiquetas disponibles en la exportación de facturación de BigQuery:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

Las siguientes actividades conllevan cargos:

• Análisis automático de linaje: consume horas de unidad de computación de datos (DCU) en función de la complejidad del procesamiento. Las DCUs miden la capacidad de computación abstracta asignada para realizar el análisis. El consumo se calcula en función del número de tareas, de ejecuciones de tareas y de enlaces de linaje creados. 

Incurrirás en estos costes cuando el sourceType Origin de la API de linaje de datos tenga un valor distinto de CUSTOM. Los valores como BIGQUERY, DATAPROC o COMPOSER indican que Google Cloud extrae automáticamente el linaje de los registros y metadatos del servicio. Este proceso de extracción requiere recursos de computación (DCUs), por lo que es facturable. En cambio, CUSTOM indica que has realizado el análisis tú mismo y que solo estás almacenando el resultado, que es sin coste.

Las siguientes actividades son sin coste

• Informes de linaje personalizados: los informes de linaje de sistemas de terceros o integraciones personalizadas (donde sourceType es CUSTOM) se ofrecen sin coste. Esto incluye los siguientes métodos:
• Llamar a ProcessOpenLineageRunEvent, que te permite importar eventos compatibles con OpenLineage.
• Crear un LineageEvent con un cliente personalizado para registrar manualmente eventos de linaje nativos.
• Procesos y ejecuciones de informes: registrar los metadatos del proceso es sin coste; solo se aplican cargos por el análisis automático de LineageEvents.
• Consumo de linaje: recuperar el linaje (mediante los métodos Get o List) y eliminarlo (mediante los métodos Delete) es sin coste.

En este ejemplo, habilitas el linaje de datos para hacer un seguimiento del linaje de BigQuery en tu proyecto. El proyecto se encuentra en la ubicación us-central1, donde una hora de DCU cuesta 0,089 USD.

Registrar el linaje hacia o desde una EntityReference cuesta aproximadamente 0,0056 horas de DCU. Un EntityReference identifica de forma única un recurso de datos de Google Cloud, como una tabla de BigQuery o un segmento de Cloud Storage.

• Tarea diaria: ejecutas la siguiente tarea de BigQuery una vez al día durante 30 días:

CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);

Resultado: esta operación genera enlaces de linaje que conectan dos tablas de origen con una tabla de destino (3 entidades distintas).

• Tarea cada dos días: ejecutas la siguiente tarea cada dos días (15 veces al mes):

CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;

Resultado: esta operación genera enlaces de linaje que conectan tres tablas de origen con una tabla de destino (4 entidades distintas).

Cálculo de costes

Supongamos que este mes se ha generado 1 GiB de metadatos de linaje de datos. Los costes se calculan de la siguiente manera:

• Tarea diaria: 30 días * 3 entidades * ~0,0056 horas de DCU * 0,089 USD ~= 0,045 USD
• Tareas cada dos días: 15 días * 4 entidades * 0,0056 horas de DCU * 0,089 USD = 0,030 USD
• Almacenamiento: (1 GiB - 1 MiB del nivel sin coste económico) * 2,00 USD = 1,998 USD

Total: ~0,045$+ 0,030 $+ 1,998 $= ~2,07$

El linaje de Looker es un linaje en tiempo de diseño: Knowledge Catalog lo deriva de las definiciones de los modelos (por ejemplo, las vistas y las exploraciones de LookML y las tablas de BigQuery a las que hacen referencia) en lugar de las ejecuciones de tareas. El linaje en tiempo de diseño se factura con el mismo SKU de procesamiento premium de Dataplex que el análisis automático de linaje, pero el consumo de horas de DCU se calcula de forma diferente:

• Se aplican cargos la primera vez que se registra un enlace o proceso de linaje, y cada vez que cambia (por ejemplo, cuando se modifica y se vuelve a publicar el modelo de Looker). No hay ejecuciones en el linaje de tiempo de diseño, por lo que no hay cargos por evento, de forma similar al procesamiento de linaje basado en eventos descrito anteriormente.
• Registrar el linaje de un nodo o desde él cuesta aproximadamente 0,0325 horas de DCU (unos 0,0029 USD en us-central1, donde una hora de DCU cuesta 0,089 USD).
• La obtención y eliminación de linajes sigue siendo sin coste. Los metadatos de linaje se cobran por separado en el SKU de almacenamiento de metadatos.

La facturación del procesamiento de linaje en tiempo de diseño de Looker Core comienza el 1 de marzo del 2027. El linaje de Looker registrado antes de esa fecha no tiene coste. Para inhabilitar esta opción, consulta https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion, donde encontrarás información sobre cómo habilitar o inhabilitar el procesamiento de linaje de Looker Core.

A medida que los usuarios interactúan con Knowledge Catalog, las llamadas a la API no tienen coste económico, incluidas las siguientes:

• Crear y gestionar recursos de Dataplex Universal Catalog
• Crear y gestionar recursos de linaje
• Búsqueda de catálogo

En esta sección se proporcionan ejemplos de cómo calcular el coste de Dataplex Universal Catalog.

Aspectos pequeños

• El usuario A crea y aplica aspectos pequeños (1024 bytes cada uno). Por 10 USD al mes, el usuario puede almacenar 5 GiB de metadatos, lo que equivale aproximadamente a 5 millones de aspectos. Suponiendo que haya un aspecto por tabla, esto equivale a un total de 5 millones de tablas con aspectos.
• El usuario B crea 5 millones de aspectos de 1 kB cada uno el día 10 del mes y los elimina el día 20. El coste es de 3,33 USD, que se calcula dividiendo 5 GiB de datos entre un tercio de mes: