Dataplex Universal Catalog ha evolucionado para convertirse en Knowledge Catalog. Las SKUs de precios seguirán llamándose Dataplex. Los precios de Dataplex se basan en el pago por uso. Actualmente, Dataplex cobra según los siguientes SKUs:

• Procesamiento de Dataplex Universal Catalog (estándar y premium)
• Almacenamiento de metadatos

A continuación, se incluye un resumen general de cómo se factura cada una de las funciones clave de Dataplex Universal Catalog:

La unidad de computación de datos (DCU) mide el procesamiento estándar y premium de Dataplex Universal Catalog. DCU por hora es una unidad de facturación abstracta de Dataplex Universal Catalog, y el cupo por usuario real depende de las funciones concretas que uses.

Nivel sin coste de Dataplex Universal Catalog para Knowledge Catalog

Como parte del nivel sin coste económico de Google Cloud, Knowledge Catalog ofrece determinados recursos sin coste dentro de un límite específico. Estos límites de uso sin coste económico están disponibles tanto durante como después del periodo de prueba sin coste económico. Si los superas una vez finalizado dicho periodo, se te cobrará el servicio según los precios que aparecen en las secciones anteriores.

Nota: El nivel sin coste de Knowledge Catalog solo está disponible para la SKU de procesamiento estándar de Dataplex Universal Catalog, no para la SKU de procesamiento premium de Dataplex Universal Catalog.

Los cargos de DCU por cada función se calculan de la siguiente manera:

1. Análisis automáticos de la calidad de los datos:

• El consumo de horas de DCU es proporcional al procesamiento que implica la creación de perfiles de datos y el cálculo de las métricas de calidad de los datos. Se factura por segundo, con un mínimo de un minuto.
• El cargo depende del número de filas y columnas, la cantidad de datos que hayas analizado, la configuración de las reglas de calidad de los datos, los ajustes de partición y agrupamiento de la tabla, y la frecuencia del análisis.
• En el caso de los análisis de detección de anomalías de calidad de los datos, no se aplican cargos por DCU. En su lugar, se aplican los precios estándar de BigQuery para la computación, el almacenamiento y el entrenamiento, el procesamiento y la implementación de modelos de BQML.
• Si usas una identidad de ejecución personalizada, cambia la forma en que se te factura el análisis. Cuando especifiques una identidad de ejecución personalizada, los costes de computación y almacenamiento asociados al análisis se facturarán directamente a tu proyecto de BigQuery, sin pasar por las SKUs estándar de Dataplex Premium.

2. Hay varias opciones para reducir el coste de los análisis automáticos de calidad de los datos:

• Muestreo
• Análisis incrementales
• Para separar los cargos de calidad de los datos de otros cargos en el SKU de procesamiento premium de Dataplex, en el informe de facturación de Cloud, usa la etiqueta goog-dataplex-workload-type con el valor DATA_QUALITY.

3. Para filtrar los cargos agregados, usa las siguientes etiquetas disponibles en la exportación de facturación en BigQuery:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

4. Análisis de elaboración de perfiles de datos:

• El consumo de horas de DCU es proporcional al procesamiento que implica la creación de perfiles de datos y el cálculo de las métricas de calidad de los datos. Se factura por segundo, con un mínimo de un minuto.
• El cargo depende del número de filas y columnas, la cantidad de datos analizados, la configuración de particionamiento y agrupamiento en clústeres de la tabla, y la frecuencia del análisis.
• Si usas una identidad de ejecución personalizada, cambia la forma en que se te factura el análisis. Cuando especifiques una identidad de ejecución personalizada, los costes de computación y almacenamiento asociados al análisis se facturarán directamente a tu proyecto de BigQuery, sin pasar por las SKUs estándar de Dataplex Premium.

5. Hay varias opciones para reducir el coste de los análisis de creación de perfiles de datos:

• Muestreo
• Análisis incrementales
• Filtrado de columnas
• Filtrado de filas
• Para separar los cargos de elaboración de perfiles de datos de otros cargos en el SKU de procesamiento premium de Dataplex, en el informe de facturación de Cloud, usa la etiqueta goog-dataplex-workload-type con el valor DATA_PROFILE.

6. Para filtrar los cargos agregados, usa las siguientes etiquetas disponibles en la exportación de facturación en BigQuery:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

Pagas por la potencia de computación que consumen los informes de linaje automáticos de los sistemas de Google Cloud compatibles. La facturación aparece en el proyecto en el que ejecutaste la tarea.

Para separar los cargos de linaje de datos de otros cargos en el SKU de procesamiento premium de Dataplex, usa la etiqueta goog-dataplex-workload-type con el valor LINEAGE en el informe de facturación de Cloud.

• Para obtener más información sobre cómo identificar el proyecto de facturación, consulta https://cloud.google.com/dataplex/docs/troubleshooting-lineage#project_types.
• Para obtener más información sobre cómo acceder a los informes de facturación de Cloud en la consola de Google Cloud y cómo configurarlos, consulta Analizar datos de facturación y tendencias de costes con informes | Facturación de Cloud | Documentación de Google Cloud.

Las siguientes actividades generan cargos:

• Análisis automático de linaje: consume horas de unidad de computación de datos (DCU) en función de la complejidad del procesamiento. Las DCUs miden la capacidad de computación abstracta asignada para realizar el análisis. El consumo se calcula en función del número de tareas, de ejecuciones de tareas y de enlaces de linaje creados. 

Se incurre en estos costes cuando el valor del campo Origin de la API Data Lineage es distinto de CUSTOM. Los valores como BIGQUERY, DATAPROC o COMPOSER indican que Google Cloud está extrayendo automáticamente el linaje de los registros y los metadatos del servicio. Este proceso de extracción requiere recursos de computación (DCUs), por lo que se factura. En cambio, CUSTOM indica que has hecho el análisis tú mismo y solo estás almacenando el resultado, lo cual no tiene coste.

Las siguientes actividades son sin coste económico:

• Informes de linaje personalizados: los informes de linaje de sistemas de terceros o integraciones personalizadas (donde sourceType es CUSTOM) son sin coste económico. Esto incluye los siguientes métodos:
• Calling ProcessOpenLineageRunEvent, which allows you to import OpenLineage-compatible events.
• Crear un LineageEvent con un cliente personalizado para informar manualmente de eventos de linaje nativos.
• Procesos y ejecuciones de informes: informar de los metadatos del proceso en sí no tiene coste económico. Solo se aplican cargos a la analización automática de LineageEvents.
• Lineage Consumption: retrieving lineage (using Get or List methods) and deleting lineage (using Delete methods) are free.

En este ejemplo, habilitas el linaje de datos para hacer un seguimiento del linaje de BigQuery en tu proyecto. El proyecto está en la ubicación us-central1, donde una hora de DCU cuesta 0,089 USD.

Informar de la linaje hacia o desde una EntityReference cuesta aproximadamente 0,0056 horas de DCU. EntityReference identifica de forma única un recurso de datos en Google Cloud, como una tabla de BigQuery o un bucket de Cloud Storage.

• Tarea diaria: ejecutas la siguiente tarea de BigQuery una vez al día durante 30 días:

CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);

Resultado: esta operación genera enlaces de linaje que conectan dos tablas de origen con una tabla de destino (3 entidades distintas).

• Tarea cada dos días: ejecutas la siguiente tarea cada dos días (15 veces al mes):

CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;

Resultado: esta operación genera enlaces de linaje que conectan tres tablas de origen con una tabla de destino (4 entidades distintas).

Cálculo de costes

Supongamos que este mes se ha generado 1 GiB de metadatos de linaje de datos. Los costes se calculan de la siguiente manera:

• Tarea diaria: 30 días x 3 entidades x ~0,0056 horas de DCU x 0,089 USD ≈ 0,045 USD
• Every other day job: 15 days * 4 entities * 0.0056 DCU-hours * $0.089 = $0.030
• Almacenamiento: (1 GiB - 1 MiB del nivel sin coste económico) x 2,00 USD = 1,998 USD

Total: ~0,045 USD + 0,030 USD + 1,998 USD = ~2,07 USD

Cuando los usuarios interactúan con Knowledge Catalog, las llamadas a la API no tienen coste económico, incluidas las siguientes:

• Crear y gestionar recursos de Dataplex Universal Catalog
• Crear y gestionar recursos de linaje
• Búsqueda en el catálogo

En esta sección se incluyen ejemplos de cómo calcular el coste de Dataplex Universal Catalog.

Pequeños aspectos

• El usuario A crea y aplica aspectos pequeños (de 1024 bytes cada uno). Por 10 USD al mes, el usuario puede almacenar 5 GiB de metadatos, que equivale aproximadamente a 5 millones de aspectos. Si se asigna un aspecto por tabla, esto supone un total de 5 millones de tablas con aspectos.
• El usuario B crea 5 millones de aspectos de 1 KB cada uno el día 10 del mes, pero los elimina el día 20. El coste es de 3,33 USD, que se calcula dividiendo 5 GiB de datos entre un tercio de mes:

Grandes aspectos

• El usuario C crea y aplica aspectos grandes (de 10 KB cada uno). Por 10 USD al mes, el usuario puede almacenar 5 GiB de metadatos, lo que equivale aproximadamente a 500.000 aspectos. Si se supone que hay un aspecto por tabla, esto equivale a un total de 500.000 tablas con aspectos.
• El usuario D crea 10.000 tipos de aspectos (por ejemplo, ETL, gobierno de datos y calidad de datos) y aplica aspectos grandes (de 10 KB cada uno) usando cada uno de los 10 tipos de aspectos. Por 10 USD al mes, el usuario puede almacenar 5 GiB de metadatos, que equivale aproximadamente a 500.000 aspectos. Si suponemos que hay 10 aspectos por tabla, esto supone un total de 50.000 tablas con aspectos.

En esta sección se describen los precios de Data Catalog, que se encuentra en la fase de retirada (transición a Dataplex Universal Catalog para evitar interrupciones del servicio).

Se aplican cargos de Data Catalog al almacenamiento de metadatos de Data Catalog y a las llamadas a la API de Data Catalog.

Los cargos por el uso del almacenamiento de metadatos y de las llamadas a la API se acumulan diariamente. Puedes consultar el uso que no se ha facturado en la consola de Google Cloud.

Nota: Los modelos de precios se aplican a cuentas y no a proyectos, a menos que se especifique lo contrario.

Las llamadas a la API de Data Catalog se facturan según se describe en la siguiente tabla:

Nota: Las consultas de búsqueda que se realizan en la página Data Catalog de la consola de Google Cloud no tienen ningún coste.