Voici un aperçu général de la facturation de chaque fonctionnalité clé de Dataplex Universal Catalog :

Niveau sans frais de Dataplex Universal Catalog pour Knowledge Catalog

Dans le cadre du niveau sans frais de Google Cloud, Knowledge Catalog offre certaines ressources sans frais jusqu'à une certaine limite. Ces limites d'utilisation sans frais sont disponibles pendant et après la période d'essai sans frais. Si vous dépassez ces limites d'utilisation et que votre période d'essai sans frais est terminée, des frais vous seront facturés conformément au tarif décrit dans les sections ci-dessus.

Remarque : Le niveau sans frais de Knowledge Catalog n'est disponible que pour le SKU de traitement standard de Dataplex Universal Catalog, et non pour le SKU de traitement premium de Dataplex Universal Catalog.

Les frais de DCU pour chaque fonctionnalité sont calculés comme suit :

1. Analyses de la qualité automatique des données :

• La consommation de DCU-heure est proportionnelle au traitement impliqué dans le profilage des données et le calcul des métriques de qualité des données. La facturation se fait à la seconde, avec un minimum d'une minute.
• Les frais dépendent du nombre de lignes, du nombre de colonnes, de la quantité de données analysées, de la configuration des règles de qualité des données, des paramètres de partitionnement et de clustering de la table, ainsi que de la fréquence de l'analyse.
• Les frais de DCU ne s'appliquent pas aux analyses de détection d'anomalies de qualité des données. À la place, les tarifs standards de BigQuery s'appliquent pour le calcul, le stockage, ainsi que l'entraînement, le traitement et le déploiement de modèles BQML.
• L'utilisation d'une identité d'exécution personnalisée modifie la façon dont l'analyse vous est facturée. Lorsque vous spécifiez une identité d'exécution personnalisée, les coûts de calcul et de stockage associés à l'analyse sont facturés directement à votre projet BigQuery, en contournant les SKU Dataplex Premium standards.

2. Il existe plusieurs options pour réduire le coût des analyses automatiques de la qualité des données :

• Échantillonnage
• Analyses incrémentielles
• Pour séparer les frais de qualité des données des autres frais associés au SKU de traitement premium Dataplex, utilisez le libellé goog-dataplex-workload-type avec la valeur DATA_QUALITY dans le rapport sur la facturation Cloud Billing.

3. Pour filtrer les frais cumulés, utilisez les étiquettes suivantes disponibles dans l'exportation de la facturation dans BigQuery :

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

4. Analyses de profilage des données :

• La consommation de DCU-heure est proportionnelle au traitement impliqué dans le profilage des données et le calcul des métriques de qualité des données. La facturation se fait à la seconde, avec un minimum d'une minute.
• Le coût dépend du nombre de lignes, du nombre de colonnes, de la quantité de données analysées, des paramètres de partitionnement et de clustering de la table, ainsi que de la fréquence de l'analyse.
• L'utilisation d'une identité d'exécution personnalisée modifie la façon dont l'analyse vous est facturée. Lorsque vous spécifiez une identité d'exécution personnalisée, les coûts de calcul et de stockage associés à l'analyse sont facturés directement à votre projet BigQuery, en contournant les SKU Dataplex Premium standards.

5. Il existe plusieurs options pour réduire le coût des analyses de profilage des données :

• Échantillonnage
• Analyses incrémentielles
• Filtrage de colonne
• Filtrage de ligne
• Pour séparer les frais de profilage des données des autres frais associés au SKU de traitement premium Dataplex, utilisez l'étiquette goog-dataplex-workload-type avec la valeur DATA_PROFILE dans le rapport Cloud Billing.

6. Pour filtrer les frais cumulés, utilisez les étiquettes suivantes disponibles dans l'exportation de la facturation dans BigQuery :

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

Les activités suivantes sont facturées :

• Analyse automatique de la traçabilité : consomme des heures d'unité de calcul de données (DCU) en fonction de la complexité du traitement. Les DCU mesurent la capacité de calcul abstraite allouée pour effectuer l'analyse. La consommation est calculée en fonction du nombre de jobs, d'exécutions de jobs et de liens de traçabilité créés. 

Ces coûts sont facturés lorsque le sourceType Origin de l'API Data Lineage est défini sur une valeur autre que CUSTOM. Les valeurs telles que BIGQUERY, DATAPROC ou COMPOSER indiquent que la traçabilité est extraite automatiquement par Google Cloud à partir des journaux et des métadonnées du service. Ce processus d'extraction nécessite des ressources de calcul (DCU), ce qui explique pourquoi il est facturable. En revanche, CUSTOM indique que vous avez effectué l'analyse vous-même et que vous ne stockez que le résultat, ce qui est sans frais.

Les activités suivantes sont sans frais :

• Rapports de traçabilité personnalisés : les rapports de traçabilité provenant de systèmes tiers ou d'intégrations personnalisées (où sourceType est CUSTOM) sont sans frais. Cela inclut les méthodes suivantes :
• Appeler ProcessOpenLineageRunEvent, qui vous permet d'importer des événements compatibles avec OpenLineage.
• Créer un LineageEvent à l'aide d'un client personnalisé pour signaler manuellement les événements de traçabilité natifs.
• Processus et exécutions de reporting : le reporting des métadonnées de processus est sans frais. Les frais ne s'appliquent qu'à l'analyse automatique des LineageEvents.
• Consommation de la traçabilité : la récupération de la traçabilité (à l'aide des méthodes Get ou List) et la suppression de la traçabilité (à l'aide des méthodes Delete) sont sans frais.

Dans cet exemple, vous allez activer la traçabilité des données pour suivre la traçabilité pour BigQuery dans votre projet. Le projet se trouve dans l'emplacement us-central1, où une heure-DCU coûte 0,089 $.

Le signalement de la traçabilité vers ou depuis une EntityReference coûte environ 0,0056 heure DCU. Un EntityReference identifie de manière unique une ressource de données dans Google Cloud, telle qu'une table BigQuery ou un bucket Cloud Storage.

• Job quotidien : vous exécutez le job BigQuery suivant une fois par jour pendant 30 jours :

CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);

Résultat : cette opération génère des liens de traçabilité connectant deux tables sources à une table cible (trois entités distinctes).

• Job exécuté un jour sur deux : vous exécutez le job suivant un jour sur deux (15 fois par mois) :

CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;

Résultat : cette opération génère des liens de traçabilité connectant trois tables sources à une table cible (quatre entités distinctes).

Calcul des coûts

Pour ce mois, supposons que 1 Gio de métadonnées de traçabilité des données ont été générées. Les coûts sont calculés comme suit :

• Job quotidien : 30 jours * 3 entités * ~0,0056 heure d'unités de calcul de données * 0,089 $ ~= 0,045 $
• Job exécuté un jour sur deux : 15 jours * 4 entités * 0,0056 heure d'unités de calcul de données * 0,089 $ = 0,030 $
• Stockage : (1 Gio - 1 Mio de niveau sans frais) * 2,00 $ = 1,998 $

Total : environ 0,045 $ + 0,030 $ + 1,998 $ = environ 2,07 $

La traçabilité de Looker est une traçabilité au moment de la conception : Knowledge Catalog la dérive des définitions de modèle (par exemple, les vues et les explorations LookML, ainsi que les tables BigQuery auxquelles elles font référence) plutôt que des exécutions de jobs. La traçabilité au moment de la conception est facturée sous le même SKU de traitement premium Dataplex que l'analyse automatique de la traçabilité, mais la consommation d'heures DCU est calculée différemment :

• Des frais s'appliquent la première fois qu'un lien ou un processus de traçabilité est signalé, et chaque fois qu'il change (par exemple, lorsque le modèle Looker est modifié et republié). Il n'y a pas d'exécution dans la traçabilité au moment de la conception, donc aucuns frais par événement, comme pour le traitement de la traçabilité basé sur les événements décrit ci-dessus.
• Le signalement de la traçabilité vers ou depuis un nœud coûte environ 0,0325 heure d'unités de calcul de données (environ 0,0029 $ dans us-central1, où une heure d'unités de calcul de données coûte 0,089 $).
• La récupération et la suppression de la traçabilité restent sans frais. Les métadonnées de traçabilité sont facturées séparément sous le SKU de stockage de métadonnées.

La facturation du traitement de la traçabilité au moment de la conception de Looker Core commence le 1er mars 2027. La traçabilité Looker signalée avant cette date est sans frais. Pour désactiver cette fonctionnalité, consultez https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion, qui contient des informations sur l'activation ou la désactivation du traitement de la traçabilité Looker Core.

Lorsque les utilisateurs interagissent avec Knowledge Catalog, les appels d'API sont sans frais, y compris :

• Créer et gérer des ressources Dataplex Universal Catalog
• Créer et gérer des ressources de traçabilité
• Recherche dans le catalogue

Cette section fournit des exemples de calcul du coût de Dataplex Universal Catalog.

Petits aspects

• L'utilisateur A crée et applique de petits aspects (1 024 octets chacun). Pour 10 $ par mois, l'utilisateur peut stocker 5 Gio de métadonnées, ce qui correspond à environ 5 millions d'aspects. En supposant qu'il y ait un aspect par table, cela représente un total de 5 millions de tables avec des aspects.
• L'utilisateur B crée 5 millions d'aspects de 1 Ko chacun le 10 du mois et les supprime le 20. Le coût est de 3,33 $, calculé comme suit : 5 Gio de données divisés par un tiers de mois :