Les frais de DCU pour chaque fonctionnalité sont calculés comme suit :
- Qualité des données
Analyses de la qualité automatique des données :
- La consommation de DCU-heure est proportionnelle au traitement impliqué dans le profilage des données et le calcul des métriques de qualité des données. La facturation s'effectue à la seconde, avec un minimum d'une minute.
- Les frais dépendent du nombre de lignes, du nombre de colonnes, de la quantité de données analysées, de la configuration des règles de qualité des données, des paramètres de partitionnement et de clustering de la table, ainsi que de la fréquence de l'analyse.
- Les frais de DCU ne s'appliquent pas aux analyses de détection d'anomalies de qualité des données. À la place, les tarifs standards de BigQuery s'appliquent pour le calcul, le stockage, ainsi que l'entraînement, le traitement et le déploiement de modèles BQML.
- L'utilisation d'une identité d'exécution personnalisée modifie la façon dont l'analyse vous est facturée. Lorsque vous spécifiez une identité d'exécution personnalisée, les coûts de calcul et de stockage associés à l'analyse sont facturés directement à votre projet BigQuery, en contournant les SKU Dataplex Premium standards.
Il existe plusieurs options pour réduire le coût des analyses automatiques de la qualité des données :
Pour filtrer les frais agrégés, utilisez les étiquettes suivantes disponibles dans l'exportation de facturation dans BigQuery :
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-data-source-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
2. Profilage des données
Analyses de profilage des données :
- La consommation de DCU-heure est proportionnelle au traitement impliqué dans le profilage des données et le calcul des métriques de qualité des données. La facturation s'effectue à la seconde, avec un minimum d'une minute.
- Le coût dépend du nombre de lignes, du nombre de colonnes, de la quantité de données analysées, des paramètres de partitionnement et de clustering de la table, ainsi que de la fréquence de l'analyse.
- L'utilisation d'une identité d'exécution personnalisée modifie la façon dont l'analyse vous est facturée. Lorsque vous spécifiez une identité d'exécution personnalisée, les coûts de calcul et de stockage associés à l'analyse sont facturés directement à votre projet BigQuery, en contournant les SKU Dataplex Premium standards.
Il existe plusieurs options pour réduire le coût des analyses de profilage des données :
- Échantillonnage
- Analyses incrémentielles
- Filtrage de colonne
- Filtrage de ligne
- Pour séparer les frais de profilage des données des autres frais associés au SKU de traitement premium Dataplex, utilisez le libellé goog-dataplex-workload-type avec la valeur DATA_PROFILE dans le rapport Cloud Billing.
Pour filtrer les frais agrégés, utilisez les étiquettes suivantes disponibles dans l'exportation de facturation dans BigQuery :
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-data-source-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
3. Traçabilité des données
Vous payez pour deux choses : le calcul consommé par les rapports de traçabilité automatique des systèmes Google Cloud compatibles (facturé via le SKU de traitement premium Dataplex, en DCU-heures) et le stockage des métadonnées de traçabilité qui en résultent (processus, exécutions, événements de traçabilité et liens) pendant toute la durée de leur conservation (par défaut, 30 jours ; facturé via le SKU de stockage de métadonnées Knowledge Catalog, par Gio-mois ; consultez les tarifs de stockage des métadonnées). La facturation apparaît dans le projet dans lequel vous avez exécuté le job.
Pour séparer les frais de traçabilité des données des autres frais associés aux SKU de traitement premium et de stockage de métadonnées Dataplex, utilisez l'étiquette goog-dataplex-workload-type avec la valeur LINEAGE dans le rapport Cloud Billing.
Utilisation facturable et non facturable
Les activités suivantes sont facturées :
- Analyse automatique de la traçabilité : consomme des heures d'unité de calcul de données (DCU) en fonction de la complexité du traitement. Les DCU mesurent la capacité de calcul abstraite allouée pour effectuer l'analyse. La consommation est calculée en fonction du nombre de jobs, d'exécutions de jobs et de liens de traçabilité créés.
- Stockage des métadonnées de traçabilité : les métadonnées de traçabilité (processus, exécutions, événements de traçabilité et liens) sont conservées pendant une période limitée (par défaut, 30 jours) et facturées sous le SKU de stockage des métadonnées tant qu'elles sont stockées. Les frais de stockage cessent lorsque les métadonnées expirent à la fin de la période de conservation ou lorsque vous les supprimez.
Vous encourez des coûts de DCU lorsque le sourceType Origin de l'API Data Lineage est défini sur une valeur autre que CUSTOM. Les valeurs telles que BIGQUERY, DATAPROC ou COMPOSER indiquent que la traçabilité est extraite automatiquement par Google Cloud à partir des journaux et des métadonnées du service. Ce processus d'extraction nécessite des ressources de calcul (DCU), ce qui explique pourquoi il est facturable. En revanche, CUSTOM indique que vous avez effectué l'analyse vous-même. Aucun frais de traitement premium (DCU) ne s'applique donc. Le résultat stocké est soumis à la tarification du stockage des métadonnées, comme toutes les autres métadonnées de traçabilité.
Les activités suivantes sont sans frais :
- Rapports de traçabilité personnalisés : les rapports de traçabilité provenant de systèmes tiers ou d'intégrations personnalisées (où le sourceType est CUSTOM) n'entraînent pas de frais de traitement premium. La tarification du stockage des métadonnées s'applique toujours à la traçabilité stockée. Cela inclut les méthodes suivantes :
- Appeler ProcessOpenLineageRunEvent, qui vous permet d'importer des événements compatibles avec OpenLineage.
- Créer un LineageEvent à l'aide d'un client personnalisé pour signaler manuellement les événements de traçabilité natifs.
- Processus et exécutions de reporting : le reporting des métadonnées de processus est sans frais. Des frais ne s'appliquent qu'à l'analyse automatique des LineageEvents.
- Consommation de la traçabilité : la récupération de la traçabilité (à l'aide des méthodes Get ou List) et la suppression de la traçabilité (à l'aide des méthodes Delete) sont sans frais.
Exemple de tarification
Dans cet exemple, vous allez activer la traçabilité des données pour suivre la traçabilité pour BigQuery dans votre projet. Le projet se trouve dans l'emplacement us-central1, où une heure de DCU coûte 0,089 $.
Le signalement de la traçabilité vers ou depuis une référence d'entité coûte environ 0,0056 heure-DCU. Un EntityReference identifie de manière unique une ressource de données dans Google Cloud, telle qu'une table BigQuery ou un bucket Cloud Storage.
- Job quotidien : vous exécutez le job BigQuery suivant une fois par jour pendant 30 jours :
CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);
Résultat : cette opération génère des liens de traçabilité connectant deux tables sources à une table cible (trois entités distinctes).
- Job exécuté un jour sur deux : vous exécutez le job suivant un jour sur deux (15 fois par mois) :
CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;
Résultat : cette opération génère des liens de traçabilité connectant trois tables sources à une table cible (quatre entités distinctes).
Calcul des coûts
Pour ce mois, supposons que 1 Gio de métadonnées de traçabilité des données ont été générées. Les coûts sont calculés comme suit :
- Job quotidien : 30 jours * 3 entités * ~0,0056 heure d'unités de calcul de données * 0,089 $ ~= 0,045 $
- Job exécuté un jour sur deux : 15 jours x 4 entités x 0,0056 heure d'unités de calcul de données x 0,089 $ = 0,030 $
- Stockage : (1 Gio) * 2,00 $ = 1,998 $
Total : ~0,045 $ + 0,030 $ + 1,998 $ = ~2,07 $
Tarification de la traçabilité au moment de la conception (Looker Core)
La traçabilité de Looker est une traçabilité au moment de la conception : Knowledge Catalog la dérive des définitions de modèle (par exemple, les vues et les explorations LookML, ainsi que les tables BigQuery auxquelles elles font référence) plutôt que des exécutions de jobs. La traçabilité au moment de la conception est facturée sous le même SKU de traitement premium Dataplex que l'analyse automatique de la traçabilité, mais la consommation d'heures-DCU est calculée différemment :
- Des frais s'appliquent la première fois qu'un lien ou un processus de traçabilité est signalé, et chaque fois qu'il change (par exemple, lorsque le modèle Looker est modifié et republié). Il n'y a pas d'exécutions dans la traçabilité au moment de la conception. Il n'y a donc pas de frais par événement, comme pour le traitement de la traçabilité basé sur les événements décrit ci-dessus.
- Le signalement de la traçabilité vers ou depuis un nœud coûte environ 0,0325 heure-DCU (environ 0,0029 $ dans us-central1, où une heure-DCU coûte 0,089 $).
- La récupération et la suppression de la traçabilité restent sans frais. Les métadonnées de traçabilité sont facturées séparément sous le SKU de stockage de métadonnées.
La facturation du traitement de la traçabilité au moment de la conception de Looker Core commence le 1er mars 2027. La traçabilité Looker signalée avant cette date est sans frais. Pour désactiver cette fonctionnalité, consultez https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion, qui contient des informations sur l'activation ou la désactivation du traitement de la traçabilité Looker Core.
