Cette page explique comment estimer le coût du profilage des données BigQuery dans une organisation ou un dossier. Si vous souhaitez créer une estimation pour un projet, consultez la section Estimer le coût du profilage des données pour un seul projet.
Pour en savoir plus sur le profilage des données BigQuery, consultez la page Profils de données BigQuery.
Présentation
Avant de commencer à générer des profils de données, vous pouvez exécuter une estimation pour connaître la quantité de données BigQuery dont vous disposez et le coût du profilage de ces données. Pour exécuter une estimation, vous devez créer une estimation.
Lorsque vous créez une estimation, vous spécifiez la ressource (organisation, dossier ou projet) contenant les données que vous souhaitez profiler. Vous pouvez définir des filtres pour affiner la sélection des données. Vous pouvez également définir des conditions qui doivent être remplies pour que la protection des données sensibles profile une table. Le service de protection des données sensibles base l'estimation sur la forme, la taille et le type des données au moment de la création de l'estimation.
Chaque estimation inclut des détails tels que le nombre de tables correspondantes trouvées dans la ressource, la taille totale de toutes ces tables et le coût estimé du profilage de la ressource une fois et par mois.
Pour en savoir plus sur le calcul de la tarification, consultez la section Tarifs du profilage des données.
Tarification de l'estimation
La création d'une estimation est gratuite.
Conservation
Chaque estimation est automatiquement supprimée au bout de 28 jours.
Limites
Si votre organisation ou votre dossier contient un projet protégé par un périmètre de service VPC Service Controls, la protection des données sensibles risque de sous-estimer la quantité de données BigQuery dans votre ressource. Si vous disposez de périmètres de service, créez une estimation pour chaque périmètre de service indépendamment.
Avant de commencer
Pour obtenir les autorisations nécessaires pour créer et gérer les estimations des coûts de profilage des données, demandez à votre administrateur de vous attribuer le rôle IAM Administrateur DLP (roles/dlp.admin) pour l'organisation ou le dossier.
Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.
Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.
Créer une estimation
Accédez à la page Créer une estimation de profil de données.
Sélectionnez votre organisation.
Les sections suivantes fournissent plus d'informations sur les étapes de la page Créer une estimation de profil de données. À la fin de chaque section, cliquez sur Continuer.
Sélectionner la ressource à analyser
Effectuez l'une des opérations suivantes :- Pour créer une estimation pour une organisation, sélectionnez Analyser l'ensemble de l'organisation.
- Pour créer une estimation pour un dossier, sélectionnez Analyser le dossier sélectionné. Cliquez ensuite sur Parcourir, puis sélectionnez le dossier.
Renseigner les filtres et conditions
Vous pouvez ignorer cette section si vous souhaitez inclure toutes les tables BigQuery de l'organisation ou du dossier dans votre estimation.Dans cette section, vous allez créer des filtres pour spécifier certains sous-ensembles de données que vous souhaitez inclure dans l'estimation ou en exclure. Pour les sous-ensembles que vous incluez dans l'estimation, vous spécifiez également les conditions qu'une table du sous-ensemble doit remplir pour être incluse dans l'estimation.
Pour définir des filtres et des conditions, procédez comme suit:
- Cliquez sur Ajouter des filtres et des conditions.
Dans la section Filtres, définissez un ou plusieurs filtres spécifiant les tables comprises dans le champ d'application de l'estimation.
Spécifiez au moins l'un des éléments suivants:
- ID de projet ou expression régulière spécifiant un ou plusieurs projets.
- ID d'ensemble de données ou expression régulière spécifiant un ou plusieurs ensembles de données.
- ID de table ou expression régulière spécifiant une ou plusieurs tables.
Les expressions régulières doivent respecter la syntaxe RE2.
Par exemple, si vous souhaitez que toutes les tables d'un projet soient incluses dans le filtre, spécifiez l'ID de ce projet et laissez les deux autres champs vides.
Si vous souhaitez ajouter d'autres filtres, cliquez sur Ajouter un filtre et répétez cette étape.
Si les sous-ensembles de données définis par vos filtres doivent être exclus de l'estimation, désactivez l'option Inclure les tables correspondantes dans mon estimation. Si vous désactivez cette option, les conditions décrites dans le reste de cette section sont masquées.
Facultatif: Dans la section Conditions, spécifiez les conditions auxquelles les tables correspondantes doivent répondre pour être incluses dans l'estimation. Si vous ignorez cette étape, la protection des données sensibles inclut toutes les tables compatibles qui correspondent à vos filtres, quels que soient leur taille et leur âge.
Configurez les options suivantes:
Conditions minimales: pour exclure de petites ou de nouvelles tables de l'estimation, définissez un nombre minimal de lignes ou un âge de table minimal.
Condition de temps: pour exclure les anciennes tables, activez la condition de temps. Ensuite, choisissez une date et une heure. Toute table créée à cette date ou avant est exclue de l'estimation.
Par exemple, si vous définissez la condition temporelle sur 5/4/22, 23:59, la protection des données sensibles exclut de l'estimation les tables créées au plus tard le 4 mai 2022 à 23h59.
Tables à profiler: pour spécifier les types de tables à inclure dans l'estimation, sélectionnez Inclure uniquement les tables d'un ou de plusieurs types spécifiés. Ensuite, sélectionnez les types de tableaux que vous souhaitez inclure.
Si vous n'activez pas cette condition ou si vous ne sélectionnez aucun type de table, la protection des données sensibles inclut toutes les tables compatibles dans l'estimation.
Supposons que vous disposiez de la configuration suivante:
Conditions minimales
- Nombre minimal de lignes: 10
- Durée minimale: 24 heures
Condition de temps
- Horodatage: 04/05/22, 23:59
Tables à profiler
L'option Inclure uniquement les tables d'un ou de plusieurs types spécifiés est sélectionnée. Dans la liste des types de tables, seule l'option Profiler les tables BigLake est sélectionnée.
Dans ce cas, la protection des données sensibles exclut toutes les tables créées au plus tard le 4 mai 2022 à 23h59. Parmi les tables créées après cette date et cette heure, la protection des données sensibles ne profile que les tables BigLake comportant 10 lignes ou datant d'au moins 24 heures.
Cliquez sur OK.
Si vous souhaitez ajouter d'autres filtres et conditions, cliquez sur Ajouter des filtres et des conditions, puis répétez les étapes précédentes.
Le dernier élément de la liste des filtres et des conditions est toujours celui intitulé Filtres et conditions par défaut. Ce paramètre par défaut est appliqué aux tables de la ressource sélectionnée (organisation ou dossier) qui ne correspondent à aucun des filtres et conditions que vous avez créés.
Si vous souhaitez ajuster les filtres et les conditions par défaut, cliquez sur Modifier les filtres et les conditions, puis ajustez les paramètres si nécessaire.
Gérer le conteneur et la facturation de l'agent de service
Dans cette section, vous spécifiez le projet à utiliser comme conteneur d'agent de service. Vous pouvez demander à la protection des données sensibles de créer automatiquement un projet ou choisir un projet existant.
Si vous n'avez pas de conteneur d'agent de service, sélectionnez Créer un projet en tant que conteneur d'agent de service.
La protection des données sensibles crée un projet nommé Conteneur d'agent de service DLP. L'agent de service de ce projet sera utilisé pour l'authentification auprès de Sensitive Data Protection et d'autres API. La protection des données sensibles vous invite à sélectionner le compte à facturer pour toutes les opérations facturables liées à ce projet, y compris les opérations qui ne sont pas liées au profilage des données.
Si vous ne disposez pas des autorisations nécessaires pour créer des projets, cette option est désactivée. Pour en savoir plus sur les autorisations requises, consultez la section Rôles requis pour utiliser des profils de données au niveau de l'organisation ou du dossier.
Si vous souhaitez réutiliser un conteneur d'agent de service existant, sélectionnez Sélectionner un conteneur d'agent de service existant. Cliquez ensuite sur Parcourir pour sélectionner l'ID de projet du conteneur d'agent de service.
Que vous utilisiez un agent de service nouvellement créé ou que vous réutilisiez un agent existant, assurez-vous qu'il dispose d'un accès en lecture aux données à profiler.
Définir l'emplacement de stockage de l'estimation
Dans la liste Emplacement de la ressource, sélectionnez la région dans laquelle vous souhaitez stocker cette estimation.
L'emplacement de stockage de votre estimation n'a aucune incidence sur les données à analyser. De plus, cela n'a aucune incidence sur l'emplacement de stockage ultérieur des profils de données. Vos données sont analysées dans la région dans laquelle elles sont stockées (telles que définies dans BigQuery). Pour en savoir plus, consultez la section Considérations relatives à la résidence des données.
Vérifiez vos paramètres, puis cliquez sur Créer.
La protection des données sensibles crée l'estimation et l'ajoute à la liste des estimations. Il exécute ensuite l'estimation.
Selon la quantité de données présentes dans la ressource, l'estimation peut prendre jusqu'à 24 heures. En attendant, vous pouvez fermer la page "Protection des données sensibles" et revenir plus tard. Une notification s'affiche dans la console Google Cloud lorsque l'estimation est prête.
Afficher une estimation
Accédez à la liste des estimations.
Cliquez sur l'estimation que vous souhaitez afficher. L'estimation contient les éléments suivants:
- Nombre de tables dans la ressource, moins les tables que vous avez exclues à l'aide de filtres et de conditions.
- La quantité totale de données correspondant aux tableaux.
- Nombre d'unités d'abonnement requis pour profiler cette quantité de données chaque mois.
- Le coût de la découverte initiale, qui correspond au coût approximatif du profilage des tables trouvées. Cette estimation n'est basée que sur un instantané des données actuelles et ne tient pas compte de l'ampleur de la croissance de vos données au cours d'une période donnée.
- Estimations de coûts supplémentaires pour ne profiler que les tables qui datent de moins de 6, 12 ou 24 mois. Ces estimations supplémentaires sont fournies pour vous montrer dans quelle mesure limiter davantage la couverture des données peut vous aider à contrôler les coûts de profilage des données.
- Coût mensuel estimé du profilage des données, en supposant que votre utilisation de BigQuery chaque mois est identique à votre utilisation ce mois-ci.
- Graphique représentant la croissance de votre BigQuery au fil du temps.
- Les détails de configuration que vous avez définis
Graphique d'estimation
Chaque estimation inclut un graphique indiquant l'historique de la croissance de vos données BigQuery. Vous pouvez utiliser ces informations pour estimer le coût mensuel du profilage des données.
Étapes suivantes
- En savoir plus sur les tarifs du profilage des données
- En savoir plus sur les profils de données pour les données BigQuery
- Découvrez comment profiler les données dans une organisation ou un dossier.
- Découvrez comment profiler des données dans un seul projet.