Cet article explique en détail comment créer une tâche d'inspection Sensitive Data Protection et comment planifier des tâches d'inspection récurrentes en créant un déclencheur de tâche. Pour savoir rapidement comment créer un déclencheur de job à l'aide de l'interface utilisateur de la protection des données sensibles, consultez la section Démarrage rapide: Créer un déclencheur de job de protection des données sensibles.
À propos des tâches d'inspection et des déclencheurs de tâche
Lorsque Sensitive Data Protection effectue une analyse d'inspection pour identifier les données sensibles, chaque analyse s'exécute en tant que tâche. La protection des données sensibles crée et exécute une ressource de tâche chaque fois que vous lui demandez d'inspecter vos dépôts de stockage Google Cloud, tels que vos buckets Cloud Storage, vos tables BigQuery, vos genres Datastore et vos données externes.
Vous pouvez planifier des tâches d'analyse d'inspection dans le cadre de la protection des données sensibles en créant des déclencheurs de tâche. Un déclencheur de tâche automatise la création de tâches Sensitive Data Protection de manière périodique et peut également être exécuté à la demande.
Pour en savoir plus sur les tâches et les déclencheurs de tâche dans la protection des données sensibles, consultez la page conceptuelle Tâches et déclencheurs de tâches.
Créer une tâche d'inspection
Pour créer une tâche d'inspection Sensitive Data Protection:
Console
Dans la section "Protection des données sensibles" de la console Google Cloud, accédez à la page Créer une tâche ou un déclencheur de tâche.
Accéder à la page "Créer un job ou un déclencheur de job"
La page Créer une tâche ou un déclencheur de tâche contient les sections suivantes:
Choisir les données d'entrée
Nom
Saisissez un nom pour la tâche. Vous pouvez utiliser des lettres, des chiffres et des traits d'union. Nommer votre tâche est facultatif Si vous n'indiquez pas de nom, la protection des données sensibles attribue à la tâche un identifiant de numéro unique.
Emplacement
Dans le menu Type de stockage, choisissez le type de dépôt qui stockera les données que vous souhaitez analyser :
- Cloud Storage : saisissez l'URL du bucket que vous souhaitez analyser, ou sélectionnez Inclure/Exclure dans le menu Type d'emplacement, puis cliquez sur Parcourir pour accéder au bucket ou au sous-dossier à analyser. Cochez la case Analyser le dossier de manière récursive pour analyser le répertoire spécifié et tous les répertoires contenus. Ne cochez pas la case si vous ne souhaitez analyser que le répertoire spécifié.
- BigQuery : saisissez les identifiants du projet, de l'ensemble de données et de la table à analyser.
- Datastore : saisissez les identifiants du projet, de l'espace de noms (facultatif) et du genre à analyser.
- Hybride: vous pouvez ajouter des libellés obligatoires, des libellés facultatifs et des options pour gérer les données tabulaires. Pour en savoir plus, consultez la section Types de métadonnées que vous pouvez fournir.
Échantillonnage
L'échantillonnage est une méthode facultative permettant d'économiser des ressources si vous disposez d'une très grande quantité de données.
Sous Sampling (Échantillonnage), vous pouvez choisir d’analyser toutes les données sélectionnées ou d'échantillonner les données en analysant un certain pourcentage. L'échantillonnage fonctionne différemment selon le type de dépôt de stockage utilisé pour l'analyse :
- Pour BigQuery, vous pouvez échantillonner un sous-ensemble du nombre total de lignes sélectionnées, correspondant au pourcentage spécifié de fichiers à inclure dans l'analyse.
- Pour Cloud Storage, si un fichier dépasse la taille spécifiée dans Max byte size to scan per file (Taille d'octets maximale à analyser par fichier), la protection des données sensibles effectue l'analyse jusqu'à cette valeur, puis passe au fichier suivant.
Pour activer l'échantillonnage, choisissez l'une des options suivantes dans le premier menu :
- Démarrer l'échantillonnage à partir du début: Sensitive Data Protection lance l'analyse partielle au début des données. Pour BigQuery, l'analyse démarre à la première ligne. Pour Cloud Storage, l'analyse démarre au début de chaque fichier et s'arrête une fois que Sensitive Data Protection a analysé les données jusqu'à la taille de fichier maximale spécifiée.
- Démarrer l'échantillonnage à partir d'un emplacement aléatoire: Sensitive Data Protection démarre l'analyse partielle à partir d'un emplacement aléatoire dans les données. Pour BigQuery, l'analyse se lance sur une ligne au hasard. Pour Cloud Storage, ce paramètre ne s'applique qu'aux fichiers qui dépassent une taille maximale spécifiée. La protection des données sensibles analyse intégralement les fichiers dont la taille est inférieure à la taille maximale indiquée. Les fichiers dont la taille dépasse la taille maximale autorisée sont analysés jusqu'à concurrence de cette taille maximale.
Pour effectuer une analyse partielle, vous devez également choisir le pourcentage de données que vous souhaitez analyser. Utilisez le curseur pour définir le pourcentage.
Vous pouvez également limiter par date le nombre de fichiers ou d'enregistrements à analyser. Consultez la section Programmation ci-après pour en savoir plus.
Configuration avancée
Lorsque vous créez une tâche pour une analyse de buckets Cloud Storage ou de tables BigQuery, vous pouvez affiner votre recherche en spécifiant une configuration avancée. Plus précisément, vous pouvez configurer les éléments suivants :
- Fichiers (Cloud Storage seulement) : types de fichiers à analyser, y compris les fichiers texte, les fichiers binaires et les fichiers image.
- Champs d'identification (BigQuery uniquement) : identifiants de ligne uniques dans la table.
- Pour Cloud Storage, si un fichier dépasse la taille spécifiée dans Max byte size to scan per file (Taille d'octets maximale à analyser par fichier), la protection des données sensibles effectue l'analyse jusqu'à cette valeur, puis passe au fichier suivant.
Pour activer l'échantillonnage, choisissez le pourcentage de données à analyser. Utilisez le curseur pour définir le pourcentage. Sélectionnez ensuite l'une des options suivantes dans le premier menu :
- Démarrer l'échantillonnage à partir du début: Sensitive Data Protection lance l'analyse partielle au début des données. Pour BigQuery, l'analyse démarre à la première ligne. Pour Cloud Storage, l'analyse démarre au début de chaque fichier et s'arrête une fois que la protection des données sensibles a analysé les données jusqu'à la taille de fichier maximale spécifiée (voir ci-dessus).
- Démarrer l'échantillonnage à partir d'un emplacement aléatoire: Sensitive Data Protection démarre l'analyse partielle à partir d'un emplacement aléatoire dans les données. Pour BigQuery, l'analyse se lance sur une ligne au hasard. Pour Cloud Storage, ce paramètre ne s'applique qu'aux fichiers qui dépassent une taille maximale spécifiée. La protection des données sensibles analyse intégralement les fichiers dont la taille est inférieure à la taille maximale indiquée. Les fichiers dont la taille dépasse la taille maximale autorisée sont analysés jusqu'à concurrence de cette taille maximale.
Fichiers
Pour les fichiers stockés dans Cloud Storage, l'onglet Files (Fichiers) permet de spécifier les types à inclure dans l'analyse.
Vous pouvez choisir entre les fichiers binaires, texte, image, CSV, TSV, Microsoft Word, Microsoft Excel, Microsoft PowerPoint, PDF et Apache Avro. Pour obtenir une liste complète des extensions de fichiers que l'outil de protection des données sensibles peut analyser dans des buckets Cloud Storage, consultez FileType
.
Si vous sélectionnez l'option Fichiers binaires, la protection des données sensibles analyse les fichiers de types non reconnus.
Champs d'identification
Pour les tables dans BigQuery, dans le champ Champs d'identification, vous pouvez demander à la protection des données sensibles d'inclure les valeurs des colonnes de clés primaires de la table dans les résultats. Vous pouvez ainsi associer les résultats aux lignes du tableau qui les contiennent.
Saisissez les noms des colonnes qui identifient de manière unique chaque ligne de la table. Si nécessaire, utilisez la notation par points pour spécifier les champs imbriqués. Vous pouvez ajouter autant de champs que vous le souhaitez.
Vous devez également activer l'action Enregistrer dans BigQuery pour exporter les résultats vers BigQuery. Lorsque les résultats sont exportés vers BigQuery, chacun d'eux contient les valeurs respectives des champs d'identification. Pour en savoir plus, consultez la page sur la méthode identifyingFields
.
Configurer la détection
La section Configurer la détection vous permet de spécifier les types de données sensibles que vous souhaitez analyser. Cette section est facultative. Si vous ne la complétez pas, la protection des données sensibles recherche un ensemble d'infoTypes par défaut dans vos données.
Modèle
Vous pouvez également utiliser un modèle de protection des données sensibles pour réutiliser les informations de configuration spécifiées précédemment.
Si vous avez déjà créé un modèle que vous souhaitez utiliser, cliquez sur le champ Nom du modèle pour afficher une liste des modèles d'inspection existants. Choisissez ou saisissez le nom du modèle que vous souhaitez utiliser.
Pour en savoir plus sur la création de modèles, consultez la section Créer des modèles d'inspection de la protection des données sensibles.
InfoTypes
Les détecteurs d'infoType trouvent des données sensibles d'un certain type. Par exemple, le détecteur d'infoType intégré US_SOCIAL_SECURITY_NUMBER
de la protection des données sensibles identifie les numéros de sécurité sociale américains. En plus des détecteurs d'infoType intégrés, vous pouvez créer vos propres détecteurs d'infoType personnalisés.
Sous InfoTypes, choisissez le détecteur d'infoType qui correspond au type de données que vous souhaitez analyser. Nous vous recommandons de ne pas laisser cette section vide. La protection des données sensibles analyse alors vos données avec un ensemble d'infoTypes par défaut, qui peut inclure des infoTypes dont vous n'avez pas besoin. Pour en savoir plus sur chaque détecteur, consultez la documentation de référence sur les détecteurs d'infoTypes.
Pour en savoir plus sur la gestion des infoTypes intégrés et personnalisés dans cette section, consultez Gérer les infoTypes via la console Google Cloud.
Ensembles de règles d'inspection
Inspection rulesets allow you to customize both built-in and custom infoType detectors using context rules. The two types of inspection rules are:
- Exclusion rules, which help exclude false or unwanted findings.
- Hotword rules, which help detect additional findings.
To add a new ruleset, first specify one or more built-in or custom infoType detectors in the InfoTypes section. These are the infoType detectors that your rulesets will be modifying. Then, do the following:
- Click in the Choose infoTypes field. The infoType or infoTypes you specified previously appear below the field in a menu, as shown here:
- Choose an infoType from the menu, and then click Add rule. A menu appears with the two options Hotword rule and Exclusion rule.
For hotword rules, choose Hotword rules. Then, do the following:
- In the Hotword field, enter a regular expression that Sensitive Data Protection should look for.
- From the Hotword proximity menu, choose whether the hotword you entered is found before or after the chosen infoType.
- In Hotword distance from infoType, enter the approximate number of characters between the hotword and the chosen infoType.
- In Confidence level adjustment, choose whether to assign matches a fixed likelihood level, or to increase or decrease the default likelihood level by a certain amount.
For exclusion rules, choose Exclusion rules. Then, do the following:
- In the Exclude field, enter a regular expression (regex) that Sensitive Data Protection should look for.
- From the Matching type menu, choose one of the following:
- Full match: The finding must completely match the regex.
- Partial match: A substring of the finding can match the regex.
- Inverse match: The finding doesn't match the regex.
You can add additional hotword or exclusion rules and rulesets to further refine your scan results.
Seuil de confiance
Chaque fois que la protection des données sensibles détecte une correspondance potentielle pour des données sensibles, elle lui attribue une valeur de probabilité sur une échelle allant de "Très peu probable" à "Très probable". Lorsque vous définissez une valeur de probabilité ici, vous demandez à Sensitive Data Protection de ne faire correspondre que les données qui correspondent à cette valeur de probabilité ou plus.
La valeur par défaut "Possible" est suffisante dans la plupart des cas. Si vous obtenez régulièrement des correspondances trop larges lorsque vous utilisez ce modèle, déplacez le curseur vers le haut. Si vous obtenez trop peu de correspondances, déplacez le curseur vers le bas.
Lorsque vous avez terminé, cliquez sur Continuer.
Ajouter des actions
Dans l'étape Add actions (Ajouter des actions), sélectionnez une ou plusieurs actions que vous souhaitez que la protection des données sensibles effectue une fois la tâche terminée.
Vous pouvez configurer les actions suivantes:
Enregistrer dans BigQuery: enregistre les résultats de la tâche de protection des données sensibles dans une table BigQuery. Avant de visualiser ou d'analyser les résultats, assurez-vous que la tâche est bien terminée.
Chaque fois qu'une analyse est exécutée, la protection des données sensibles enregistre les résultats d'analyse dans la table BigQuery que vous spécifiez. Les résultats exportés contiennent des détails sur l'emplacement de chaque résultat et la probabilité de correspondance. Si vous souhaitez que chaque résultat inclue la chaîne correspondant au détecteur d'infoType, activez l'option Inclure la citation.
Si vous ne spécifiez pas d'ID de table, BigQuery attribue un nom par défaut à une nouvelle table lors de la première exécution de l'analyse. Si vous spécifiez un nom de table existante, la protection des données sensibles y ajoute les résultats d'analyse.
Si vous n'enregistrez pas les résultats dans BigQuery, ils ne contiennent que des statistiques sur le nombre et les infoTypes des résultats.
Lorsque des données sont écrites dans une table BigQuery, la facturation et l'utilisation des quotas sont appliquées au projet contenant la table de destination.
Publier dans Pub/Sub: publiez une notification contenant le nom de la tâche de protection des données sensibles en tant qu'attribut d'un canal Pub/Sub. Vous pouvez spécifier un ou plusieurs sujets auxquels envoyer le message de notification. Assurez-vous que le compte de service Sensitive Data Protection exécutant la tâche d'analyse dispose d'un accès en publication sur le sujet.
Publier dans Security Command Center: publiez un résumé des résultats de la tâche dans Security Command Center. Pour en savoir plus, consultez la section Envoyer les résultats de l'analyse de la protection des données sensibles à Security Command Center.
Publier dans Dataplex: envoie les résultats de la tâche à Dataplex, le service de gestion des métadonnées de Google Cloud.
Notifier par e-mail: envoie un e-mail lorsque la tâche est terminée. L'e-mail est envoyé aux propriétaires de projets IAM et aux contacts essentiels techniques.
Publier dans Cloud Monitoring: envoie les résultats d'inspection à Cloud Monitoring dans Google Cloud Observability.
Créer une copie anonymisée: anonymisez tous les résultats des données inspectées, puis écrivez le contenu anonymisé dans un nouveau fichier. Vous pouvez ensuite utiliser la copie anonymisée dans vos processus métier, à la place des données contenant des informations sensibles. Pour en savoir plus, consultez Créer une copie anonymisée des données Cloud Storage à l'aide de la protection des données sensibles dans la console Google Cloud.
Pour en savoir plus, consultez la section Actions.
Lorsque vous avez fini de sélectionner des actions, cliquez sur Continue (Continuer).
Examen
La section Examen contient un résumé au format JSON des paramètres de tâche que vous venez de spécifier.
Cliquez sur Créer pour créer la tâche (si vous n'avez pas spécifié de programmation) et exécuter la tâche une fois. La page d'informations de la tâche apparaît, qui contient son état et d'autres informations. Si la tâche est en cours d'exécution, vous pouvez cliquer sur le bouton Annuler pour l'arrêter. Vous pouvez également supprimer la tâche en cliquant sur Supprimer.
Pour revenir à la page principale de la protection des données sensibles, cliquez sur la flèche Retour de la console Google Cloud.
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
Une tâche est représentée dans l'API DLP par la ressource DlpJobs
. Vous pouvez créer un job à l'aide de la méthode de la ressource DlpJob
.
Cet exemple de code JSON peut être envoyé dans une requête POST au point de terminaison REST de la protection des données sensibles. Cet exemple de code JSON montre comment créer une tâche dans la protection des données sensibles. La tâche est une analyse d'inspection Datastore.
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. N'oubliez pas que la requête aboutit, même une requête créée dans l'explorateur d'API, créera une tâche. Pour en savoir plus sur l'utilisation du format JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage JSON.
Entrée JSON :
{
"inspectJob": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "bigquery-public-data",
"datasetId": "san_francisco_sfpd_incidents",
"tableId": "sfpd_incidents"
}
},
"timespanConfig": {
"startTime": "2020-01-01T00:00:01Z",
"endTime": "2020-01-31T23:59:59Z",
"timestampField": {
"name": "timestamp"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
},
{
"name": "STREET_ADDRESS"
}
],
"excludeInfoTypes": false,
"includeQuote": true,
"minLikelihood": "LIKELY"
},
"actions": [
{
"saveFindings": {
"outputConfig": {
"table": {
"projectId": "[PROJECT-ID]",
"datasetId": "[DATASET-ID]"
}
}
}
}
]
}
}
Sortie JSON :
La sortie suivante indique que la tâche a été créé avec succès.
{
"name": "projects/[PROJECT-ID]/dlpJobs/[JOB-ID]",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "bigquery-public-data",
"datasetId": "san_francisco_sfpd_incidents",
"tableId": "sfpd_incidents"
}
},
"timespanConfig": {
"startTime": "2020-01-01T00:00:01Z",
"endTime": "2020-01-31T23:59:59Z",
"timestampField": {
"name": "timestamp"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
},
{
"name": "STREET_ADDRESS"
}
],
"minLikelihood": "LIKELY",
"limits": {},
"includeQuote": true
},
"actions": [
{
"saveFindings": {
"outputConfig": {
"table": {
"projectId": "[PROJECT-ID]",
"datasetId": "[DATASET-ID]",
"tableId": "[TABLE-ID]"
}
}
}
}
]
}
},
"result": {}
},
"createTime": "2020-07-10T07:26:33.643Z"
}
Créer un déclencheur de job :
Pour créer un déclencheur de job de protection des données sensibles:
Console
Dans la section "Protection des données sensibles" de la console Google Cloud, accédez à la page Créer une tâche ou un déclencheur de tâche.
Accéder à la page "Créer un job ou un déclencheur de job"
La page Créer une tâche ou un déclencheur de tâche contient les sections suivantes:
Choisir les données d'entrée
Nom
Saisissez un nom pour le déclencheur de tâche. Vous pouvez utiliser des lettres, des chiffres et des traits d'union. Nommer votre déclencheur de tâche est facultatif. Si vous ne saisissez pas de nom, la protection des données sensibles attribue au déclencheur de tâche un identifiant numérique unique.
Emplacement
Dans le menu Type de stockage, choisissez le type de dépôt qui stockera les données que vous souhaitez analyser :
- Cloud Storage : saisissez l'URL du bucket que vous souhaitez analyser, ou sélectionnez Inclure/Exclure dans le menu Type d'emplacement, puis cliquez sur Parcourir pour accéder au bucket ou au sous-dossier à analyser. Cochez la case Analyser le dossier de manière récursive pour analyser le répertoire spécifié et tous les répertoires contenus. Ne cochez pas la case si vous ne souhaitez analyser que le répertoire spécifié.
- BigQuery : saisissez les identifiants du projet, de l'ensemble de données et de la table à analyser.
- Datastore : saisissez les identifiants du projet, de l'espace de noms (facultatif) et du genre à analyser.
Échantillonnage
L'échantillonnage est une méthode facultative permettant d'économiser des ressources si vous disposez d'une très grande quantité de données.
Sous Sampling (Échantillonnage), vous pouvez choisir d’analyser toutes les données sélectionnées ou d'échantillonner les données en analysant un certain pourcentage. L'échantillonnage fonctionne différemment selon le type de dépôt de stockage utilisé pour l'analyse :
- Pour BigQuery, vous pouvez échantillonner un sous-ensemble du nombre total de lignes sélectionnées, correspondant au pourcentage spécifié de fichiers à inclure dans l'analyse.
- Pour Cloud Storage, si un fichier dépasse la taille spécifiée dans Max byte size to scan per file (Taille d'octets maximale à analyser par fichier), la protection des données sensibles effectue l'analyse jusqu'à cette valeur, puis passe au fichier suivant.
Pour activer l'échantillonnage, choisissez l'une des options suivantes dans le premier menu :
- Démarrer l'échantillonnage à partir du début: Sensitive Data Protection lance l'analyse partielle au début des données. Pour BigQuery, l'analyse démarre à la première ligne. Pour Cloud Storage, l'analyse démarre au début de chaque fichier et s'arrête une fois que la protection des données sensibles a analysé les données jusqu'à la taille de fichier maximale spécifiée (voir ci-dessus).
- Démarrer l'échantillonnage à partir d'un emplacement aléatoire: Sensitive Data Protection démarre l'analyse partielle à partir d'un emplacement aléatoire dans les données. Pour BigQuery, l'analyse se lance sur une ligne au hasard. Pour Cloud Storage, ce paramètre ne s'applique qu'aux fichiers qui dépassent une taille maximale spécifiée. La protection des données sensibles analyse intégralement les fichiers dont la taille est inférieure à la taille maximale indiquée. Les fichiers dont la taille dépasse la taille maximale autorisée sont analysés jusqu'à concurrence de cette taille maximale.
Pour effectuer une analyse partielle, vous devez également choisir le pourcentage de données que vous souhaitez analyser. Utilisez le curseur pour définir le pourcentage.
Configuration avancée
Lorsque vous créez un déclencheur de tâche pour une analyse des buckets Cloud Storage ou des tables BigQuery, vous pouvez affiner votre recherche en spécifiant une configuration avancée. Plus précisément, vous pouvez configurer les éléments suivants :
- Fichiers (Cloud Storage seulement) : types de fichiers à analyser, y compris les fichiers texte, les fichiers binaires et les fichiers image.
- Champs d'identification (BigQuery uniquement) : identifiants de ligne uniques dans la table.
- Pour Cloud Storage, si un fichier dépasse la taille spécifiée dans Max byte size to scan per file (Taille d'octets maximale à analyser par fichier), la protection des données sensibles effectue l'analyse jusqu'à cette valeur, puis passe au fichier suivant.
Pour activer l'échantillonnage, choisissez le pourcentage de données à analyser. Utilisez le curseur pour définir le pourcentage. Sélectionnez ensuite l'une des options suivantes dans le premier menu :
- Démarrer l'échantillonnage à partir du début: Sensitive Data Protection lance l'analyse partielle au début des données. Pour BigQuery, l'analyse démarre à la première ligne. Pour Cloud Storage, l'analyse démarre au début de chaque fichier et s'arrête une fois que la protection des données sensibles a analysé les données jusqu'à la taille de fichier maximale spécifiée (voir ci-dessus).
- Démarrer l'échantillonnage à partir d'un emplacement aléatoire: Sensitive Data Protection démarre l'analyse partielle à partir d'un emplacement aléatoire dans les données. Pour BigQuery, l'analyse se lance sur une ligne au hasard. Pour Cloud Storage, ce paramètre ne s'applique qu'aux fichiers qui dépassent une taille maximale spécifiée. La protection des données sensibles analyse intégralement les fichiers dont la taille est inférieure à la taille maximale indiquée. Les fichiers dont la taille dépasse la taille maximale autorisée sont analysés jusqu'à concurrence de cette taille maximale.
Fichiers
Pour les fichiers stockés dans Cloud Storage, l'onglet Files (Fichiers) permet de spécifier les types à inclure dans l'analyse.
Vous avez le choix entre les fichiers binaires, texte, image, Microsoft Word, Microsoft Excel, Microsoft PowerPoint, PDF et Apache Avro. Pour obtenir une liste complète des extensions de fichiers que la protection des données sensibles peut analyser dans des buckets Cloud Storage, consultez FileType
.
Si vous sélectionnez l'option Fichiers binaires, la protection des données sensibles analyse les fichiers de types non reconnus.
Champs d'identification
Pour les tables dans BigQuery, dans le champ Champs d'identification, vous pouvez demander à la protection des données sensibles d'inclure les valeurs des colonnes de clés primaires de la table dans les résultats. Vous pouvez ainsi associer les résultats aux lignes du tableau qui les contiennent.
Saisissez les noms des colonnes qui identifient de manière unique chaque ligne de la table. Si nécessaire, utilisez la notation par points pour spécifier les champs imbriqués. Vous pouvez ajouter autant de champs que vous le souhaitez.
Vous devez également activer l'action Enregistrer dans BigQuery pour exporter les résultats vers BigQuery. Lorsque les résultats sont exportés vers BigQuery, chacun d'eux contient les valeurs respectives des champs d'identification. Pour en savoir plus, consultez la page sur la méthode identifyingFields
.
Configurer la détection
La section Configurer la détection vous permet de spécifier les types de données sensibles que vous souhaitez analyser. Cette section est facultative. Si vous ne la complétez pas, la protection des données sensibles recherche un ensemble d'infoTypes par défaut dans vos données.
Modèle
Vous pouvez également utiliser un modèle de protection des données sensibles pour réutiliser les informations de configuration spécifiées précédemment.
Si vous avez déjà créé un modèle que vous souhaitez utiliser, cliquez sur le champ Nom du modèle pour afficher une liste des modèles d'inspection existants. Choisissez ou saisissez le nom du modèle que vous souhaitez utiliser.
Pour en savoir plus sur la création de modèles, consultez la section Créer des modèles d'inspection de la protection des données sensibles.
InfoTypes
Les détecteurs d'infoType trouvent des données sensibles d'un certain type. Par exemple, le détecteur d'infoType intégré US_SOCIAL_SECURITY_NUMBER
de la protection des données sensibles identifie les numéros de sécurité sociale américains. En plus des détecteurs d'infoType intégrés, vous pouvez créer vos propres détecteurs d'infoType personnalisés.
Sous InfoTypes, choisissez le détecteur d'infoType qui correspond au type de données que vous souhaitez analyser. Vous pouvez également laisser ce champ vide pour rechercher tous les infoTypes par défaut. Vous trouverez plus d'informations sur chaque détecteur dans la documentation de référence sur les détecteurs d'infoType.
Vous pouvez également ajouter des détecteurs d'infoType personnalisés dans la section InfoTypes personnalisés, et personnaliser les détecteurs d'infoType intégrés et personnalisés dans la section Ensembles de règles d'inspection.
InfoTypes personnalisés
Ensembles de règles d'inspection
Inspection rulesets allow you to customize both built-in and custom infoType detectors using context rules. The two types of inspection rules are:
- Exclusion rules, which help exclude false or unwanted findings.
- Hotword rules, which help detect additional findings.
To add a new ruleset, first specify one or more built-in or custom infoType detectors in the InfoTypes section. These are the infoType detectors that your rulesets will be modifying. Then, do the following:
- Click in the Choose infoTypes field. The infoType or infoTypes you specified previously appear below the field in a menu, as shown here:
- Choose an infoType from the menu, and then click Add rule. A menu appears with the two options Hotword rule and Exclusion rule.
For hotword rules, choose Hotword rules. Then, do the following:
- In the Hotword field, enter a regular expression that Sensitive Data Protection should look for.
- From the Hotword proximity menu, choose whether the hotword you entered is found before or after the chosen infoType.
- In Hotword distance from infoType, enter the approximate number of characters between the hotword and the chosen infoType.
- In Confidence level adjustment, choose whether to assign matches a fixed likelihood level, or to increase or decrease the default likelihood level by a certain amount.
For exclusion rules, choose Exclusion rules. Then, do the following:
- In the Exclude field, enter a regular expression (regex) that Sensitive Data Protection should look for.
- From the Matching type menu, choose one of the following:
- Full match: The finding must completely match the regex.
- Partial match: A substring of the finding can match the regex.
- Inverse match: The finding doesn't match the regex.
You can add additional hotword or exclusion rules and rulesets to further refine your scan results.
Seuil de confiance
Chaque fois que la protection des données sensibles détecte une correspondance potentielle pour des données sensibles, elle lui attribue une valeur de probabilité sur une échelle allant de "Très peu probable" à "Très probable". Lorsque vous définissez une valeur de probabilité ici, vous demandez à Sensitive Data Protection de ne faire correspondre que les données qui correspondent à cette valeur de probabilité ou plus.
La valeur par défaut "Possible" est suffisante dans la plupart des cas. Si vous obtenez régulièrement des correspondances trop larges lorsque vous utilisez ce modèle, déplacez le curseur vers le haut. Si vous obtenez trop peu de correspondances, déplacez le curseur vers le bas.
Lorsque vous avez terminé, cliquez sur Continuer.
Ajouter des actions
Dans l'étape Add actions (Ajouter des actions), sélectionnez une ou plusieurs actions que vous souhaitez que la protection des données sensibles effectue une fois la tâche terminée.
Vous pouvez configurer les actions suivantes:
Enregistrer dans BigQuery: enregistre les résultats de la tâche de protection des données sensibles dans une table BigQuery. Avant de visualiser ou d'analyser les résultats, assurez-vous que la tâche est bien terminée.
Chaque fois qu'une analyse est exécutée, la protection des données sensibles enregistre les résultats d'analyse dans la table BigQuery que vous spécifiez. Les résultats exportés contiennent des détails sur l'emplacement de chaque résultat et la probabilité de correspondance. Si vous souhaitez que chaque résultat inclue la chaîne correspondant au détecteur d'infoType, activez l'option Inclure la citation.
Si vous ne spécifiez pas d'ID de table, BigQuery attribue un nom par défaut à une nouvelle table lors de la première exécution de l'analyse. Si vous spécifiez un nom de table existante, la protection des données sensibles y ajoute les résultats d'analyse.
Si vous n'enregistrez pas les résultats dans BigQuery, ils ne contiennent que des statistiques sur le nombre et les infoTypes des résultats.
Lorsque des données sont écrites dans une table BigQuery, la facturation et l'utilisation des quotas sont appliquées au projet contenant la table de destination.
Publier dans Pub/Sub: publiez une notification contenant le nom de la tâche de protection des données sensibles en tant qu'attribut d'un canal Pub/Sub. Vous pouvez spécifier un ou plusieurs sujets auxquels envoyer le message de notification. Assurez-vous que le compte de service Sensitive Data Protection exécutant la tâche d'analyse dispose d'un accès en publication sur le sujet.
Publier dans Security Command Center: publiez un résumé des résultats de la tâche dans Security Command Center. Pour en savoir plus, consultez la section Envoyer les résultats de l'analyse de la protection des données sensibles à Security Command Center.
Publier dans Dataplex: envoie les résultats de la tâche à Dataplex, le service de gestion des métadonnées de Google Cloud.
Notifier par e-mail: envoie un e-mail lorsque la tâche est terminée. L'e-mail est envoyé aux propriétaires de projets IAM et aux contacts essentiels techniques.
Publier dans Cloud Monitoring: envoie les résultats d'inspection à Cloud Monitoring dans Google Cloud Observability.
Créer une copie anonymisée: anonymisez tous les résultats des données inspectées, puis écrivez le contenu anonymisé dans un nouveau fichier. Vous pouvez ensuite utiliser la copie anonymisée dans vos processus métier, à la place des données contenant des informations sensibles. Pour en savoir plus, consultez Créer une copie anonymisée des données Cloud Storage à l'aide de la protection des données sensibles dans la console Google Cloud.
Pour en savoir plus, consultez la section Actions.
Lorsque vous avez fini de sélectionner des actions, cliquez sur Continue (Continuer).
Horaires
Dans la section Programmation, vous disposez de deux options :
- Specify timespan (Spécifier l'intervalle de temps) : cette option limite par date le nombre de fichiers ou de lignes à analyser. Cliquez sur Heure de début pour spécifier l'horodatage de fichier le plus ancien à inclure. Laissez cette valeur vide pour spécifier tous les fichiers. Cliquez sur Heure de fin pour spécifier le dernier horodatage de fichier à inclure. Laissez cette valeur vide pour ne spécifier aucune limite d'horodatage postérieure.
Créer un déclencheur pour exécuter la tâche selon une programmation régulière: cette option transforme la tâche en déclencheur de tâche qui s'exécute selon une programmation régulière. Si vous ne spécifiez pas de programmation, vous allez créer effectivement une tâche unique qui démarre immédiatement et ne s'exécute qu'une fois. Pour créer un déclencheur de tâche qui s'exécute régulièrement, vous devez définir cette option.
La valeur par défaut est également la valeur minimale, soit 24 heures. La valeur maximale est de 60 jours.
Si vous souhaitez que la protection des données sensibles n'analyse que les nouveaux fichiers ou les nouvelles lignes, sélectionnez Limiter les analyses au nouveau contenu. Pour l'inspection BigQuery, seules les lignes datant d'au moins trois heures sont incluses dans l'analyse. Consultez le problème connu associé à cette opération.
Récapitulatif
La section Examen contient un résumé au format JSON des paramètres de tâche que vous venez de spécifier.
Cliquez sur Créer pour créer le déclencheur de tâche (si vous avez spécifié une programmation). La page d'informations du déclencheur de tâche apparaît, qui contient l'état et d'autres informations. Si la tâche est en cours d'exécution, vous pouvez cliquer sur le bouton Annuler pour l'arrêter. Vous pouvez également supprimer le déclencheur de tâche en cliquant sur Supprimer.
Pour revenir à la page principale de la protection des données sensibles, cliquez sur la flèche Retour de la console Google Cloud.
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
Un déclencheur de tâche est représenté dans l'API DLP par la ressource JobTrigger
. Pour créer un déclencheur de job, vous pouvez utiliser la méthode de la ressource JobTrigger
.
Cet exemple de code JSON peut être envoyé dans une requête POST au point de terminaison REST de la protection des données sensibles spécifié. Cet exemple de code JSON montre comment créer un déclencheur de tâche dans la protection des données sensibles. La tâche lancée par ce déclencheur est une analyse d'inspection Cloud Datastore. Le déclencheur de tâche créé est exécuté toutes les 86 400 secondes (soit toutes les 24 heures).
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Gardez à l'esprit qu'une requête réussie, même dans l'API Explorer, entraînera la création d'un déclencheur de tâche planifiée. Pour en savoir plus sur l'utilisation du format JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Entrée JSON :
{
"jobTrigger":{
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"status":"HEALTHY",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"kind":{
"name":"Example-Kind"
},
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"excludeInfoTypes":false,
"includeQuote":true,
"minLikelihood":"LIKELY"
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
}
}
}
Sortie JSON :
La sortie suivante indique que le déclencheur de tâche a été créé avec succès.
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
},
"kind":{
"name":"Example-Kind"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2018-11-30T01:52:41.171857Z",
"updateTime":"2018-11-30T01:52:41.171857Z",
"status":"HEALTHY"
}
Répertorier toutes les tâches
Pour répertorier toutes les tâches du projet en cours, procédez comme suit :
Console
Dans la console Google Cloud, accédez à la page "Protection des données sensibles".
Cliquez sur l'onglet Inspection, puis sur le sous-onglet Inspecter les jobs.
La console affiche la liste de toutes les tâches du projet en cours, avec leur identifiant, leur état, leur date de création et leur heure de fin. Vous pouvez obtenir plus d'informations sur une tâche (et consulter un résumé de ses résultats) en cliquant sur son identifiant.
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
La ressource DlpJob
possède une méthode projects.dlpJobs.list
qui vous permet de répertorier toutes les tâches.
Pour répertorier toutes les tâches actuellement définies dans votre projet, envoyez une requête GET au point de terminaison dlpJobs
, comme indiqué ici :
URL :
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs?key={YOUR_API_KEY}
Le résultat JSON suivant répertorie l'une des tâches renvoyées. Notez que la structure de la tâche reflète celle de la ressource DlpJob
.
Sortie JSON :
{
"jobs":[
{
"name":"projects/[PROJECT-ID]/dlpJobs/i-5270277269264714623",
"type":"INSPECT_JOB",
"state":"DONE",
"inspectDetails":{
"requestedOptions":{
"snapshotInspectTemplate":{
},
"jobConfig":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"[CLOUD-STORAGE-URL]"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"startTime":"2019-09-08T22:43:16.623Z",
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_SOCIAL_SECURITY_NUMBER"
},
{
"name":"CANADA_SOCIAL_INSURANCE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT-ID]",
"datasetId":"[DATASET-ID]",
"tableId":"[TABLE-ID]"
}
}
}
}
]
}
},
"result":{
...
}
},
"createTime":"2019-09-09T22:43:16.918Z",
"startTime":"2019-09-09T22:43:16.918Z",
"endTime":"2019-09-09T22:43:53.091Z",
"jobTriggerName":"projects/[PROJECT-ID]/jobTriggers/sample-trigger2"
},
...
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Pour en savoir plus sur l'utilisation du format JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Répertorier tous les déclencheurs de tâche
Pour répertorier tous les déclencheurs de tâche du projet en cours, procédez comme suit :
Console
Dans la console Google Cloud, accédez à la page "Protection des données sensibles".
Accéder à la protection des données sensibles
Dans l'onglet Inspection, sous-onglet Déclencheurs de tâche, la console affiche la liste de tous les déclencheurs de tâche du projet en cours.
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
La ressource JobTrigger
possède une méthode projects.jobTriggers.list
qui vous permet de répertorier tous les déclencheurs de tâche.
Pour répertorier tous les déclencheurs de tâche actuellement définis dans votre projet, envoyez une requête GET au point de terminaison jobTriggers
, comme indiqué ici :
URL :
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/jobTriggers?key={YOUR_API_KEY}
La sortie JSON suivante indique la présence du déclencheur de tâche que nous avons créé dans la section précédente. Notez que la structure du déclencheur de tâche reflète celle de la ressource JobTrigger
.
Sortie JSON :
{
"jobTriggers":[
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
},
"kind":{
"name":"Example-Kind"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2018-11-30T01:52:41.171857Z",
"updateTime":"2018-11-30T01:52:41.171857Z",
"status":"HEALTHY"
},
...
],
"nextPageToken":"KkwKCQjivJ2UpPreAgo_Kj1wcm9qZWN0cy92ZWx2ZXR5LXN0dWR5LTE5NjEwMS9qb2JUcmlnZ2Vycy8xNTA5NzEyOTczMDI0MDc1NzY0"
}
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Pour en savoir plus sur l'utilisation du format JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Supprimer un job
Pour supprimer une tâche de votre projet, y compris ses résultats, procédez comme suit : Tous les résultats enregistrés en externe (dans BigQuery, par exemple) ne sont pas modifiés par cette opération.
Console
Dans la console Google Cloud, accédez à la page "Protection des données sensibles".
Cliquez sur l'onglet Inspection, puis sur le sous-onglet Inspecter les jobs. Google Cloud Console affiche la liste de toutes les tâches du projet en cours.
Dans la colonne Actions associée au déclencheur de tâche que vous souhaitez supprimer, cliquez sur le menu Autres actions (représenté par trois points disposés verticalement)
, puis cliquez sur Delete (Supprimer).
Vous pouvez également cliquer sur l'identifiant de la tâche à supprimer dans la liste des tâches. Sur la page d'informations de la tâche, cliquez sur Delete (Supprimer).
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
Pour supprimer une tâche du projet en cours, envoyez une requête DELETE au point de terminaison dlpJobs
, comme indiqué ici. Remplacez le champ [JOB-IDENTIFIER]
par l'identifiant de la tâche, qui commence par i-
.
URL :
DELETE https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs/[JOB-IDENTIFIER]?key={YOUR_API_KEY}
Si la requête aboutit, l'API DLP renvoie une réponse positive. Pour vérifier que la tâche a bien été supprimée, répertoriez toutes les tâches.
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Pour en savoir plus sur l'utilisation du format JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Supprimer un déclencheur de tâche
Console
Dans la console Google Cloud, accédez à la page "Protection des données sensibles".
Accéder à la protection des données sensibles
Dans l'onglet Inspection, sous-onglet Déclencheurs de tâche, la console affiche la liste de tous les déclencheurs de tâche du projet en cours.
Dans la colonne Actions associée au déclencheur de tâche que vous souhaitez supprimer, cliquez sur le menu Autres actions (représenté par trois points disposés verticalement)
, puis cliquez sur Delete (Supprimer).
Sinon, dans la liste des déclencheurs de tâche, cliquez sur le nom de la tâche que vous souhaitez supprimer. Sur la page d'informations du déclencheur de tâche, cliquez sur Supprimer.
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
Pour supprimer un déclencheur de tâche du projet en cours, envoyez une requête DELETE au point de terminaison jobTriggers
, comme indiqué ici. Remplacez le champ [JOB-TRIGGER-NAME]
par le nom du déclencheur de tâche.
URL :
DELETE https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/jobTriggers/[JOB-TRIGGER-NAME]?key={YOUR_API_KEY}
Si la requête aboutit, l'API DLP renvoie une réponse positive. Pour vérifier que le déclencheur de tâche a bien été supprimé, répertoriez tous les déclencheurs de tâche.
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Pour en savoir plus sur l'utilisation du format JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Obtenir une tâche
Pour obtenir une tâche à partir de votre projet, ainsi que ses résultats, procédez comme suit : Tous les résultats enregistrés en externe (dans BigQuery, par exemple) ne sont pas modifiés par cette opération.
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
Pour obtenir une tâche à partir du projet actuel, envoyez une requête GET au point de terminaison dlpJobs
, comme indiqué ici. Remplacez le champ [JOB-IDENTIFIER]
par l'identifiant de la tâche, qui commence par i-
.
URL :
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs/[JOB-IDENTIFIER]?key={YOUR_API_KEY}
Si la requête aboutit, l'API DLP renvoie une réponse positive.
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Pour en savoir plus sur l'utilisation du format JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Forcer l'exécution immédiate d'un déclencheur de tâche
Une fois un déclencheur de tâche créé, vous pouvez forcer une exécution immédiate du déclencheur à des fins de test en l'activant. Pour ce faire, exécutez la commande suivante:
curl --request POST \
-H "Content-Type: application/json" \
-H "Accept: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
'https://dlp.googleapis.com/v2/JOB_TRIGGER_NAME:activate'
Remplacez les éléments suivants :
- PROJECT_ID: ID du projet Google Cloud pour facturer les frais d'accès associés à la requête.
- JOB_TRIGGER_NAME: nom complet de la ressource du déclencheur de tâche (par exemple,
projects/my-project/locations/global/jobTriggers/123456789
).
Mettre à jour un déclencheur de job existant
En plus de créer, répertorier et supprimer des déclencheurs de job, vous pouvez également les mettre à jour. Pour modifier la configuration d'un déclencheur de tâche existant, procédez comme suit :
Console
Dans la console Google Cloud, accédez à la page "Protection des données sensibles".
Cliquez sur l'onglet Inspection, puis sur le sous-onglet Déclencheurs de tâches.
La console affiche une liste de tous les déclencheurs de tâche du projet en cours.
Dans la colonne Actions du déclencheur de tâche que vous souhaitez supprimer, cliquez sur Plus more_vert, puis sur Afficher les détails
Sur la page de détail du déclencheur de tâche, cliquez sur Modifier.
Sur la page de modification du déclencheur, vous pouvez modifier l'emplacement des données d'entrée, les détails de détection (modèles, info-types ou probabilités), les actions post-analyse et la programmation. Une fois les modifications terminées, cliquez sur Enregistrer.
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour la protection des données sensibles, consultez la page Bibliothèques clientes de la protection des données sensibles.
Pour vous authentifier auprès de la protection des données sensibles, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
Utilisez la méthode projects.jobTriggers.patch
pour envoyer de nouvelles valeurs JobTrigger
à l'API DLP afin de mettre à jour ces valeurs dans un déclencheur de tâche spécifié.
Par exemple, considérons le déclencheur de tâche simple ci-après. Ce code JSON représente le déclencheur de tâche et a été renvoyé après l'envoi d'une requête GET au point de terminaison du déclencheur de tâche du projet actuel.
Sortie JSON :
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"inspectJob":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://dlptesting/*"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_SOCIAL_SECURITY_NUMBER"
}
],
"minLikelihood":"POSSIBLE",
"limits":{
}
},
"actions":[
{
"jobNotificationEmails":{
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2019-03-06T21:19:45.774841Z",
"updateTime":"2019-03-06T21:19:45.774841Z",
"status":"HEALTHY"
}
Le code JSON suivant, lorsqu'il est envoyé avec une requête PATCH au point de terminaison spécifié, met à jour le déclencheur de tâche considéré avec un nouvel infoType à analyser, ainsi qu'une nouvelle valeur minimale de probabilité. Notez que vous devez également spécifier l'attribut updateMask
avec une valeur au format FieldMask
.
Entrée JSON :
PATCH https://dlp.googleapis.com/v2/projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]?key={YOUR_API_KEY}
{
"jobTrigger":{
"inspectJob":{
"inspectConfig":{
"infoTypes":[
{
"name":"US_INDIVIDUAL_TAXPAYER_IDENTIFICATION_NUMBER"
}
],
"minLikelihood":"LIKELY"
}
}
},
"updateMask":"inspectJob(inspectConfig(infoTypes,minLikelihood))"
}
Une fois que vous avez envoyé ce code JSON à l'URL spécifiée, les lignes ci-dessous représentant le déclencheur de tâche mis à jour sont renvoyées. Notez que les valeurs d'infoType et de probabilité d'origine ont été remplacées par les nouvelles valeurs.
Sortie JSON :
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"inspectJob":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://dlptesting/*"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_INDIVIDUAL_TAXPAYER_IDENTIFICATION_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
}
},
"actions":[
{
"jobNotificationEmails":{
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2019-03-06T21:19:45.774841Z",
"updateTime":"2019-03-06T21:27:01.650183Z",
"lastRunTime":"1970-01-01T00:00:00Z",
"status":"HEALTHY"
}
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Pour en savoir plus sur l'utilisation du format JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Latence des jobs
Aucun objectif de niveau de service (SLO) n'est garanti pour les jobs et les déclencheurs de jobs. La latence dépend de plusieurs facteurs, y compris la quantité de données à analyser, le dépôt de stockage analysé, le type et le nombre d'infoTypes que vous recherchez, la région où la tâche est traitée et les ressources informatiques disponibles dans cette région. Par conséquent, la latence des tâches d'inspection ne peut pas être déterminée à l'avance.
Pour réduire la latence des tâches, essayez les solutions suivantes :
- Si l'échantillonnage est disponible pour votre tâche ou votre déclencheur de tâche, activez-le.
Évitez d'activer les infoTypes dont vous n'avez pas besoin. Bien que les éléments suivants soient utiles dans certains scénarios, ces infoTypes peuvent ralentir considérablement les requêtes par rapport à celles qui ne les incluent pas:
PERSON_NAME
FEMALE_NAME
MALE_NAME
FIRST_NAME
LAST_NAME
DATE_OF_BIRTH
LOCATION
STREET_ADDRESS
ORGANIZATION_NAME
Spécifiez toujours les infoTypes explicitement. N'utilisez pas de liste d'infoTypes vide.
Si possible, utilisez une autre région de traitement.
Si les problèmes de latence avec les tâches persistent après avoir essayé ces techniques, envisagez d'utiliser des requêtes content.inspect
ou content.deidentify
à la place des tâches. Ces méthodes sont couvertes par le contrat de niveau de service. Pour en savoir plus, consultez le Contrat de niveau de service de protection des données sensibles.
Limiter les analyses au nouveau contenu
Vous pouvez configurer votre déclencheur de tâche pour définir automatiquement la période pour l'analyse des fichiers stockés dans Cloud Storage ou BigQuery. Lorsque vous définissez l'objet TimespanConfig
pour qu'il soit inséré automatiquement, la protection des données sensibles n'analyse que les données ajoutées ou modifiées depuis l'exécution du dernier déclencheur:
...
timespan_config {
enable_auto_population_of_timespan_config: true
}
...
Pour l'inspection BigQuery, seules les lignes datant d'au moins trois heures sont incluses dans l'analyse. Consultez le problème connu associé à cette opération.
Déclencher des tâches en cas d'importation de fichiers
En complément de la prise en charge des déclencheurs de tâche, qui est intégrée à la protection des données sensibles, Google Cloud fournit divers autres composants que vous pouvez utiliser pour intégrer ou déclencher des tâches de protection des données sensibles. Par exemple, vous pouvez utiliser des fonctions Cloud Run pour déclencher une analyse de protection des données sensibles chaque fois qu'un fichier est importé dans Cloud Storage.
Pour découvrir comment configurer cette opération, consultez la section Automatiser la classification des données importées sur Cloud Storage.
Tâches réussies sans données inspectées
Une tâche peut se terminer correctement même si aucune donnée n'a été analysée. Les exemples de scénarios suivants peuvent entraîner cette situation:
- La tâche est configurée pour inspecter un élément de données spécifique, tel qu'un fichier, qui existe, mais est vide.
- La tâche est configurée pour inspecter un composant de données qui n'existe pas ou qui n'existe plus.
- La tâche est configurée pour inspecter un bucket Cloud Storage vide.
- La tâche est configurée pour inspecter un bucket, et l'analyse récursive est désactivée. Au niveau supérieur, le bucket ne contient que des dossiers qui, à leur tour, contiennent les fichiers.
- La tâche est configurée pour n'inspecter qu'un type de fichier spécifique dans un bucket, mais le bucket ne contient aucun fichier de ce type.
- La tâche est configurée pour inspecter uniquement le nouveau contenu, mais aucune mise à jour n'a été effectuée après la dernière exécution de la tâche.
Dans la console Google Cloud, sur la page Détails de la tâche, le champ Octets analysés indique la quantité de données inspectées par la tâche. Dans l'API DLP, le champ processedBytes
spécifie la quantité de données inspectées.
Étape suivante
- Découvrez comment créer une copie anonymisée des données dans l'espace de stockage.