Créer et planifier des tâches d'inspection Cloud DLP

Cet article explique en détail comment créer une tâche d'inspection Cloud Data Loss Prevention (DLP) et comment planifier des tâches d'inspection récurrentes en créant un déclencheur de tâche. Pour savoir rapidement comment créer un déclencheur de tâche à l'aide de l'interface utilisateur Cloud DLP, consultez la section Démarrage rapide – Créer un déclencheur de tâche Cloud DLP.

À propos des tâches d'inspection et des déclencheurs de tâche

Lorsque Cloud DLP effectue une analyse d'inspection pour identifier les données sensibles, chaque analyse s'exécute en tant que tâche. Cloud DLP crée et exécute une ressource de tâche chaque fois que vous lui demandez d'inspecter vos dépôts de stockage Google Cloud, tels que vos buckets Cloud Storage, vos tables BigQuery et vos genres Datastore.

Vous programmez des tâches d'analyse d'inspection Cloud DLP en créant des déclencheurs de tâche. Un déclencheur de tâche automatise la création de tâches DLP de manière périodique et peut également être exécuté à la demande.

Pour en savoir plus sur les tâches et les déclencheurs de tâche dans Cloud DLP, consultez la page conceptuelle Tâches et déclencheurs de tâches.

Créer une tâche d'inspection

Pour créer une tâche d'inspection Cloud DLP, procédez comme suit :

Console

Dans Cloud Console, ouvrez Cloud DLP.

Accéder à l'UI Cloud DLP
Dans le menu Create (Créer), sélectionnez Job or job trigger (Tâche ou déclencheur de tâche).

Vous pouvez également cliquer sur le bouton suivant :

Créer une tâche

La page "Créer une tâche" contient les sections suivantes :

Choisir les données d'entrée
Configurer la détection
Ajouter des actions
Examen

Choisir les données d'entrée

Nom

Saisissez un nom pour la tâche. Vous pouvez utiliser des lettres, des chiffres et des traits d'union. Nommer votre tâche est facultatif Si vous n'indiquez pas de nom, Cloud DLP attribue à la tâche un identifiant de numéro unique.

Zone

Dans le menu Type de stockage, choisissez le type de dépôt qui stockera les données que vous souhaitez analyser :

Cloud Storage : saisissez l'URL du bucket que vous souhaitez analyser, ou sélectionnez Inclure/Exclure dans le menu Type d'emplacement, puis cliquez sur Parcourir pour accéder au bucket ou au sous-dossier à analyser. Cochez la case Analyser le dossier de manière récursive pour analyser le répertoire spécifié et tous les répertoires contenus. Ne cochez pas la case si vous ne souhaitez analyser que le répertoire spécifié.
BigQuery : saisissez les identifiants du projet, de l'ensemble de données et de la table à analyser.
Datastore : saisissez les identifiants du projet, de l'espace de noms (facultatif) et du genre à analyser.

Échantillonnage

L'échantillonnage est une méthode facultative permettant d'économiser des ressources si vous disposez d'une très grande quantité de données.

Sous Sampling (Échantillonnage), vous pouvez choisir d’analyser toutes les données sélectionnées ou d'échantillonner les données en analysant un certain pourcentage. L'échantillonnage fonctionne différemment selon le type de dépôt de stockage utilisé pour l'analyse :

Pour BigQuery, vous pouvez échantillonner un sous-ensemble du nombre total de lignes sélectionnées, correspondant au pourcentage spécifié de fichiers à inclure dans l'analyse.
Pour Cloud Storage, si un fichier dépasse la taille spécifiée dans Max byte size to scan per file (Taille d'octets maximale à analyser par fichier), Cloud DLP effectue l'analyse jusqu'à cette valeur, puis passe au fichier suivant.

Pour activer l'échantillonnage, choisissez l'une des options suivantes dans le premier menu :

Démarrer l'échantillonnage à partir du début : Cloud DLP lance l'analyse partielle au début des données. Pour BigQuery, l'analyse démarre à la première ligne. Pour Cloud Storage, l'analyse démarre au début de chaque fichier et s'arrête une fois que Cloud DLP a analysé les données jusqu'à la taille de fichier maximale spécifiée (voir ci-dessus).
Démarrer l'échantillonnage à partir d'un emplacement aléatoire : Cloud DLP démarre l'analyse partielle à partir d'un emplacement aléatoire dans les données. Pour BigQuery, l'analyse se lance sur une ligne au hasard. Pour Cloud Storage, ce paramètre ne s'applique qu'aux fichiers qui dépassent une taille maximale spécifiée. Cloud DLP analyse intégralement les fichiers dont la taille est inférieure à la taille maximale indiquée. Les fichiers dont la taille dépasse la taille maximale autorisée sont analysés jusqu'à concurrence de cette taille maximale.

Pour effectuer une analyse partielle, vous devez également choisir le pourcentage de données que vous souhaitez analyser. Utilisez le curseur pour définir le pourcentage.

Configuration avancée

Lorsque vous créez une tâche pour une analyse de buckets Cloud Storage ou de tables BigQuery, vous pouvez affiner votre recherche en spécifiant une configuration avancée. Plus précisément, vous pouvez configurer les éléments suivants :

Fichiers (Cloud Storage seulement) : types de fichiers à analyser, y compris les fichiers texte, les fichiers binaires et les fichiers image.
Champs d'identification (BigQuery uniquement) : identifiants de ligne uniques dans la table.
Pour Cloud Storage, si un fichier dépasse la taille spécifiée dans Max byte size to scan per file (Taille d'octets maximale à analyser par fichier), Cloud DLP effectue l'analyse jusqu'à cette valeur, puis passe au fichier suivant.

Pour activer l'échantillonnage, choisissez le pourcentage de données à analyser. Utilisez le curseur pour définir le pourcentage. Sélectionnez ensuite l'une des options suivantes dans le premier menu :

Démarrer l'échantillonnage à partir du début : Cloud DLP lance l'analyse partielle au début des données. Pour BigQuery, l'analyse démarre à la première ligne. Pour Cloud Storage, l'analyse démarre au début de chaque fichier et s'arrête une fois que Cloud DLP a analysé les données jusqu'à la taille de fichier maximale spécifiée (voir ci-dessus).
Démarrer l'échantillonnage à partir d'un emplacement aléatoire : Cloud DLP démarre l'analyse partielle à partir d'un emplacement aléatoire dans les données. Pour BigQuery, l'analyse se lance sur une ligne au hasard. Pour Cloud Storage, ce paramètre ne s'applique qu'aux fichiers qui dépassent une taille maximale spécifiée. Cloud DLP analyse intégralement les fichiers dont la taille est inférieure à la taille maximale indiquée. Les fichiers dont la taille dépasse la taille maximale autorisée sont analysés jusqu'à concurrence de cette taille maximale.

Fichiers

Pour les fichiers stockés dans Cloud Storage, l'onglet Files (Fichiers) permet de spécifier les types à inclure dans l'analyse.

Vous avez le choix entre les fichiers binaires, texte, image, Microsoft Word, PDF et Apache Avro. Une liste complète des extensions de fichiers que Cloud DLP peut analyser dans des buckets Cloud Storage est disponible sur la page de référence de l'API pour FileType. Si vous sélectionnez l'option Fichiers binaires, Cloud DLP analyse les fichiers de types non reconnus.

Champs d'identification

Pour les tables dans BigQuery, l'onglet Identifying fields (Champs d'identification) vous permet de spécifier certains champs pour que Cloud DLP n'analyse que les lignes contenant des valeurs dans ces champs.

Pour ajouter un champ, cliquez sur Add identifiying field (Ajouter un champ d'identification). Entrez le nom du champ en utilisant la notation par points pour spécifier les champs imbriqués, le cas échéant.

Vous pouvez ajouter autant de champs que vous le souhaitez. Pour supprimer un champ, cliquez sur l'icône de la corbeille Supprimer l'élément en regard du champ à supprimer.

Configurer la détection

La section Configurer la détection vous permet de spécifier les types de données sensibles que vous souhaitez analyser. Cette section est facultative. Si vous ne la complétez pas, Cloud DLP recherche un ensemble de types de données sensibles courants dans vos données en utilisant l'option Most common (Les plus courants), qui correspond au détecteur d'infoType ALL_BASIC.

Modèle

Vous pouvez également exploiter un modèle Cloud DLP pour réutiliser les informations de configuration spécifiées précédemment.

Si vous avez déjà créé un modèle que vous souhaitez utiliser, cliquez sur le champ Nom du modèle pour afficher une liste des modèles d'inspection existants. Choisissez ou saisissez le nom du modèle que vous souhaitez utiliser.

Pour plus d'informations sur la création de modèles, reportez-vous à la section Créer des modèles d'inspection Cloud DLP.

InfoTypes

Les détecteurs d'infoType trouvent des données sensibles d'un certain type. Par exemple, le détecteur d'infoType intégré US_SOCIAL_SECURITY_NUMBER de Cloud DLP identifie les numéros de sécurité sociale américains. En plus des détecteurs d'infoType intégrés, vous pouvez créer vos propres détecteurs d'infoType personnalisés.

Sous InfoTypes, choisissez le détecteur d'infoType qui correspond au type de données que vous souhaitez analyser. Vous pouvez également laisser ce champ vide pour rechercher tous les infoTypes par défaut. Vous trouverez plus d'informations sur chaque détecteur dans la documentation de référence sur les détecteurs d'infoType.

Vous pouvez également ajouter des détecteurs d'infoType personnalisés dans la section InfoTypes personnalisés, et personnaliser les détecteurs d'infoType intégrés et personnalisés dans la section Ensembles de règles d'inspection.

InfoTypes personnalisés

To add a custom infoType detector:

Click Add custom infoType.
Choose the type of custom infoType detector you want to create:
- Words or phrases: Matches on one or more words or phrases that you enter into the field. Use this custom infoType when you have just a few words or phrases to search for. Give your custom infoType a name, and then, under List of words or phrases, type the word or phrase you want Cloud DLP to match on. To search on multiple words or phrases, press Enter after each one. For more information, see Creating a regular custom dictionary detector.
- Dictionary path: Searches your content for items in a list of words and phrases. The list is stored in a text file in Cloud Storage. Use this custom infoType when you have anywhere from a few to several hundred thousand words or phrases to search for. This method is also useful if your list contains sensitive elements and you don't want to store them inside of a job or template. Give your custom infoType a name, and then, under Dictionary location, enter or browse to the Cloud Storage path where the dictionary file is stored. For more information, see Creating a regular custom dictionary detector.
- Regex: Matches content based on a regular expression. Give your custom infoType a name, and then, in the Regex field, enter a regex pattern to match words and phrases. See the supported regex syntax.
- Stored infoType: This option adds a stored custom dictionary detector, which is a kind of dictionary detector that is built from either a large text file stored in Cloud Storage or a single column of a BigQuery table. Use this kind of custom infoType when you have anywhere from several hundred thousand to tens of millions of words or phrases to search for. Be aware that this is the only option in this menu for which you must have already created the stored infoType to use it. Give your custom infoType a name (different from the name you gave the stored infoType), and then, in the Stored infoType field, enter the name of the stored infoType. For more information about creating stored custom dictionaries, see Creating a stored custom dictionary detector.

Click Add custom infoType again to add additional custom infoType detectors.

Ensembles de règles d'inspection

Inspection rulesets allow you to customize both built-in and custom infoType detectors using context rules. The two types of inspection rules are:

Exclusion rules, which help exclude false or unwanted findings.
Hotword rules, which help detect additional findings.

To add a new ruleset, first specify one or more built-in or custom infoType detectors in the InfoTypes section. These are the infoType detectors that your rulesets will be modifying. Then, do the following:

Click in the Choose infoTypes field. The infoType or infoTypes you specified previously appear below the field in a menu, as shown here:

Screenshot of the DLP UI's inspection rulesets configuration.

Choose an infoType from the menu, and then click Add rule. A menu appears with the two options Hotword rule and Exclusion rule.

For hotword rules, choose Hotword rules. Then, do the following:

In the Hotword field, enter a regular expression that Cloud DLP should look for.
From the Hotword proximity menu, choose whether the hotword you entered is found before or after the chosen infoType.
In Hotword distance from infoType, enter the approximate number of characters between the hotword and the chosen infoType.
In Confidence level adjustment, choose whether to assign matches a fixed likelihood level, or to increase or decrease the default likelihood level by a certain amount.

For exclusion rules, choose Exclusion rules. Then, do the following:

In the Exclude field, enter a regular expression (regex) that Cloud DLP should look for.
From the Matching type menu, choose one of the following:

Full match: The finding must completely match the regex.
Partial match: A substring of the finding can match the regex.
Inverse match: The finding doesn't match the regex.

You can add additional hotword or exclusion rules and rulesets to further refine your scan results.

Seuil de confiance

Chaque fois que Cloud DLP détecte une correspondance potentielle pour des données sensibles, il lui attribue une valeur de probabilité sur une échelle allant de "Très improbable" à "Très probable". Lorsque vous définissez une valeur de probabilité, vous indiquez à Cloud DLP de ne rechercher que les données qui correspondent à cette valeur de probabilité ou à une valeur supérieure.

La valeur par défaut "Possible" est suffisante dans la plupart des cas. Si vous obtenez régulièrement des correspondances trop larges lorsque vous utilisez ce modèle, déplacez le curseur vers le haut. Si vous obtenez trop peu de correspondances, déplacez le curseur vers le bas.

Lorsque vous avez terminé, cliquez sur Continuer.

Ajouter des actions

Dans l'étape Add actions (Ajouter des actions), vous sélectionnez les actions que vous souhaitez que Cloud DLP effectue une fois la tâche terminée.

Vous disposez des options suivantes :

Save to BigQuery (Enregistrer dans BigQuery) : cette option enregistre les résultats dans une table BigQuery. Les résultats stockés dans BigQuery contiennent des détails sur l'emplacement de chaque résultat et la probabilité de correspondance. Si vous ne stockez pas les résultats, la tâche terminée ne contiendra que des statistiques sur le nombre et les infoTypes des résultats. Si vous ne spécifiez pas d'ID de table, BigQuery attribue un nom par défaut à une nouvelle table. Si vous spécifiez un nom de table existante, les résultats y sont ajoutés. Cochez la case Inclure les guillemets pour inclure du contenu contextuel dans chaque résultat de correspondance.
Publier dans Pub/Sub : cette option envoie un message de notification à un sujet Cloud Pub/Sub lorsque la tâche est terminée. Cliquez sur Nouveau sujet pour spécifier un ou plusieurs noms de sujet sur lesquels vous souhaitez publier la notification.
Publier dans Google Cloud Security Command Center : cette option permet de publier un résumé de vos résultats dans Security Command Center. Pour en savoir plus, consultez la section Envoyer des résultats d'analyse Cloud DLP à Security Command Center.
Publier dans Data Catalog : sélectionnez cette option pour envoyer les résultats d'inspection à Data Catalog, le service de gestion de métadonnées de Google Cloud.
Publier sur Stackdriver : choisissez cette option pour envoyer les résultats d'inspection à Cloud Monitoring, la suite d'opérations de Google Cloud.
Notify by email (Notifier par e-mail) : cette option force Cloud DLP à envoyer un e-mail aux propriétaires de projet et aux éditeurs lorsque la tâche est terminée.

Lorsque vous avez fini de sélectionner des actions, cliquez sur Continue (Continuer).

Examen

La section Examen contient un résumé au format JSON des paramètres de tâche que vous venez de spécifier.

Cliquez sur Créer pour créer la tâche (si vous n'avez pas spécifié de programmation) et exécuter la tâche une fois. La page d'informations de la tâche apparaît, qui contient son état et d'autres informations. Si la tâche est en cours d'exécution, vous pouvez cliquer sur le bouton Annuler pour l'arrêter. Vous pouvez également supprimer la tâche en cliquant sur Supprimer.

Pour revenir à la page principale Cloud DLP, cliquez sur la flèche Retour de Cloud Console.

Protocole

Une tâche est représentée dans l'API DLP par la ressource DlpJobs. Vous pouvez créer une tâche à l'aide de la méthode projects.dlpJobs.create de la ressource DlpJob.

Cet exemple de code JSON peut être envoyé dans une requête POST au point de terminaison REST Cloud DLP. Cet exemple de code JSON montre comment créer une tâche dans Cloud DLP. La tâche est une analyse d'inspection Datastore.

Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. N'oubliez pas que la requête aboutit, même une requête créée dans l'explorateur d'API, créera une tâche. Des informations générales sur l'utilisation du format JSON pour envoyer des requêtes à l'API Cloud DLP sont disponibles dans le guide de démarrage JSON.

Entrée JSON :

{
  "inspectJob": {
    "storageConfig": {
      "bigQueryOptions": {
        "tableReference": {
          "projectId": "bigquery-public-data",
          "datasetId": "san_francisco_sfpd_incidents",
          "tableId": "sfpd_incidents"
        }
      },
      "timespanConfig": {
        "startTime": "2020-01-01T00:00:01Z",
        "endTime": "2020-01-31T23:59:59Z",
        "timestampField": {
          "name": "timestamp"
        }
      }
    },
    "inspectConfig": {
      "infoTypes": [
        {
          "name": "PERSON_NAME"
        },
        {
          "name": "STREET_ADDRESS"
        }
      ],
      "excludeInfoTypes": false,
      "includeQuote": true,
      "minLikelihood": "LIKELY"
    },
    "actions": [
      {
        "saveFindings": {
          "outputConfig": {
            "table": {
              "projectId": "[PROJECT-ID]",
              "datasetId": "[DATASET-ID]"
            }
          }
        }
      }
    ]
  }
}

Sortie JSON :

La sortie suivante indique que la tâche a été créé avec succès.

{
  "name": "projects/[PROJECT-ID]/dlpJobs/[JOB-ID]",
  "type": "INSPECT_JOB",
  "state": "PENDING",
  "inspectDetails": {
    "requestedOptions": {
      "snapshotInspectTemplate": {},
      "jobConfig": {
        "storageConfig": {
          "bigQueryOptions": {
            "tableReference": {
              "projectId": "bigquery-public-data",
              "datasetId": "san_francisco_sfpd_incidents",
              "tableId": "sfpd_incidents"
            }
          },
          "timespanConfig": {
            "startTime": "2020-01-01T00:00:01Z",
            "endTime": "2020-01-31T23:59:59Z",
            "timestampField": {
              "name": "timestamp"
            }
          }
        },
        "inspectConfig": {
          "infoTypes": [
            {
              "name": "PERSON_NAME"
            },
            {
              "name": "STREET_ADDRESS"
            }
          ],
          "minLikelihood": "LIKELY",
          "limits": {},
          "includeQuote": true
        },
        "actions": [
          {
            "saveFindings": {
              "outputConfig": {
                "table": {
                  "projectId": "[PROJECT-ID]",
                  "datasetId": "[DATASET-ID]",
                  "tableId": "[TABLE-ID]"
                }
              }
            }
          }
        ]
      }
    },
    "result": {}
  },
  "createTime": "2020-07-10T07:26:33.643Z"
}

Java

Pour savoir comment installer et utiliser la bibliothèque cliente pour Cloud DLP, consultez la page Bibliothèques clientes Cloud DLP.

Créer et planifier des tâches d'inspection Cloud DLP

À propos des tâches d'inspection et des déclencheurs de tâche

Créer une tâche d'inspection

Console

Choisir les données d'entrée

Nom

Zone

Échantillonnage

Configuration avancée

Fichiers

Champs d'identification

Configurer la détection

Modèle

InfoTypes

InfoTypes personnalisés

Ensembles de règles d'inspection

Seuil de confiance

Ajouter des actions

Examen

Protocole

Java

Créer un déclencheur de tâche :

Console

Choisir les données d'entrée

Nom

Zone

Échantillonnage

Configuration avancée

Fichiers

Champs d'identification

Configurer la détection

Modèle

InfoTypes

InfoTypes personnalisés

Ensembles de règles d'inspection

Seuil de confiance

Ajouter des actions

Horaires

Examen

Protocole

Java

Node.js

Python

Go

PHP

C#

Répertorier toutes les tâches

Console

Protocole

Java

Node.js

Python

Go

PHP

C#

Répertorier tous les déclencheurs de tâche

Console

Protocole

Java

Node.js

Python

Go

PHP

C#

Supprimer une offre d'emploi

Console

Protocole

Java

Node.js

Python

Go

PHP

C#

Supprimer un déclencheur de tâche

Console

Protocole

Java

Node.js

Python

Go