Inspecter des données à partir de sources externes à l'aide de tâches hybrides

Les tâches hybrides et les déclencheurs de tâches vous permettent d broadenélargir la portée de la protection fournie par Cloud DLP.des demandes d'inspection de contenu simples etAnalyse du dépôt de stockage Google Cloud s'affiche en haut de l'écran. L'utilisation de tâches hybrides et de déclencheurs de tâches vous permet de diffuser des données depuis presque toutes les sources, y compris en dehors de Google Cloud, directement dans Cloud DLP. Vous pouvez également laisser Cloud DLP inspecter automatiquement les données à la recherche d'informations sensibles et automatiquement. Enregistrer et agréger les résultats de l'analyse pour une analyse plus approfondie

Les tâches hybrides s'exécutent dès leur création jusqu'à ce que vous les arrêtiez. Elles acceptent toutes les données entrantes, à condition qu'elles soient correctement acheminées et formatées. Les déclencheurs de tâches hybrides fonctionnent de manière semblable aux tâches hybrides, mais ils vous permettent d'arrêter et de démarrer de nouvelles tâches dans le déclencheur sans avoir à modifier la destination des requêtes d'inspection. Par exemple, vous pouvez envoyer des données au nom du déclencheur hybride, puis arrêter la tâche active, modifier sa configuration, démarrer une nouvelle tâche dans ce déclencheur, puis continuer à envoyer des données à la même tâche hybride. nom du déclencheur.

Cette rubrique explique comment utiliser des tâches hybrides et des déclencheurs de tâches pour inspecter des données à la recherche d'informations sensibles. Pour en savoir plus sur les tâches hybrides et les déclencheurs de tâches, y compris des exemples d'environnements hybrides et des scénarios d'utilisation, consultez la rubrique conceptuelle Tâches hybrides et déclencheurs de tâche.

Processus d'inspection hybride

Le reste de cette rubrique explique comment configurer Cloud DLP pour exécuter le processus suivant. Le processus d'inspection hybride comprend trois étapes distinctes, comme illustré dans le diagramme suivant. La légende qui suit le schéma décrit chaque étape en détail.

Schéma illustrant le processus d'inspection de tâche hybride
  1. Commencez par choisir les données que vous souhaitez envoyer à Cloud DLP. Les données peuvent provenir de Google Cloud ou de l'extérieur. Par exemple, vous pouvez configurer un script ou une application personnalisés pour envoyer des données à Cloud DLP, vous permettant ainsi d'inspecter des données en cours de transfert, à partir d'un autre service cloud, d'un dépôt de données sur site, ou presque autre source de données. Les données envoyées à Cloud DLP doivent inclure des métadonnées (également appelées "libellés" et "identifiants de table") qui décrivent le contenu, et permettent à Cloud DLP d'identifier les informations que vous souhaitez suivre. Par exemple, si vous analysez des données associées sur plusieurs requêtes (telles que des lignes dans la même table de base de données), vous pouvez faire en sorte que ces métadonnées soient identiques afin de collecter, de consigner et d'analyser les résultats pour cette requête. ensemble de données.
  2. Configurez ensuite une tâche hybride ou un déclencheur de tâche dans Cloud DLP à partir de zéro ou à l'aide d'un modèle d'inspection. Une fois que vous avez configuré une tâche hybride ou un déclencheur, Cloud DLP écoute activement les données qui lui sont envoyées. Lorsque votre script ou application personnalisé envoie des données à cette tâche hybride ou à ce déclencheur, les données sont inspectées et leurs résultats sont stockés en fonction de la configuration.
  3. Lorsque vous configurez la tâche hybride, vous pouvez spécifier l'emplacement où vous souhaitez enregistrer ou publier les résultats. Les options incluent l'enregistrement dans BigQuery et la publication de notifications dans Pub/Sub, Cloud Monitoring ou par e-mail. Lorsque la tâche hybride s'exécute et inspecte des requêtes, les résultats d'inspection sont disponibles dès que Cloud DLP les génère, tandis que les actions telles que les notifications Pub/Sub ne se produisent pas tant que l'application n'a pas fini la tâche hybride. s'affiche en haut de l'écran.

Types de métadonnées que vous pouvez fournir

Vous trouverez ci-dessous les types de métadonnées que vous pouvez fournir lorsque vous envoyez vos données à Cloud DLP. Pour plus d'informations sur la mise en forme des données hybrides, consultez la section Envoyer des données au déclencheur de tâche hybride, plus loin sur cette page.

Détails du conteneur

Chaque requête peut spécifier des détails sur la source de données, y compris des éléments tels que fullPath, rootPath, relativePath, type, version, etc. Par exemple, si vous analysez des tables dans une base de données, vous pouvez définir ces dernières comme suit:

  • fullPath: "10.0.0.20/database1/table1"
  • rootPath: "10.0.0.20/database1"
  • relativePath: "table1"
  • type: "postgres"
  • version: "9.6"

Étiquettes supplémentaires requises

Vous pouvez fournir des libellés clé/valeur à chaque requête pour suivre les métadonnées supplémentaires non capturées dans les détails du conteneur. Vous pouvez spécifier les étiquettes dans la tâche hybride ou dans chaque requête, et Cloud DLP enregistre les métadonnées pour chaque résultat. La tâche hybride peut également spécifier une liste de "clés" obligatoires devant être incluses. Toutes les requêtes pour une tâche qui n'incluent pas ces libellés obligatoires sont refusées.

Étiquettes facultatives

Dans chaque requête, vous pouvez éventuellement spécifier des libellés supplémentaires qui seront associés aux résultats de cette requête. Cette méthode vous permet d'attribuer des libellés différents à chaque requête si nécessaire. Si vous souhaitez associer la même clé et la même valeur à chaque requête, vous pouvez également les spécifier lors de la création de la tâche hybride. Par exemple, si vous souhaitez que chaque requête porte le libellé "env"="prod", vous pouvez le spécifier lors de la création de la tâche hybride.

Options des données tabulaires

Enfin, vous pouvez spécifier toutes les colonnes correspondant à des identifiants de ligne pour les objets de table de vos données. Si les colonnes spécifiées existent dans la table, la valeur des cellules données est incluse à côté de chaque résultat pour que vous puissiez tracer le résultat sur la ligne dont il provient. Ces options de tableau ne s'appliquent qu'aux requêtes qui envoient des données tabulaires, par exemple des formats item.table ou byteItem, tels que CSV.

Avant de commencer

Avant de configurer et d'utiliser des déclencheurs de tâches hybrides et des ressources de tâches hybrides, assurez-vous d'avoir:

Créer un projet, activer la facturation et activer Cloud DLP

  1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
  2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

    Accéder au sélecteur de projet

  3. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier que la facturation est activée pour votre projet.

  4. Activez l'API Cloud DLP.

    Activer l'API

Configurer la source de données

Avant que Cloud DLP puisse inspecter vos données, vous devez les envoyer à Cloud DLP. Quelle que soit la méthode utilisée pour configurer l'inspection (Cloud DLP dans Google Cloud Console, l'API DLP ou une bibliothèque cliente), vous devez configurer votre source pour envoyer des données à l'API DLP.

Pour plus d'informations sur les types de métadonnées que vous pouvez inclure avec les données de votre requête, voir Types de métadonnées que vous pouvez fournir ci-dessus. La section suivante explique comment spécifier ces métadonnées dans Cloud DLP.

Configuration de tâche hybride ou de déclencheur de tâche

Pour permettre à Cloud DLP d'inspecter les données que vous lui envoyez, vous devez d'abord configurer une tâche hybride ou un déclencheur de tâche.

Pour configurer une tâche ou un déclencheur de tâche hybride, procédez comme suit:

  1. Dans Cloud Console, ouvrez Cloud DLP.

    Accéder à Cloud DLP

  2. Dans le menu Créer, placez le curseur sur Tâche ou déclencheur de tâche, puis sélectionnez Inspection.

    Capture d'écran de l'option de menu "Job or job trigger" (Tâche ou déclencheur de tâche)

    Vous pouvez également cliquer sur le bouton suivant :

    Créer un déclencheur de tâche

Choisir les données d'entrée

Dans cette section, vous allez spécifier les données d'entrée que Cloud DLP doit inspecter.

  1. Sous Name (Nom), vous pouvez attribuer un nom à la tâche en saisissant une valeur dans le champ Job ID (ID de la tâche). (Si vous ne renseignez pas ce champ, Cloud DLP génère automatiquement un identifiant.)
  2. Dans le menu Emplacement de la ressource, sélectionnez une région, si vous le souhaitez. Pour plus d'informations, consultez la section Spécifier des emplacements de traitement.
  3. Sous Emplacement, sélectionnez Hybrid dans le menu Type de stockage. Vous pouvez également saisir la description de la tâche.

Configurer la détection

Dans cette section, vous spécifiez les types de données sensibles pour lesquelles Cloud DLP inspectera les données d'entrée. Vous disposez des options suivantes :

  • Modèle: si vous avez déjà créé un modèle dans le projet en cours et que vous souhaitez utiliser pour définir les paramètres de détection Cloud DLP, Cliquez sur le champ Nom du modèle, puis sélectionnez le modèle dans la liste qui s'affiche.
  • InfoTypes: Cloud DLP sélectionne les infoTypes intégrés les plus courants à détecter. Pour les modifier ou choisir un type d'information personnalisé à utiliser, cliquez sur Gérer les infoTypes. Vous pouvez également affiner les critères de détection dans les sections Ensembles de règles d'inspection et Seuil de confiance. Pour plus d'informations, consultez la page Configurer la détection.

Une fois la configuration des paramètres de détection terminée, cliquez sur Suivant.

Ajouter des actions

Dans cette section, vous indiquez l'emplacement où enregistrer les résultats de chaque analyse d'inspection et indiquez si vous souhaitez être averti par e-mail ou message de notification Pub/Sub chaque fois qu'une analyse est terminée. Il est important de noter que, si vous n'enregistrez pas les résultats dans BigQuery, la ressource de tâche ne contiendra que des statistiques concernant le nombre et les infoTypes des résultats.

  • Save to BigQuery (Enregistrer dans BigQuery) : chaque fois qu'une analyse est exécutée, Cloud DLP enregistre les résultats dans la table BigQuery que vous spécifiez ici. Si vous ne spécifiez pas d'ID de table, BigQuery attribue un nom par défaut à une nouvelle table lors de la première exécution de l'analyse. Si vous spécifiez une table existante, Cloud DLP ajoute les résultats d'analyse à cette table.
  • Publish to Pub/Sub (Publier dans Pub/Sub) : lorsqu'une tâche est terminée, un message Pub/Sub est émis.
  • Notifier par e-mail: lorsqu'une tâche est terminée, un e-mail est envoyé.
  • Publier sur Cloud Monitoring : lorsque la tâche est terminée, ses résultats sont publiés dans Monitoring.

Lorsque vous avez terminé de sélectionner les actions souhaitées, cliquez sur Suivant.

Période ou programmation

Dans cette section, vous indiquez si vous souhaitez créer une tâche unique qui s'exécute de manière ponctuelle ou un déclencheur de tâche qui s'exécute chaque fois que des données correctement routées et formatées sont envoyées par Cloud DLP.

Pour exécuter la tâche hybride immédiatement, sélectionnez None (exécuter la tâche ponctuelle immédiatement après sa création). Pour configurer la tâche de sorte que les données reçues de la source déclenchent la tâche, choisissez Créer un déclencheur pour exécuter la tâche selon une programmation périodique. Les tâches déclenchées par une source de données hybride regroupent les appels d'API, ce qui vous permet de voir les résultats de recherche et les tendances au fil du temps.

Récapitulatif

Vous pouvez consulter ici un résumé JSON de l'analyse. Veillez à noter le nom de la tâche ou du déclencheur de tâche. Vous aurez besoin de ces informations lors de l'envoi de données à Cloud DLP pour inspection. Pour plus d'informations sur le format des données envoyées à Cloud DLP, consultez la section Envoyer des données au déclencheur de tâche hybride.

Lorsque vous avez terminé, cliquez sur Créer. Cloud DLP démarre immédiatement la tâche hybride. Une analyse d'inspection est déclenchée dès que Cloud DLP reçoit des données.

Envoyer des données à une tâche hybride ou à un déclencheur de tâche

Pour inspecter des données à l'aide d'une tâche hybride ou d'un déclencheur de tâche, celles-ci doivent être formatées de manière spécifique et envoyées au point de terminaison approprié.

Mise en forme des éléments de contenu hybride

Voici un exemple simple de requête envoyée à Cloud DLP pour traitement par une tâche hybride. Notez la structure de l'objet JSON, y compris l'attribut "hybridItem", à l'intérieur des sous-attributs suivants:

  • "item": contient le contenu réel à inspecter.
  • "findingDetails": contient les métadonnées à associer au contenu.
{
  "hybridItem": {
    "item": {
      "value": "My email is test@example.org"
    },
    "findingDetails": {
      "containerDetails": {
        "fullPath": "10.0.0.2:logs1:app1",
        "relativePath": "app1",
        "rootPath": "10.0.0.2:logs1",
        "type": "logging_sys",
        "version": "1.2"
      },
      "labels": {
        "env": "prod"
      }
    }
  }
}

Pour obtenir des informations complètes sur le contenu des éléments d'inspection hybrides, consultez le contenu de référence de l'API pour l'objet HybridContentItem.

Points de terminaison hybrides

Pour que Cloud DLP traite l'objet, il doit être POST sur une tâche hybride ou dans un déclencheur de tâche. Exemples de chemins de points de terminaison pour les deux. Vous devez remplacer les espaces réservés suivants par leurs valeurs réelles:

  • PROJECT_ID: l'identifiant de votre projet (ID).
  • LOCATION_ID: emplacement de votre projet.
  • JOB_ID: ID de la tâche. Cette valeur correspond au nom que vous avez attribué à la tâche hybride, précédé de i-. Si vous n'avez pas nommé la tâche ou pour la récupérer dans Cloud DLP, sélectionnez Tâches et déclencheurs de tâche, puis sélectionnez Inspecter les tâches. Dans la colonne Actions, cliquez sur le menu Autres actions (représenté par trois points disposés verticalement) , puis cliquez sur Afficher détails. L'ID de la tâche se trouve sur la ligne suivante sous "Conteneur: Mixte".
  • TRIGGER_NAME: nom du déclencheur de tâche. Cette valeur est le nom attribué au déclencheur de tâche hybride. Si vous n'avez pas attribué de nom à la tâche ou pour récupérer le nom du déclencheur, sélectionnez cette option dans Cloud DLPTâches et déclencheurs de tâche , puis sélectionnezDéclencheurs de tâche s'affiche en haut de l'écran. Dans la colonne Actions, cliquez sur le menu Autres actions (représenté par trois points disposés verticalement) , puis cliquez sur Afficher détails.

Tâches de protection contre la perte de données hybrides:

https://dlp.googleapis.com/v2/{name=projects/PROJECT_ID/locations/LOCATION_ID/dlpJobs/JOB_ID}:hybridInspect

Pour plus d'informations sur ce point de terminaison, reportez-vous à la page de référence de l'API pour la méthode projects.locations.dlpJobs.hybridInspect.

Déclencheurs de tâche hybride de protection contre la perte de données:

https://dlp.googleapis.com/v2/{name=projects/PROJECT_ID/locations/LOCATION_ID/jobTriggers/TRIGGER_NAME}:hybridInspect

Pour plus d'informations sur ce point de terminaison, reportez-vous à la page de référence de l'API pour la méthode projects.locations.jobTriggers.hybridInspect.

Étape suivante