Interroger les résultats Cloud DLP dans BigQuery

Lorsque vos résultats sont transférés vers BigQuery, les données sont écrites dans une nouvelle table ou une table existante. Pour plus d'informations sur les actions, reportez-vous à la rubrique présentant les concepts relatifs aux Actions.

Exemples de requêtes

Servez-vous des exemples de requêtes suivants pour analyser vos résultats. Vous pouvez également interroger les données dans un outil de visualisation tel que Google Data Studio. Ces requêtes sont fournies pour vous aider à interroger vos données de résultats.

Dans chacune des requêtes suivantes, remplacez [DATASET] par le nom de l'ensemble de données BigQuery, [TABLE_ID] par l'ID de table et [PROJECT_ID] par l'identifiant du projet.

Sélectionnez le nombre de chaque infoType

Cloud Console

SELECT info_type.name,
COUNT(info_type.name) AS count
FROM [PROJECT_ID].[DATASET].[TABLE_ID],
GROUP BY info_type.name
ORDER BY count DESC;

Ligne de commande

bq query --use_legacy_sql=false ' SELECT info_type.name,
COUNT(info_type.name) AS count
FROM [PROJECT_ID].[DATASET].[TABLE_ID],
GROUP BY info_type.name ORDER BY count DESC;'

Sélectionnez le nombre de chaque infoType par jour

Cloud Console

SELECT info_type.name, cast(TIMESTAMP_SECONDS(create_time.seconds) as date) as day,
COUNT(locations.container_name) AS count
FROM [PROJECT_ID].[DATASET].[TABLE_ID],
UNNEST(location.content_locations) AS locations
GROUP BY info_type.name, day
ORDER BY count DESC;

Ligne de commande

bq query --use_legacy_sql=false ' SELECT info_type.name,
cast(TIMESTAMP_SECONDS(create_time.seconds) as date) as day,
COUNT(locations.container_name) AS count FROM [PROJECT_ID].[DATASET].[TABLE_ID],
UNNEST(location.content_locations) AS locations
GROUP BY info_type.name, day ORDER BY count DESC;'

Sélectionne le nombre de chaque infoType dans chaque conteneur

Cloud Console

SELECT info_type.name, locations.container_name,
COUNT(locations.container_name) AS count
FROM [PROJECT_ID].[DATASET].[TABLE_ID],
UNNEST(location.content_locations) AS locations
GROUP BY locations.container_name, info_type.name
ORDER BY count DESC;

Ligne de commande

bq query --use_legacy_sql=false ' SELECT info_type.name, locations.container_name,
COUNT(locations.container_name) AS count FROM [PROJECT_ID].[DATASET].[TABLE_ID],
UNNEST(location.content_locations) AS locations
GROUP BY locations.container_name,info_type.name ORDER BY count DESC;'

Sélectionne les types de résultats trouvés pour chaque colonne d'une table

Cette requête regroupe tous les résultats par nom de colonne et est conçue pour fonctionner avec les résultats d'une tâche d'inspection BigQuery. Elle s'avère utile si vous essayez d'identifier les types probables pour une colonne donnée. Vous pouvez ajuster les paramètres en modifiant les clauses WHERE et HAVING. Par exemple, si les résultats de plusieurs tables sont inclus dans votre table des résultats, vous pouvez les limiter à une seule exécution de tâche ou au nom d'une seule table.

Cloud Console

SELECT
  table_counts.field_name,
  STRING_AGG( CONCAT(" ",table_counts.name," [count: ",CAST(table_counts.count_total AS String),"]")
  ORDER BY
    table_counts.count_total DESC) AS infoTypes
FROM (
  SELECT
    locations.record_location.field_id.name AS field_name,
    info_type.name,
    COUNT(*) AS count_total
  FROM
    [PROJECT_ID].[DATASET].[TABLE_ID],
    UNNEST(location.content_locations) AS locations
  WHERE
    (likelihood = 'LIKELY'
      OR likelihood = 'VERY_LIKELY'
      OR likelihood = 'POSSIBLE')
  GROUP BY
    locations.record_location.field_id.name,
    info_type.name
  HAVING
    count_total>200 ) AS table_counts
GROUP BY
  table_counts.field_name
ORDER BY
  table_counts.field_name

La requête ci-dessus peut générer un résultat de ce type pour un exemple de table, où la colonne infoTypes indique le nombre d'instances de chaque infoType trouvé pour cette colonne donnée.

field_name infoTypes
field1 CUSTOM_USER_US [count: 7004], CUSTOM_USER_EU [count: 2996]
field2 US_VEHICLE_IDENTIFICATION_NUMBER [count: 9597]
field3 EMAIL_ADDRESS [count: 10000]
field4 IP_ADDRESS [count: 10000]
field5 PHONE_NUMBER [count: 7815]
field6 US_SOCIAL_SECURITY_NUMBER [count: 10000]
field7 CREDIT_CARD_NUMBER [count: 10000]