En esta página, se describe el servicio de descubrimiento de datos sensibles. Este servicio te ayuda a determinar dónde residen los datos sensibles y de alto riesgo en tu organización.
Descripción general
El servicio de descubrimiento te permite proteger los datos en toda tu organización mediante la identificación de dónde residen los datos sensibles y de alto riesgo. Cuando creas una configuración de análisis de descubrimiento, Sensitive Data Protection analiza tus recursos para identificar los datos dentro del alcance de la generación de perfiles. Luego, genera perfiles de tus datos. Siempre y cuando la configuración de descubrimiento esté activa, la protección de datos sensibles genera perfiles de manera automática de los datos que agregas y modificas. Puedes generar perfiles de datos en toda la organización, en carpetas individuales y en proyectos individuales.
Cada perfil de datos es un conjunto de estadísticas y metadatos que el servicio de descubrimiento recopila a partir del análisis de un recurso compatible. Las estadísticas incluyen los infoTypes previstos y el riesgo de los datos calculados y los niveles de sensibilidad de tus datos. Usa estas estadísticas para tomar decisiones fundamentadas sobre cómo proteger, compartir y usar tus datos.
Los perfiles de datos se generan en varios niveles de detalle. Por ejemplo, cuando generas perfiles de datos de BigQuery, los perfiles se generan a nivel de proyecto, tabla y columna.
En la siguiente imagen, se muestra una lista de perfiles de datos a nivel de columna. Haz clic en la imagen para ampliarla.
Para obtener una lista de las estadísticas y los metadatos incluidos en cada perfil de datos, consulta la Referencia de las métricas.
Para obtener más información sobre la jerarquía de recursos de Google Cloud, consulta Jerarquía de recursos.
Descubrimiento de datos de BigQuery
Cuando generas perfiles de datos de BigQuery, los perfiles de datos se generan a nivel de proyecto, tabla y columna. Después de generar perfiles de una tabla de BigQuery, puedes investigar más los resultados mediante una inspección profunda.
Para obtener más información sobre BigQuery, consulta la documentación de BigQuery.
Descubrimiento de datos de Cloud SQL
Cuando generas perfiles de datos de Cloud SQL, los perfiles de datos se generan a nivel del proyecto, la tabla y la columna. Antes de que comience el descubrimiento, debes proporcionar los detalles de conexión de cada instancia de Cloud SQL para la que se creará un perfil.
Para obtener más información sobre Cloud SQL, consulta la documentación de Cloud SQL.
Generación de perfiles de datos
Para comenzar a generar perfiles de datos, crea una configuración de análisis de descubrimiento (también denominada configuración del perfil de datos). En esta configuración de análisis, estableces el alcance de la operación de descubrimiento y el tipo de datos para los que deseas generar perfiles. En la configuración del análisis, puedes establecer filtros para especificar subconjuntos de datos que quieres omitir o generar perfiles. También puedes establecer el programa de generación de perfiles.
Cuando creas una configuración de análisis, también debes establecer la plantilla de inspección que usarás. En la plantilla de inspección, debes especificar los tipos de datos sensibles (también llamados infoTypes) que debe analizar la protección de datos sensibles.
Cuando la Protección de datos sensibles crea perfiles de datos, analiza tus datos en función de la configuración de análisis y la plantilla de inspección.
Recursos admitidos
En esta sección, se describen los recursos que la protección de datos sensibles puede generar perfiles.
BigQuery y BigLake
La protección de datos sensibles genera perfiles de las tablas que son compatibles con la API de BigQuery Storage Read, incluidas las siguientes:
- Tablas estándar de BigQuery
- Tablas de BigLake almacenadas en Cloud Storage
No se admite lo siguiente:
- tablas de BigQuery Omni.
- Tablas en las que el tamaño de datos serializados de filas individuales supera el tamaño máximo de datos serializados que admite la API de Storage Read de BigQuery: 128 MB.
- Tablas externas que no son de BigLake, como Hojas de cálculo de Google
Cloud SQL
La protección de datos sensibles puede generar perfiles de las tablas de Cloud SQL.
Funciones necesarias para configurar y ver los perfiles de datos
En las siguientes secciones, se enumeran las funciones del usuario necesarias, categorizadas de acuerdo con su propósito. Según cómo esté configurada tu organización, es posible que decidas que diferentes personas realicen diferentes tareas. Por ejemplo, la persona que configura los perfiles de datos puede ser diferente de la persona que los supervisa con regularidad.
Funciones necesarias para trabajar con perfiles de datos a nivel de la organización o la carpeta
Estas funciones te permiten configurar y ver perfiles de datos a nivel de la organización o la carpeta.
Asegúrate de que estas funciones se otorguen a las personas adecuadas a nivel de la organización. Como alternativa, el administrador de Google Cloud puede crear roles personalizados que solo tengan los permisos relevantes.
| Objetivo | Función predefinida | Permisos relevantes |
|---|---|---|
| Crea una configuración de análisis y visualiza perfiles de datos | Administrador de DLP (roles/dlp.admin)
|
|
| Crea un proyecto para usarlo como el contenedor del agente de servicio1 | Creador del proyecto (roles/resourcemanager.projectCreator) |
|
| Otorga acceso a la generación de perfiles de datos2 | Uno de los siguientes:
|
|
| Ver perfiles de datos (solo lectura) | Lector de perfiles de datos de DLP (roles/dlp.dataProfilesReader) |
|
Lector de PPD (roles/dlp.reader) |
|
1 Aunque no tengas la función de Creador de proyectos (roles/resourcemanager.projectCreator), puedes crear una configuración de análisis, pero el contenedor del agente de servicio que uses debe ser un proyecto existente.
2 Si no tienes el rol de administrador de la organización (roles/resourcemanager.organizationAdmin) o administrador de seguridad (roles/iam.securityAdmin), puedes crear una configuración de análisis de todos modos. Después de crear la configuración de análisis, un miembro de tu organización que tenga una de estas funciones debe otorgarle acceso de descubrimiento al agente de servicio.
Funciones necesarias para trabajar con perfiles de datos a nivel de proyecto
Estos roles te permiten configurar y ver perfiles de datos a nivel de proyecto.
Asegúrate de que estas funciones se otorguen a las personas adecuadas a nivel de proyecto. Como alternativa, el administrador de Google Cloud puede crear roles personalizados que solo tengan los permisos relevantes.
| Objetivo | Función predefinida | Permisos relevantes |
|---|---|---|
| Configurar y visualizar perfiles de datos | Administrador de DLP (roles/dlp.admin)
|
|
| Ver perfiles de datos (solo lectura) | Lector de perfiles de datos de DLP (roles/dlp.dataProfilesReader) |
|
Lector de PPD (roles/dlp.reader) |
|
Configuración del análisis de descubrimiento
Una configuración de análisis de descubrimiento o una configuración de perfil de datos especifican qué recurso (una organización, carpeta o proyecto) se debe generar el perfil, qué plantilla de inspección usar y qué hacer con los resultados. También contiene detalles administrativos, como qué contenedor de agente de servicio asociar al análisis y qué cuenta de facturación usar.
Tipos de descubrimiento
El servicio de descubrimiento admite los siguientes tipos de operaciones:
- Generación de perfiles de datos de BigQuery
- Generación de perfiles de datos de Cloud SQL
- Descubrimiento de secretos (sin perfiles de datos generados)
Analizar los permisos de la configuración
Puedes crear una configuración de análisis en los siguientes niveles:
- Organización
- Carpeta
- Proyecto
- Tabla (modo de prueba)
A nivel de organización y carpeta, si dos o más configuraciones de análisis activas tienen el mismo proyecto en su alcance, Sensitive Data Protection determina qué configuración de análisis puede generar perfiles para ese proyecto. Para obtener más información, consulta Anula configuraciones de análisis en esta página.
Una configuración de análisis a nivel de proyecto siempre puede generar perfiles del proyecto de destino y no compite con otras configuraciones a nivel de la organización o carpeta superior.
La configuración de análisis a nivel de tabla está diseñada para ayudarte a explorar y probar la generación de perfiles en una sola tabla.
Ubicación de la configuración de análisis
La primera vez que creas una configuración de análisis, especificas dónde quieres que la Protección de datos sensibles la almacene. Todas las configuraciones de análisis posteriores que crees se almacenarán en esa misma región.
Por ejemplo, si creas una configuración de análisis para la carpeta A y la almacenas en la región us-west1, cualquier configuración de análisis que crees más adelante para cualquier otro recurso también se almacenará en esa región.
Los metadatos sobre los datos para los que se crea el perfil se copian en la misma región que las configuraciones de análisis, pero los datos en sí no se mueven ni se copian. Para obtener más información, consulta Consideraciones de residencia de datos.
Plantilla de inspección
Una plantilla de inspección especifica qué tipos de información (o infotipos) busca la protección de datos sensibles mientras analiza tus datos. Aquí, debes proporcionar una combinación de Infotipos integrados y Infotipos personalizados opcionales.
También puedes proporcionar un nivel de probabilidad para reducir lo que la protección de datos sensibles considera una coincidencia. Puedes agregar conjuntos de reglas para excluir los resultados no deseados o incluir resultados adicionales.
De forma predeterminada, si cambias una plantilla de inspección que usa tu configuración de análisis, los cambios se aplicarán solo a los análisis futuros. Tu acción no genera una operación para volver a generar el perfil de tus datos.
Si quieres que los cambios en la plantilla de inspección activen las operaciones de cambio del perfil en los datos afectados, agrega o actualiza un programa en la configuración de análisis y activa la opción de volver a generar el perfil de los datos cuando cambie la plantilla de inspección. Para obtener más información, consulta Frecuencia de generación de perfiles de datos.
Debes tener una plantilla de inspección en cada región en la que tengas datos para generar perfiles. Si quieres usar una sola plantilla para varias regiones, puedes utilizar una plantilla que se almacena en la región global. Si las políticas de la organización te impiden crear una plantilla de inspección de global, debes establecer una plantilla de inspección dedicada para cada región. Para obtener más información, consulta Consideraciones de residencia de datos.
Las plantillas de inspección son un componente central de la plataforma de protección de datos sensibles. Los perfiles de datos usan las mismas plantillas de inspección que puedes usar en todos los servicios de protección de datos sensibles. Para obtener más información sobre las plantillas de inspección, consulta Plantillas.
Contenedor y agente de servicio
Cuando creas una configuración de análisis para tu organización o una carpeta, la protección de datos sensibles requiere que proporciones un contenedor de agente de servicio. Un contenedor de agente de servicio es un proyecto de Google Cloud que la protección de datos sensibles usa para hacer un seguimiento de los cargos facturados relacionados con las operaciones de generación de perfiles a nivel de la organización y la carpeta.
El contenedor del agente de servicio contiene un agente de servicio, que es una cuenta de servicio administrada por Google que la protección de datos sensibles usa para generar perfiles de los datos en tu nombre. Necesitas un agente de servicio para autenticarte en la protección de datos sensibles y otras APIs. El agente de servicio debe tener todos los permisos necesarios para acceder a tus datos y generar perfiles de ellos. El ID del agente de servicio tiene el siguiente formato:
service-PROJECT_NUMBER@dlp-api.iam.gserviceaccount.com
Aquí, PROJECT_NUMBER es el identificador numérico del contenedor del agente de servicio.
Cuando configuras el contenedor del agente de servicio, puedes elegir un proyecto existente. Si el proyecto que seleccionas contiene un agente de servicio, Sensitive Data Protection otorga los permisos de IAM necesarios a ese agente de servicio. Si el proyecto no tiene un agente de servicio, la protección de datos sensibles crea uno y le otorga automáticamente permisos de creación de perfiles de datos.
Como alternativa, puedes hacer que la protección de datos sensibles cree automáticamente el contenedor y el agente de servicio. La protección de datos sensibles otorga automáticamente permisos de creación de perfiles de datos al agente de servicio.
En ambos casos, si la protección de datos sensibles no otorga acceso a la generación de perfiles de datos al agente de servicio, se mostrará un error cuando veas los detalles de la configuración del análisis.
Para la configuración de análisis a nivel de proyecto, no necesitas un contenedor de agente de servicio. El proyecto que buscas cumple el propósito del contenedor del agente de servicio. Para ejecutar operaciones de generación de perfiles, la protección de datos sensibles usa el agente de servicio propio de ese proyecto.
Acceso a la creación de perfiles de datos a nivel de la organización o la carpeta
Cuando configuras la generación de perfiles a nivel de la organización o de la carpeta, la protección de datos sensibles intenta otorgar de forma automática acceso a la generación de perfiles de datos al agente de servicio. Sin embargo, si no tienes los permisos para otorgar roles de IAM, la protección de datos sensibles no puede realizar esta acción en tu nombre. Alguien con esos permisos en tu organización, como un administrador de Google Cloud, debe otorgar acceso a la generación de perfiles de datos al agente de servicio.
Frecuencia de generación de perfiles de datos
Según la configuración predeterminada, la protección de datos sensibles perfila tus datos de la siguiente manera:
Después de crear una configuración de análisis para un recurso en particular, la protección de datos sensibles realiza un análisis inicial y genera perfiles de los datos dentro del alcance de la configuración del análisis. Después del análisis inicial, supervisa de forma continua esos datos en busca de adiciones o cambios.
La protección de datos sensibles genera perfiles de las tablas nuevas que agregas poco después de hacerlo.
Cada 30 días, la protección de datos sensibles vuelve a generar el perfil de las tablas existentes que experimentaron cambios de esquema en los últimos 30 días.
En tu configuración de análisis, puedes personalizar la frecuencia de generación de perfiles creando uno o más programas para diferentes subconjuntos de tus datos. Puedes especificar subconjuntos de datos para los que nunca deseas que se generen perfiles. También puedes especificar los tipos de eventos que deben activar operaciones de regeneración del perfil. Algunos ejemplos de estos eventos son las actualizaciones del esquema de la tabla y las actualizaciones de las plantillas de inspección.
Las siguientes opciones de regeneración están disponibles:
- No volver a generar el perfil: Nunca vuelvas a generar el perfil después de que se generen los perfiles iniciales.
- Volver a generar el perfil diariamente: Espera 24 horas antes de volver a generar el perfil de cualquier dato actualizado.
- Volver a generar el perfil semanalmente: Espera 7 días antes de volver a generar el perfil de los datos actualizados.
- Volver a generar el perfil mensualmente: Espera 30 días antes de volver a generar el perfil de los datos actualizados.
El programa especifica el tiempo durante más tiempo que la protección de datos sensibles espera a que se acumulen las actualizaciones antes de volver a generar el perfil de tus datos. Si no ocurren cambios aplicables, como cambios de esquema o plantillas de inspección, dentro del período especificado, no se vuelve a generar el perfil de los datos. Cuando se produce el siguiente cambio aplicable, se vuelve a generar el perfil de los datos afectados en la próxima oportunidad, que se determina por varios factores (como la capacidad de la máquina disponible o las unidades de suscripción compradas). Luego, la protección de datos sensibles comienza a esperar a que se vuelvan a acumular las actualizaciones según el programa que hayas establecido.
Por ejemplo, supongamos que tu configuración de análisis está establecida para volver a generar el perfil mensualmente en el cambio de esquema. Los perfiles de datos se crearon por primera vez el día 0. No se producen cambios de esquema para el día 30, por lo que no se vuelve a generar el perfil de los datos. El día 35, se produce el primer cambio de esquema. La protección de datos sensibles vuelve a generar el perfil de los datos actualizados en la próxima oportunidad. Luego, el sistema espera otros 30 días para que se acumulen las actualizaciones del esquema antes de volver a generar el perfil de cualquier dato actualizado.
Desde el momento en que comienza la regeneración del perfil, la operación puede tardar hasta 24 horas en completarse. Si el retraso dura más de 24 horas y estás en el modo de precios de suscripción, confirma si tienes la capacidad restante para el mes.
Por ejemplo, consulta Ejemplos de precios de la creación de perfiles de datos.
Rendimiento de la generación de perfiles
El tiempo que lleva generar perfiles de tus datos varía según varios factores, incluidos, sin limitaciones, los siguientes:
- Cantidad de tablas para las que se crean perfiles
- Tamaños de las tablas
- Cantidad de columnas en las tablas
- Tipos de datos en las columnas
Por lo tanto, el rendimiento de la protección de datos sensibles en una tarea de inspección o generación de perfiles anterior no indica cómo se desempeñará en tareas futuras de generación de perfiles.
Retención de perfiles de datos
La protección de datos sensibles conserva la versión más reciente de un perfil de datos durante 13 meses. Cuando la protección de datos sensibles vuelve a generar el perfil de una tabla actualizada, reemplaza los perfiles de datos existentes de esa tabla por otros nuevos.
Considere estas situaciones:
El 1 de enero, la protección de datos sensibles perfila la Tabla A. La Tabla A no cambia en el transcurso de un año, por lo que no se la vuelve a perfilar. En este caso, la protección de datos sensibles retiene los perfiles de datos de la Tabla A durante 13 meses antes de borrarlos.
El 1 de enero, la protección de datos sensibles perfila la Tabla A. En el mes, un miembro de tu organización actualiza el esquema de esa tabla. Debido a este cambio, al mes siguiente, la protección de datos sensibles vuelve a generar automáticamente el perfil de la Tabla A. Los perfiles de datos recién generados reemplazan a los que se crearon en enero.
Para obtener información sobre cómo se cobra la protección de datos sensibles por la generación de perfiles de tablas nuevas y modificadas, consulta Precios de la generación de perfiles de datos.
Si deseas conservar los perfiles de datos de forma indefinida o mantener un registro de los cambios que experimentan, considera guardarlos en BigQuery cuando configures la generación de perfiles. Tú eliges en qué conjunto de datos de BigQuery guardar los perfiles y controlas la política de vencimiento de tablas para ese conjunto de datos.
Anula configuraciones de análisis
Solo puedes crear una configuración de análisis para cada combinación de alcance y tipo de descubrimiento. Por ejemplo, solo puedes crear una configuración de análisis a nivel de la organización para la creación de perfiles de datos de BigQuery y una a nivel de la organización para el descubrimiento de secretos. Del mismo modo, solo puedes crear una configuración de análisis a nivel de proyecto para la creación de perfiles de datos de BigQuery y una configuración de análisis a nivel de proyecto para el descubrimiento de secretos.
Si dos o más configuraciones de análisis activas tienen el mismo proyecto y tipo de descubrimiento en su alcance, se aplican las siguientes reglas:
- Entre las configuraciones de análisis a nivel de organización y de carpeta, la que esté más cerca del proyecto podrá ejecutar el descubrimiento de ese proyecto. Esta regla se aplica incluso si también existe una configuración de análisis a nivel de proyecto con el mismo tipo de descubrimiento.
- La protección de datos sensibles trata las configuraciones de análisis a nivel de proyecto independientemente de las configuraciones a nivel de organización y de carpeta. Una configuración de análisis que crees a nivel de proyecto no puede anular una creada para una organización o carpeta superior.
Considera el siguiente ejemplo, en el que hay tres configuraciones de análisis activas. Supongamos que todas estas configuraciones de análisis son para la creación de perfiles de datos de BigQuery.
Aquí, la Configuración de análisis 1 se aplica a toda la organización, la Configuración de análisis 2 se aplica a la carpeta Equipo B y al Configuración de análisis 3 se aplica al proyecto de Producción. En este ejemplo:
- La protección de datos sensibles genera perfiles de todas las tablas en los proyectos que no están en la carpeta Equipo B según la Configuración del análisis 1.
- La protección de datos sensibles genera perfiles de todas las tablas en los proyectos de la carpeta Equipo B, incluidas las tablas del proyecto Producción, de acuerdo con la Configuración del análisis 2.
- La protección de datos sensibles genera perfiles de todas las tablas en el proyecto de Producción de acuerdo con la Configuración del análisis 3.
En este ejemplo, la protección de datos sensibles genera dos conjuntos de perfiles para el proyecto Producción, uno para cada una de las siguientes opciones de configuración de análisis:
- Configuración de análisis 2
- Configuración de análisis 3
Sin embargo, aunque hay dos conjuntos de perfiles para el mismo proyecto, no los verás todos juntos en tu panel. Solo verás los perfiles que se generaron en el recurso (organización, carpeta o proyecto) y la región que estés viendo.
Para obtener más información sobre la jerarquía de recursos de Google Cloud, consulta Jerarquía de recursos.
Instantáneas de perfiles de datos
Cada perfil de datos incluye una instantánea de la configuración del análisis y la plantilla de inspección que se usó para generarla. Puedes usar esta instantánea a fin de verificar la configuración que usaste para generar un perfil de datos en particular.
Consideraciones sobre la residencia de los datos
La Protección de datos sensibles está diseñada para respaldar la residencia de los datos. Si debes cumplir con los requisitos de residencia de datos, ten en cuenta los siguientes puntos:
Regiones de inspección
La protección de datos sensibles inspecciona tus datos en la misma región donde se almacenan. Es decir, tus datos no salen de su región actual.
Además, una plantilla de inspección solo se puede usar para generar perfiles de datos que residan en la misma región que esa plantilla. Por ejemplo, si configuras el Generador de perfiles de datos para usar una plantilla de inspección almacenada en la región us-west1, la protección de datos sensibles solo podrá generar perfiles de datos en esa región.
Puedes configurar una plantilla de inspección dedicada para cada región en la que tengas datos.
Si proporcionas una plantilla de inspección que se almacena en la región global, la protección de datos sensibles usa esa plantilla para los datos en regiones sin una plantilla de inspección dedicada.
En la siguiente tabla, se proporcionan situaciones de ejemplo:
| Situación | Asistencia |
|---|---|
Analiza datos en la región us mediante una plantilla de inspección de la región us. |
Admitido |
Analiza datos en la región global con una plantilla de inspección de la región us. |
No compatible |
Analiza datos en la región us mediante una plantilla de inspección de la región global. |
Admitido |
Analiza datos en la región us mediante una plantilla de inspección de la región us-east1. |
No compatible |
Analiza datos en la región us-east1 con una plantilla de inspección de la región us. |
No compatible |
Analiza datos en la región us mediante una plantilla de inspección de la región asia. |
No compatible |
Configuración del perfil de datos
Cuando la protección de datos sensibles crea perfiles de datos, toma una instantánea de la configuración del análisis y la plantilla de inspección, y los almacena en cada perfil de datos de la tabla. Si configuras el generador de perfiles de datos para usar una plantilla de inspección de la región global, la protección de datos sensibles copia la plantilla en cualquier región que tenga datos para la que se generen perfiles. De manera similar, copia la configuración de análisis en esas regiones.
Considera este ejemplo: el Proyecto A contiene la Tabla 1. La tabla 1 se encuentra en la región us-west1, la configuración de análisis está en la región us-west2 y la plantilla de inspección está en la región global.
Cuando la Protección de datos sensibles analiza el Proyecto A, crea perfiles de datos para la Tabla 1 y los almacena en la región us-west1. El perfil de datos de la tabla de la Tabla 1 contiene copias de la configuración de análisis y la plantilla de inspección que se usa en la operación de generación de perfiles.
Si no quieres que tu plantilla de inspección se copie en otras regiones, no configures la protección de datos sensibles para analizar datos en esas regiones.
Almacenamiento regional de perfiles de datos
Después de inspeccionar tus datos, la protección de datos sensibles genera perfiles de datos. Almacena cada perfil de datos en la misma región en la que se almacenan los datos de destino, que también es donde se procesa la inspección. Para ver los perfiles de datos en la consola de Google Cloud, primero debes seleccionar la región en la que residen. Si tienes datos en varias regiones, debes cambiar de región para ver cada conjunto de perfiles.
Regiones no admitidas
Si tienes tablas en una región que no admite la protección de datos sensibles, se omiten esas tablas y se muestra un error cuando visualizas los perfiles de datos.
Multirregiones
La protección de datos sensibles trata una multirregión como una región y no como un conjunto de regiones. Por ejemplo, la multirregión us y la región us-west1 se tratan como dos regiones distintas en lo que respecta a la residencia de datos.
Cumplimiento
Para obtener información sobre cómo la Protección de datos sensibles controla tus datos y te ayuda a cumplir con los requisitos de cumplimiento, consulta Seguridad de los datos.
¿Qué sigue?
Lee la entrada de blog de Identidad y seguridad Administración automática del riesgo de los datos para BigQuery mediante la protección de datos sensibles.
Obtén más información para estimar el costo de la creación de perfiles de datos.
Aprende a generar perfiles de datos a nivel de la organización, la carpeta o el proyecto.
Obtén información sobre cómo la protección de datos sensibles calcula el riesgo de los datos y los niveles de sensibilidad de tus tablas y columnas.
Obtén información sobre cómo solucionar los resultados del generador de perfiles de datos.
Obtén información sobre cómo solucionar problemas con el generador de perfiles de datos.