Genera perfiles de datos de BigQuery en una organización o carpeta

En esta página, se describe cómo configurar el descubrimiento de datos de BigQuery a nivel de una organización o carpeta. Si deseas crear un perfil de un proyecto, consulta Cómo crear perfiles de datos de BigQuery en un solo proyecto.

Para obtener más información sobre el servicio de descubrimiento, consulta Perfiles de datos.

Para comenzar a generar perfiles de datos, debes crear una configuración de análisis.

Antes de comenzar

  1. Confirma que tienes los permisos de IAM necesarios para configurar perfiles de datos a nivel de la organización.

    Si no tienes el rol de administrador de la organización (roles/resourcemanager.organizationAdmin) o de administrador de seguridad (roles/iam.securityAdmin), puedes crear una configuración de análisis. Sin embargo, después de crear la configuración de análisis, alguien con cualquiera de esos roles debe otorgar acceso a la generación de perfiles de datos a tu agente de servicio.

  2. Debes tener una plantilla de inspección en cada región en la que tengas datos para el perfil. Si deseas usar una sola plantilla para varias regiones, puedes usar una plantilla que se almacene en la región global. Si las políticas organizacionales te impiden crear una plantilla de inspección en la región global, entonces debes establecer una plantilla de inspección dedicada para cada región. Para obtener más información, consulta Consideraciones sobre la residencia de los datos.

    Esta tarea te permite crear una plantilla de inspección solo en la región global. Si necesitas plantillas de inspección específicas para una o más regiones, debes crearlas antes de realizar esta tarea.

  3. Para enviar notificaciones de Pub/Sub a un tema cuando ocurran ciertos eventos, como cuando la Protección de datos sensibles genere el perfil de una tabla nueva, crea un tema de Pub/Sub antes de realizar esta tarea.

  4. Puedes configurar la Protección de datos sensibles para que adjunte etiquetas automáticamente a tus recursos. Esta función te permite otorgar acceso de forma condicional a esos recursos según sus niveles de sensibilidad calculados. Si quieres usar esta función, primero debes completar las tareas que se indican en Controla el acceso de IAM a los recursos según la sensibilidad de los datos.

Para generar perfiles de datos, necesitas un contenedor de agente de servicio y un agente de servicio dentro de él. Esta tarea te permite crearlos automáticamente.

Crear una configuración de análisis

  1. Ve a la página Crear configuración de análisis.

    Ir a Crear configuración de análisis

  2. Ve a tu organización. En la barra de herramientas, haz clic en el selector de proyectos y selecciona tu organización.

En las siguientes secciones, se proporciona más información sobre los pasos de la página Crear configuración de análisis. Al final de cada sección, haz clic en Continuar.

Selecciona un tipo de descubrimiento

Selecciona BigQuery.

Selecciona el permiso

Realiza una de las siguientes acciones:

  • Para configurar la generación de perfiles a nivel de la organización, selecciona Analizar toda la organización.
  • Para configurar la generación de perfiles a nivel de una carpeta, selecciona Analizar la carpeta seleccionada. Haz clic en Explorar y selecciona la carpeta.

Administrar programas

Si la frecuencia de generación de perfiles predeterminada se ajusta a tus necesidades, puedes omitir esta sección de la página Crear configuración de análisis.

Configura esta sección por los siguientes motivos:

  • Para realizar ajustes detallados en la frecuencia de generación de perfiles de todos tus datos o de ciertos subconjuntos de tus datos.
  • Para especificar las tablas de las que no quieres crear perfiles.
  • Para especificar las tablas de las que no quieres crear perfiles más de una vez.

Para realizar ajustes detallados en la frecuencia de generación de perfiles, sigue estos pasos:

  1. Haz clic en Agregar programa.
  2. En la sección Filtros, define uno o más filtros que especifiquen qué tablas están dentro del alcance de la programación.

    Especifica al menos uno de los siguientes elementos:

    • Un ID del proyecto o una expresión regular que especifique uno o más proyectos
    • Un ID de conjunto de datos o una expresión regular que especifique uno o más conjuntos de datos
    • Un ID de tabla o una expresión regular que especifique una o más tablas

    Las expresiones regulares deben seguir la sintaxis RE2.

    Por ejemplo, si deseas que todas las tablas de un proyecto se incluyan en el filtro, especifica el ID de ese proyecto y deja los otros dos campos en blanco.

    Si deseas agregar más filtros, haz clic en Agregar filtro y repite este paso.

  3. Haz clic en Frecuencia.

  4. En la sección Frecuencia, especifica si Sensitive Data Protection debe generar perfiles de las tablas que definiste en tus filtros y, de ser así, con qué frecuencia:

    • Si no quieres que se creen perfiles de las tablas, desactiva Crear perfiles de las tablas.

    • Si quieres que se generen perfiles de las tablas al menos una vez, deja activada la opción Generar perfiles de las tablas.

      En los siguientes campos de esta sección, especificas si el sistema debe volver a crear un perfil de tus datos y qué eventos deben activar una operación de nueva creación de perfil. Para obtener más información, consulta Frecuencia de generación de perfiles de datos.

      1. En Cuando cambia el esquema, especifica la frecuencia con la que la Protección de datos sensibles debe verificar si las tablas seleccionadas tuvieron cambios de esquema después de la última vez que se generaron sus perfiles. Solo se volverán a generar perfiles de las tablas con cambios de esquema.
      2. En Tipos de cambios de esquema, especifica qué tipos de cambios de esquema deben activar una operación de nueva generación de perfiles. Selecciona una de las siguientes opciones:
        • Columnas nuevas: Vuelve a perfilar las tablas que obtuvieron columnas nuevas.
        • Columnas quitadas: Vuelve a perfilar las tablas de las que se quitaron columnas.

        Por ejemplo, supongamos que tienes tablas que obtienen columnas nuevas todos los días y necesitas generar perfiles de su contenido cada vez. Puedes establecer Cuando cambia el esquema en Volver a generar el perfil diariamente y Tipos de cambio de esquema en Columnas nuevas.

      3. En Cuando cambia la tabla, especifica la frecuencia con la que la Protección de datos sensibles debe verificar si las tablas seleccionadas tuvieron algún cambio después de que se generaron sus perfiles por última vez. Solo se volverán a perfilar las tablas con cambios. Algunos ejemplos de cambios en la tabla son las eliminaciones de filas y los cambios de esquema.

        Debes seleccionar un valor que sea igual o menos frecuente que el valor que estableciste en el campo When schema changes.

      4. En Cuando inspeccionas cambios en la plantilla, especifica si deseas que se vuelva a generar el perfil de tus datos cuando se actualice la plantilla de inspección asociada y, de ser así, con qué frecuencia.

        Se detecta un cambio en la plantilla de inspección cuando ocurre alguna de las siguientes situaciones:

        • El nombre de una plantilla de inspección cambia en la configuración de análisis.
        • Cambia el updateTime de una plantilla de inspección.

      5. Por ejemplo, si configuras una plantilla de inspección para la región us-west1 y la actualizas, solo se volverá a generar el perfil de los datos de la región us-west1.

  5. Haz clic en Condiciones.

  6. En la sección Condiciones, especifica las condiciones que deben cumplir las tablas, definidas en tus filtros, antes de que Sensitive Data Protection genere perfiles de ellas. Si estableces condiciones mínimas y la condición de tiempo, Sensitive Data Protection solo genera perfiles de las tablas que cumplen con ambos tipos de condiciones.

    • Condiciones mínimas: Estas condiciones son útiles si deseas retrasar la generación de perfiles de una tabla hasta que tenga suficientes filas o hasta que alcance una antigüedad determinada. Activa las condiciones que deseas aplicar y especifica el recuento mínimo de filas o la duración.
    • Condición de tiempo: Esta condición es útil si no deseas que se generen perfiles de tablas antiguas. Activa la condición de hora y elige una fecha y una hora. Cualquier tabla creada hasta esa fecha se excluye de la generación de perfiles.

    Condiciones de ejemplo

    Supongamos que tienes la siguiente configuración:

    • Condiciones mínimas

      • Cantidad mínima de filas: 10 filas
      • Duración mínima: 24 horas
    • Condición de hora

      • Marca de tiempo: 4/5/22, 11:59 p.m.

    En este caso, Sensitive Data Protection excluye todas las tablas creadas el 4 de mayo de 2022 a las 11:59 p.m. o antes. Entre las tablas creadas después de esta fecha y hora, Sensitive Data Protection solo genera perfiles de las tablas que tienen 10 filas o tienen al menos 24 horas de antigüedad.

  7. En la sección Tablas para generar perfiles, selecciona una de las siguientes opciones, según los tipos de tablas que deseas generar perfiles:

    • Crear perfiles de todas las tablas: Selecciona esta opción si deseas que la Protección de datos sensibles cree perfiles de todos los tipos de tablas que coincidan con tus filtros y condiciones.

      En el caso de los tipos de tablas que no son compatibles, Sensitive Data Protection solo genera perfiles parcialmente propagados. Estos perfiles muestran errores que indican que las tablas a las que pertenecen no son compatibles. Selecciona esta opción si quieres ver los perfiles parciales a pesar de los mensajes de error.

      Cuando la protección de datos sensibles agrega compatibilidad con un tipo de tabla nuevo, vuelve a generar el perfil de las tablas de ese tipo por completo durante la próxima ejecución programada.

    • Generar perfiles de tablas compatibles: Selecciona esta opción si quieres que la Protección de datos sensibles genere perfiles solo de las tablas compatibles que coincidan con tus filtros y condiciones. Las tablas no compatibles no tendrán perfiles parciales.

    • Generar perfiles de tipos de tablas específicos: Selecciona esta opción si quieres que la Protección de datos sensibles genere perfiles solo de los tipos de tablas que selecciones. En la lista que aparece, selecciona uno o más tipos.

      Cuando la protección de datos sensibles agrega compatibilidad con un nuevo tipo de tabla, no genera perfiles automáticamente de las tablas de ese tipo. Para crear perfiles de los tipos de tablas compatibles recientemente, debes editar la configuración de análisis y seleccionar esos tipos.

    Si no seleccionas ninguna opción, la Protección de datos sensibles solo genera perfiles de las tablas de BigQuery y muestra errores en las tablas no compatibles.

    Los precios de la generación de perfiles de datos varían según los tipos de tablas para las que se generan perfiles. Para obtener más información, consulta Precios de la generación de perfiles de datos.

  8. Haz clic en Listo.

  9. Si deseas agregar más programas, haz clic en Agregar programación y repite los pasos anteriores.

  10. Para especificar la prioridad entre los programas, reordena los programas con las flechas hacia arriba y hacia abajo .

    El orden de las agendas especifica cómo se resuelven los conflictos entre ellas. Si una tabla coincide con los filtros de dos programas diferentes, el programa que está más arriba en la lista de programas determina la frecuencia de generación de perfiles para esa tabla.

    El último programa de la lista siempre es el etiquetado como Programación predeterminada. Esta programación predeterminada abarca las tablas del alcance seleccionado que no coinciden con ninguna de las programaciones que creaste. Este programa predeterminado sigue la frecuencia de creación de perfiles predeterminada del sistema.

  11. Si deseas ajustar la programación predeterminada, haz clic en Editar programación y ajusta la configuración según sea necesario.

Selecciona una plantilla de inspección

Según cómo quieras proporcionar una configuración de inspección, elige una de las siguientes opciones. Independientemente de la opción que elijas, la Protección de datos sensibles analiza tus datos en la región donde se almacenan. Es decir, tus datos no salen de su región de origen.

Opción 1: Crea una plantilla de inspección

Elige esta opción si deseas crear una plantilla de inspección nueva en la región global.

  1. Haz clic en Crear una plantilla de inspección nueva.
  2. Opcional: Para modificar la selección predeterminada de infotipos, haz clic en Administrar infotipos.

    Para obtener más información sobre cómo administrar infotipos integrados y personalizados, consulta Administra infotipos a través de la consola de Google Cloud.

    Debes seleccionar al menos un Infotipo para continuar.

  3. Opcional: Agrega conjuntos de reglas y establece un umbral de confianza para configurar mejor la plantilla de inspección. Para obtener más información, consulta Configura la detección.

Cuando Sensitive Data Protection crea la configuración de análisis, almacena esta plantilla de inspección nueva en la región global.

Opción 2: Usa una plantilla de inspección existente

Elige esta opción si tienes plantillas de inspección existentes que quieres usar.

  1. Haz clic en Seleccionar plantilla de inspección existente.
  2. Ingresa el nombre completo del recurso de la plantilla de inspección que deseas usar. El campo Región se completa automáticamente con el nombre de la región en la que se almacena tu plantilla de inspección.

    La plantilla de inspección que ingreses debe estar en la misma región que los datos para el perfil.

    Para respetar la residencia de datos, Sensitive Data Protection no usa una plantilla de inspección fuera de la región en la que se almacena.

    Para encontrar el nombre completo del recurso de una plantilla de inspección, sigue estos pasos:

    1. Ve a la lista de plantillas de inspección. Esta página se abrirá en una pestaña nueva.

      Ir a las plantillas de inspección

    2. Cambia al proyecto que contiene la plantilla de inspección que deseas usar.
    3. En la pestaña Plantillas, haz clic en el ID de la plantilla que deseas usar.
    4. En la página que se abre, copia el nombre completo de recurso de la plantilla. El nombre completo del recurso tiene el siguiente formato:
      projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID
    5. En la página Crear configuración de análisis, en el campo Nombre de la plantilla, pega el nombre completo de recurso de la plantilla.
  3. Para agregar una plantilla de inspección para otra región, haz clic en Agregar plantilla de inspección y, luego, ingresa el nombre completo del recurso de la plantilla. Repite este proceso para cada región en la que tengas una plantilla de inspección dedicada.
  4. Opcional: Agrega una plantilla de inspección que se almacene en la región global. La Protección de datos sensibles usa automáticamente esa plantilla para los datos de las regiones en las que no tienes una plantilla de inspección específica.

Agrega acciones

En las siguientes secciones, especificas las acciones que deseas que la Protección de datos sensibles realice después de generar los perfiles de datos.

Para obtener información sobre cómo otros servicios de Google Cloud pueden cobrarte por configurar acciones, consulta Precios para exportar perfiles de datos.

Publicar en Google Security Operations

Las métricas recopiladas de los perfiles de datos pueden agregar contexto a los resultados de las Operaciones de seguridad de Google. El contexto agregado puede ayudarte a determinar los problemas de seguridad más importantes que debes abordar.

Por ejemplo, si investigas un agente de servicio en particular, Google Security Operations puede determinar a qué recursos accedió el agente de servicio y si alguno de esos recursos tenía datos de alta sensibilidad.

Para enviar tus perfiles de datos a tu instancia de Google Security Operations, activa Google Security Operations.

Si no tienes una instancia de Google Security Operations habilitada para tu organización, ya sea a través del producto independiente o de Security Command Center Enterprise, activar esta opción no tendrá efecto.

Publicar en Security Command Center

Los resultados de los perfiles de datos proporcionan contexto cuando clasificas y desarrollas planes de respuesta para los resultados de vulnerabilidades y amenazas en Security Command Center.

Para poder usar esta acción, Security Command Center debe estar activado a nivel de la organización. Si activas Security Command Center a nivel de la organización, se habilita el flujo de resultados de los servicios integrados, como la Protección de datos sensibles. Sensitive Data Protection funciona con Security Command Center en todos los niveles de servicio.

Si Security Command Center no está activado a nivel de la organización, los resultados de la Protección de datos sensibles no aparecerán en Security Command Center. Para obtener más información, consulta Verifica el nivel de activación de Security Command Center.

Para enviar los resultados de tus perfiles de datos a Security Command Center, asegúrate de que la opción Publicar en Security Command Center esté activada.

Para obtener más información, consulta Cómo publicar perfiles de datos en Security Command Center.

Guardar copias de los perfiles de datos en BigQuery

Si activas Guardar copias de los perfiles de datos en BigQuery, podrás conservar una copia guardada o un historial de todos los perfiles generados. Esto puede ser útil para crear informes de auditoría y visualizar perfiles de datos. También puedes cargar esta información en otros sistemas.

Además, esta opción te permite ver todos tus perfiles de datos en una sola vista, independientemente de la región en la que se encuentren. Si desactivas esta opción, aún puedes ver los perfiles de datos en la consola de Google Cloud. Sin embargo, en la consola de Google Cloud, seleccionas una región a la vez y solo ves los perfiles de datos de esa región.

Para exportar copias de los perfiles de datos a una tabla de BigQuery, sigue estos pasos:

  1. Activa Guardar copias de los perfiles de datos en BigQuery.

  2. Ingresa los detalles de la tabla de BigQuery en la que deseas guardar los perfiles de datos:

    • En ID del proyecto, ingresa el ID de un proyecto existente al que deseas que se exporten los perfiles de datos.

    • En ID del conjunto de datos, ingresa el nombre de un conjunto de datos existente en el proyecto al que deseas exportar los perfiles de datos.

    • En ID de tabla, ingresa un nombre para la tabla de BigQuery a la que se exportarán los perfiles de datos. Si no creaste esta tabla, Sensitive Data Protection la creará automáticamente con el nombre que proporciones.

Sensitive Data Protection comienza a exportar perfiles desde el momento en que activas esta opción. Los perfiles que se generaron antes de que activaras la exportación no se guardan en BigQuery.

Adjunta etiquetas a los recursos

Si activas Adjunta etiquetas a los recursos, se le indica a Sensitive Data Protection que etiquete automáticamente tus datos según su nivel de sensibilidad calculado. En esta sección, primero debes completar las tareas de Controla el acceso de IAM a los recursos según la sensibilidad de los datos.

Para etiquetar automáticamente un recurso según su nivel de sensibilidad calculado, sigue estos pasos:

  1. Activa la opción Etiquetar recursos.
  2. Para cada nivel de sensibilidad (alto, moderado, bajo y desconocido), ingresa la ruta de acceso del valor de la etiqueta que creaste para el nivel de sensibilidad determinado.

    Si omites un nivel de sensibilidad, no se adjuntará ninguna etiqueta para él.

  3. Para disminuir automáticamente el nivel de riesgo de los datos de un recurso cuando esté presente la etiqueta de nivel de sensibilidad, selecciona Cuando se aplica una etiqueta a un recurso, reducir el riesgo de los datos de su perfil a BAJO. Esta opción te ayuda a medir la mejora en tu postura de seguridad y privacidad de los datos.

  4. Selecciona una o ambas de las siguientes opciones:

    • Etiqueta un recurso cuando se genera un perfil por primera vez.
    • Etiquetar un recurso cuando se actualiza su perfil Selecciona esta opción si deseas que Sensitive Data Protection reemplace el valor de la etiqueta de nivel de sensibilidad en las ejecuciones de descubrimiento posteriores. En consecuencia, el acceso de un principal a un recurso cambia automáticamente a medida que aumenta o disminuye el nivel de sensibilidad de los datos calculado para ese recurso.

      No selecciones esta opción si planeas actualizar manualmente los valores de etiqueta de nivel de sensibilidad que el servicio de descubrimiento adjunta a tus recursos. Si seleccionas esta opción, Sensitive Data Protection puede reemplazar tus actualizaciones manuales.

Publicar en Pub/Sub

Si activas Publicar en Pub/Sub, podrás realizar acciones programáticas según los resultados de la generación de perfiles. Puedes usar las notificaciones de Pub/Sub para desarrollar un flujo de trabajo que detecte y corrija los resultados con un riesgo o una sensibilidad de datos significativos.

Para enviar notificaciones a un tema de Pub/Sub, sigue estos pasos:

  1. Activa Publicar en Pub/Sub.

    Aparecerá una lista de opciones. Cada opción describe un evento que hace que la Protección de datos sensibles envíe una notificación a Pub/Sub.

  2. Selecciona los eventos que deben activar una notificación de Pub/Sub.

    Si seleccionas Enviar una notificación de Pub/Sub cada vez que se actualiza un perfil, la Protección de datos sensibles envía una notificación cuando hay un cambio en el nivel de sensibilidad, el nivel de riesgo de los datos, los infoTypes detectados, el acceso público y otras métricas importantes en el perfil.

  3. Para cada evento que selecciones, sigue estos pasos:

    1. Ingresa el nombre del tema. El nombre debe tener el siguiente formato:

      projects/PROJECT_ID/topics/TOPIC_ID
      

      Reemplaza lo siguiente:

      • PROJECT_ID: El ID del proyecto asociado con el tema de Pub/Sub.
      • TOPIC_ID: Es el ID del tema de Pub/Sub.
    2. Especifica si deseas incluir el perfil completo de la tabla en la notificación o solo el nombre completo del recurso de la tabla que se analizó.

    3. Establece los niveles mínimos de sensibilidad y riesgo de datos que se deben cumplir para que Sensitive Data Protection envíe una notificación.

    4. Especifica si se debe cumplir solo una o ambas condiciones de riesgo y sensibilidad de los datos. Por ejemplo, si eliges AND, se deben cumplir tanto el riesgo de datos como las condiciones de sensibilidad antes de que Sensitive Data Protection envíe una notificación.

Enviar a Dataplex como etiquetas

Esta acción te permite crear etiquetas en Dataplex según las estadísticas de los perfiles de datos. Esta acción solo se aplica a los perfiles nuevos y actualizados. Los perfiles existentes que no se actualizan no se envían a Dataplex.

Dataplex es un servicio de Google Cloud que unifica los datos distribuidos y automatiza la administración y el control de esos datos. Cuando habilitas esta acción, las tablas que generas perfiles se etiquetan automáticamente en Dataplex según las estadísticas recopiladas de los perfiles de datos. Luego, puedes buscar tablas con valores de etiquetas específicos en tu organización y proyectos.

Para enviar los perfiles de datos a Dataplex, asegúrate de que la opción Enviar a Dataplex como etiquetas esté activada.

Para obtener más información, consulta Etiqueta tablas en Dataplex según las estadísticas de los perfiles de datos.

Administra la facturación y el contenedor del agente de servicio

En esta sección, especificas el proyecto que se usará como contenedor de agente de servicio. Puedes hacer que la Protección de datos sensibles cree automáticamente un proyecto nuevo o elegir uno existente.

Independientemente de si usas un agente de servicio creado recientemente o reutilizas uno existente, asegúrate de que tenga acceso de lectura a los datos de los que se creará el perfil.

Cómo crear un proyecto automáticamente

Si no tienes los permisos necesarios para crear un proyecto en la organización, debes seleccionar un proyecto existente o obtener los permisos requeridos. Para obtener información sobre los permisos necesarios, consulta Roles necesarios para trabajar con perfiles de datos a nivel de la organización o la carpeta.

Para crear automáticamente un proyecto que se usará como contenedor de agente de servicio, sigue estos pasos:

  1. En el campo Contenedor de agente de servicio, revisa el ID del proyecto sugerido y modifícalo según sea necesario.
  2. Haz clic en Crear.
  3. Opcional: Actualiza el nombre del proyecto predeterminado.
  4. Selecciona la cuenta a la que se facturarán todas las operaciones facturables relacionadas con este proyecto nuevo, incluidas las operaciones que no están relacionadas con el descubrimiento.

  5. Haz clic en Crear.

Sensitive Data Protection crea el proyecto nuevo. El agente de servicio de este proyecto se usará para autenticarse en Sensitive Data Protection y otras APIs.

Seleccionar un proyecto existente

Para seleccionar un proyecto existente como contenedor de agente de servicio, haz clic en el campo Service agent container y selecciona el proyecto.

Establece la ubicación en la que se almacenará la configuración

Haz clic en la lista Ubicación del recurso y selecciona la región en la que deseas almacenar esta configuración de análisis. Todas las configuraciones de análisis que crees más adelante también se almacenarán en esta ubicación.

El lugar donde elijas almacenar la configuración de análisis no afecta los datos que se analizarán. Tus datos se analizan en la misma región en la que se almacenan. Para obtener más información, consulta Consideraciones sobre la residencia de los datos.

Revisar y crear

  1. Si quieres asegurarte de que la generación de perfiles no se inicie automáticamente después de que crees la configuración de análisis, selecciona Crear análisis en modo pausado.

    Esta opción es útil en los siguientes casos:

  2. Revisa tu configuración y haz clic en Crear.

    Sensitive Data Protection crea la configuración de análisis y la agrega a la lista de configuraciones de análisis de descubrimiento.

Para ver o administrar las configuraciones de análisis, consulta Administra las configuraciones de análisis.

Si tu agente de servicio tiene los roles necesarios para acceder a tus datos y generar perfiles, entonces la Protección de datos sensibles comenzará a analizarlos poco después de que crees la configuración de análisis o reanudes una configuración pausada. De lo contrario, la Protección de datos sensibles mostrará un error cuando veas los detalles de la configuración del análisis.

¿Qué sigue?