Trabajos híbridos y activadores de trabajos

Los trabajos híbridos y activadores de trabajos son un conjunto de métodos de API asíncronos que te permiten analizar cargas útiles de datos enviados desde prácticamente cualquier fuente en busca de información sensible y, luego, almacenar los hallazgos en Google Cloud. Los trabajos híbridos te permiten escribir tus propios rastreadores de datos que se comportan y publican datos de manera similar a los métodos de inspección de almacenamiento de la protección de datos sensibles.

Con los trabajos híbridos, puedes transmitir datos desde cualquier fuente a la protección de datos sensibles. La protección de datos sensibles inspecciona los datos en busca de información sensible o PII y, luego, guarda los resultados del análisis de inspección en un recurso de trabajo de protección de datos sensibles. Puedes examinar los resultados del análisis en la API o en la IU de la consola de protección de datos sensibles, o puedes especificar acciones posteriores al análisis para que se ejecuten, como guardar los datos de los resultados de la inspección en una tabla de BigQuery o emitir una notificación de Pub/Sub.

El flujo de los trabajos híbridos se resume en el siguiente diagrama:

Diagrama del flujo de datos de trabajos híbridos, en el que se muestra que la aplicación envía datos desde una fuente externa a la protección de datos sensibles; la protección de datos sensibles inspecciona los datos y, luego, guarda o publica los resultados.

En este tema conceptual, se describen los trabajos híbridos, los activadores de trabajo y cómo funcionan. Para aprender a implementar trabajos y activadores de trabajo híbridos, consulta Inspecciona datos externos con trabajos híbridos.

Información acerca de los entornos híbridos

Los entornos “híbridos” son comunes en las organizaciones. Muchas organizaciones almacenan y procesan datos sensibles mediante alguna combinación de las siguientes opciones:

  • Otros proveedores de servicios en la nube
  • Servidores locales y otros repositorios de datos
  • Sistemas de almacenamiento no nativos, como los sistemas que se ejecutan dentro de una máquina virtual
  • Apps web y para dispositivos móviles
  • Soluciones basadas en Google Cloud

Cuando se usan trabajos híbridos, la protección de datos sensibles puede inspeccionar los datos que se le envían desde cualquiera de estas fuentes. A continuación, se incluyen algunas situaciones de ejemplo:

  • Inspecciona los datos almacenados en Amazon Relational Database Service (RDS), MySQL que se ejecuta dentro de una máquina virtual o en una base de datos local.
  • Inspecciona y asigna tokens a los datos a medida que migras de las instalaciones locales a la nube o entre la producción, el desarrollo y el análisis.
  • Inspecciona y oculta transacciones desde una aplicación web o para dispositivos móviles antes de almacenar los datos en reposo.

Opciones de inspección

Como se describe con más detalle en Tipos de métodos, cuando quieras inspeccionar contenido en busca de datos sensibles, la protección de datos sensibles ofrece tres opciones predeterminadas:

  • Inspección de métodos de contenido: Cuando usas la inspección de contenido, transmites pequeñas cargas útiles de datos a la Protección de datos sensibles junto con instrucciones sobre qué inspeccionar. La Protección de datos sensibles inspecciona los datos en busca de PII y contenido sensible, y te muestra los resultados del análisis.
  • Inspección de métodos de almacenamiento: con la inspección de almacenamiento, la protección de datos sensibles inspecciona un repositorio de almacenamiento basado en Google Cloud, como una base de datos de BigQuery, un bucket de Cloud Storage o un tipo de Datastore. Le indicas a la Protección de datos sensibles qué inspeccionar y qué inspeccionar y, luego, esta protección ejecuta un trabajo que analiza el repositorio. Una vez finalizado el análisis, la Protección de datos sensibles guarda un resumen de los resultados del análisis en el trabajo. Además, puedes especificar que los resultados se envíen a otro producto de Google Cloud para su análisis, como otra tabla de BigQuery.
  • Inspección de trabajos híbridos: Los trabajos híbridos ofrecen los beneficios de los dos métodos anteriores. Te permiten transmitir datos como lo harías con los métodos de contenido y, a su vez, obtener el almacenamiento, la visualización y las acciones de los trabajos de inspección de almacenamiento. Toda la configuración de inspección se administra dentro de la protección de datos sensibles, sin necesidad de configuración adicional por parte del cliente. Los trabajos híbridos pueden ser útiles para analizar sistemas de almacenamiento no nativos, como una base de datos local, que se ejecuta en una máquina virtual (VM) o en otra nube. Los métodos híbridos también pueden ser útiles para inspeccionar sistemas de procesamiento, como cargas de trabajo de migración, o incluso para usar un proxy en la comunicación de servicio a servicio. Si bien los métodos de contenido también pueden hacer esto, los métodos híbridos te proporcionan el backend de almacenamiento de hallazgos que puede ordenar tus datos en varias llamadas a la API para que no tengas que hacerlo por tu cuenta.

Acerca de los trabajos híbridos y los activadores de trabajos

Un trabajo híbrido es una combinación de métodos de contenido y métodos de almacenamiento. El flujo de trabajo básico para los trabajos híbridos y activadores de trabajos es el siguiente:

  1. Escribe una secuencia de comandos o crea un flujo de trabajo que envíe datos a Protección de datos sensibles para su inspección junto con algunos metadatos.
  2. Debes configurar y crear un recurso o activador de trabajo híbrido y habilitarlo para que se active cuando reciba datos.
  3. La secuencia de comandos o el flujo de trabajo se ejecutan en el lado del cliente y envían datos a la protección de datos sensibles en forma de una solicitud hybridInspect. Los datos incluyen un mensaje de activación y el identificador del activador del trabajo o del trabajo, que activa la inspección.
  4. La protección de datos sensibles inspecciona los datos según los criterios que configures en el trabajo o activador híbrido.
  5. La protección de datos sensibles guarda los resultados del análisis en el recurso de trabajo híbrido, junto con los metadatos que proporciones. Puedes examinar los resultados con la IU de protección de datos sensibles en la consola de Google Cloud.
  6. De manera opcional, la protección de datos sensibles puede ejecutar acciones posteriores al análisis, como guardar los datos de los resultados de la inspección en una tabla de BigQuery o enviarte una notificación por correo electrónico o Pub/Sub.

Un activador de trabajo híbrido te permite crear, activar y detener trabajos para que puedas activar acciones cuando sea necesario. Cuando te aseguras de que tu secuencia de comandos o código envía datos que incluyen el identificador del activador del trabajo híbrido, no necesitas actualizar la secuencia de comandos ni el código cada vez que se inicia un trabajo nuevo.

Situaciones típicas de trabajos híbridos

Los trabajos híbridos son adecuados para objetivos como los siguientes:

  • Ejecutar un análisis único de una base de datos fuera de Google Cloud como parte de una verificación trimestral de bases de datos
  • Supervisa todo el contenido nuevo que se agrega a diario en una base de datos que la protección de datos sensibles no admita de forma nativa.
  • Analiza los datos que llegan a una base de datos mientras controlas cómo se particionan los datos.
  • Supervisa el tráfico en una red mediante el filtro de protección de datos sensibles para Envoy (un filtro HTTP de WebAssembly para proxies de sidecar de Envoy) a fin de identificar el movimiento de datos sensibles problemáticos.

Para obtener información sobre cómo abordar estas situaciones, consulta Situaciones típicas de inspección híbrida.

Tipos de metadatos que puedes proporcionar

En esta sección, se describen los tipos de metadatos que puedes adjuntar a los datos externos que deseas inspeccionar o a los resultados.

Puedes establecer metadatos en los siguientes niveles:

Metadatos en un trabajo híbrido o en un activador de trabajo híbrido

En esta sección, se describen los tipos de metadatos que puedes adjuntar a un trabajo híbrido o activador de trabajo híbrido.

Etiquetas necesarias

En el trabajo híbrido o el activador de trabajo híbrido, puedes especificar una lista de etiquetas obligatorias que se deben incluir en todas las solicitudes de inspección híbrida que envías. Se rechazan todas las solicitudes para ese trabajo híbrido o activador de trabajo híbrido que no incluyan estas etiquetas obligatorias. Para obtener más información, consulta Cómo exigir etiquetas a las solicitudes hybridInspect.

Etiquetas opcionales

Puedes especificar pares clave-valor para que se adjunten a todos los resultados de un trabajo híbrido o un activador de trabajo híbrido. Por ejemplo, si deseas que todos los resultados de un trabajo híbrido tengan la etiqueta "env"="prod", debes especificar este par clave-valor cuando crees el trabajo híbrido.

Opciones de datos tabulares

Puedes especificar cualquier columna que sea identificadores de filas (claves primarias) para los objetos de tabla en tus datos. Si las columnas especificadas existen en la tabla, los valores de las columnas dadas se incluyen junto con cada resultado para que puedas rastrearlo hasta la fila de la que provino. Estas opciones tabulares solo se aplican a las solicitudes que envían datos tabulares, como item.table o byteItem, como CSV.

Si conoces las claves primarias con anticipación, puedes configurarlas como campos de identificación cuando crees el trabajo híbrido o el activador de trabajo híbrido. Puedes enumerar hasta tres nombres de columna en el campo hybridOptions.tableOptions.identifyingFields.

Metadatos de una solicitud hybridInspect

En esta sección, se describen los tipos de metadatos que puedes adjuntar a una solicitud hybridInspect. Los metadatos que envías en una solicitud hybridInspect se aplican solo a esa solicitud.

Detalles del contenedor

Cada solicitud que envías a un trabajo híbrido o activador de trabajo híbrido puede especificar detalles sobre la fuente de datos, incluidos elementos como fullPath, rootPath, relativePath, type, version y otros. Por ejemplo, si analizas tablas en una base de datos, puedes configurar los campos de la siguiente manera:

{
  "hybridItem": {
    "item": {...},
    "findingDetails": {
      "containerDetails": {
        "fullPath": "10.0.0.20/database1/table1",
        "relativePath": "table1",
        "rootPath": "10.0.0.20/database1",
        "type": "postgres",
        "version": "9.6"
      },
      "labels": {...}
    }
  }
}

No puedes configurar los detalles del contenedor a nivel de trabajo híbrido o activador de trabajo híbrido.

Etiquetas necesarias

Si configuras las etiquetas necesarias cuando creas un trabajo híbrido o un activador de trabajo híbrido, cualquier solicitud hybridInspect que envíes a ese trabajo híbrido o activador de trabajo híbrido debe incluir esas etiquetas obligatorias. Para obtener más información, consulta Cómo exigir etiquetas a las solicitudes hybridInspect.

Etiquetas opcionales

En cada solicitud hybridInspect, puedes especificar pares clave-valor que se adjuntarán a cualquier resultado de esa solicitud. Este método te permite adjuntar etiquetas diferentes con cada solicitud hybridInspect.

Opciones de datos tabulares

Puedes especificar cualquier columna que sea identificadores de filas (claves primarias) para los objetos de tabla en tus datos. Si las columnas especificadas existen en la tabla, los valores de las columnas dadas se incluyen junto con cada resultado para que puedas rastrearlo hasta la fila de la que provino. Estas opciones tabulares solo se aplican a las solicitudes que envían datos tabulares, como item.table o byteItem, como CSV.

Si no conoces las claves primarias con anticipación, no tienes que configurarlas a nivel de trabajo híbrido o activador de trabajo híbrido. Puedes configurarlos en la solicitud hybridInspect junto con los datos tabulares que se inspeccionarán. Cualquier campo que enumeres en el nivel de trabajo híbrido o activador de trabajo híbrido se combina con los que enumeras en la solicitud hybridInspect.

Acciones compatibles

Al igual que otros trabajos de protección de datos sensibles, los trabajos híbridos admiten acciones. No todas las acciones se aplican a los trabajos híbridos. A continuación, se enumeran las acciones que se admiten en este momento junto con la información sobre su funcionamiento. Ten en cuenta que, con las acciones de Pub/Sub, correo electrónico y Cloud Monitoring, los resultados están disponibles cuando finaliza el trabajo.

  • Guarda los resultados en la protección de datos sensibles y guarda los resultados en BigQuery: Estos se guardan en un recurso de protección de datos sensibles o en una tabla de BigQuery, respectivamente. Estas acciones funcionan con trabajos híbridos de manera similar a cómo funcionan en otros tipos de trabajos, con una diferencia importante: en los trabajos híbridos, los resultados están disponibles mientras se ejecuta el trabajo; en otros tipos de trabajos, los resultados están disponibles cuando finaliza el trabajo

  • Enviar Pub/Sub: Cuando finaliza un trabajo, se emite un mensaje de Pub/Sub

  • Enviar correo electrónico: Cuando se termina un trabajo, se envía un mensaje de correo electrónico

  • Publicar en Cloud Monitoring: Cuando se completa un trabajo, sus resultados se publican en Monitoring

Resumen

Estas son algunas características clave y beneficios de usar trabajos híbridos y activadores de trabajos:

  • Los trabajos híbridos te permiten transmitir datos a la protección de datos sensibles desde prácticamente cualquier fuente, dentro o fuera de la nube.
  • Los activadores de trabajo híbridos se activan cuando la protección de datos sensibles recibe un flujo de datos que incluye un mensaje de activación y el identificador del activador de trabajo.
  • Puedes esperar hasta que se complete el análisis de inspección o puedes detener el trabajo de forma manual. Los resultados de la inspección se guardan en una protección de datos sensibles o en BigQuery, ya sea que permitas que el trabajo finalice o lo detengas antes de tiempo.
  • Los resultados del análisis de inspección de la protección de datos sensibles de un activador de trabajo híbrido se guardan en un recurso de trabajo híbrido dentro de la protección de datos sensibles.
  • Para examinar los resultados del análisis de inspección, consulta el recurso del activador de trabajo en la protección de datos sensibles.
  • También puedes indicarle a la Protección de datos sensibles que, mediante una acción, envíe resultados de trabajos híbridos a una base de datos de BigQuery y te notifique por correo electrónico o notificación de Pub/Sub.

¿Qué sigue?