Configurar y administrar canalizaciones de procesamiento de datos

Compatible con:

La función Canalización de procesamiento de datos proporciona un control sólido sobre la transferencia de datos de Google Security Operations. Las canalizaciones de procesamiento de datos te permiten manipular los datos entrantes antes de que Google Security Operations los analice. Por ejemplo, filtrar y transformar eventos, o bien redactar valores sensibles Este proceso puede ayudar a optimizar los datos para las Operaciones de seguridad de Google, reducir los costos, proteger la información sensible y mejorar la compatibilidad.

En este documento, se muestra cómo usar la consola de Bindplane para configurar una conexión a una instancia de destino de Google SecOps, crear una transmisión nueva, configurar la canalización de procesamiento de datos (fuentes y procesadores), implementarla para iniciar el procesamiento de datos y ver las fuentes y los procesadores de la canalización en la consola de Google SecOps. Como ejemplo, se incluyen los siguientes casos prácticos:

  • Quita los pares clave-valor vacíos de los registros sin procesar.
  • Oculta datos sensibles.
  • Agrega etiquetas de transferencia a partir del contenido de registros sin procesar.
  • En entornos de varias instancias, aplica etiquetas de transferencia a los datos de registro de transferencia directa para indicar de qué instancia de origen provienen los datos (por ejemplo, Google Cloud, Workspace).
  • Filtrar los datos de Palo Alto Cortex por valores de campo
  • Reducir los datos de SentinelOne por categoría
  • Analiza los hosts de los feeds y los registros de la transferencia directa en el campo ingestion_source para Cloud Monitoring.

Puedes configurar canalizaciones de procesamiento de datos para fuentes de datos locales y en la nube, ya sea con la consola de administración de Bindplane o directamente con las APIs públicas de Google SecOps Data Pipeline.

Una canalización de procesamiento de datos consta de los siguientes elementos:

  • Fuentes: Una o más fuentes de datos alimentan la canalización de procesamiento de datos, cada una configurada para diferentes tipos de fuentes de datos.
  • Nodo de procesador: Una canalización de procesamiento de datos tiene un nodo de procesador que contiene uno o más procesadores. Cada procesador especifica una acción que se realizará en los datos (por ejemplo, filtrar, transformar y redactar) a medida que fluyen por la canalización.
  • Destino: La instancia de destino de Google SecOps es el lugar al que se envían los datos procesados.

Requisitos previos

Si planeas usar la consola de Bindplane para administrar tu canalización de procesamiento de datos de Google SecOps, sigue estos pasos:

  1. En la consola de Google Security Operations, otorga al instalador los roles de administrador predefinidos necesarios. Para obtener más detalles, consulta Cómo asignar el rol de administrador de IAM del proyecto en un proyecto dedicado. En Asignar roles, selecciona los siguientes roles predefinidos de Identity and Access Management:
    • Administrador de la API de Chronicle (roles/chronicle.admin)
    • Administrador del servicio de Chronicle (roles/chroniclesm.admin)
    • Administrador de Chronicle SOAR Beta (roles/chronicle.soarAdmin)
    • Administrador del proyecto de IAM (roles/resourcemanager.projectIamAdmin)
  2. Instala la consola del servidor de BindPlane. Para SaaS o instalaciones locales, consulta Instala la consola de Bindplane Server.
  3. En la consola de BindPlane, conecta una instancia de destino de Google SecOps a tu organización de BindPlane. Para obtener más información, consulta Conéctate a una instancia de Google SecOps.

Posible aumento del tiempo de procesamiento de compra para transmisiones de bajo volumen

Los usuarios de la API de Ingestion que configuren su propio agente pueden experimentar un posible aumento en el tiempo de confirmación para los flujos de bajo volumen en la canalización de procesamiento de datos. El tiempo de confirmación promedio esperado puede aumentar de 700 ms a 2 segundos. En ese caso, es posible que debas aumentar los períodos de espera y la memoria según corresponda. El tiempo de confirmación debería disminuir a medida que la capacidad de procesamiento de datos aumente a más de 4 MB/s.

Conéctate a una instancia de Google SecOps

Conéctate a una instancia de Google SecOps, que servirá como destino para el resultado de tus canalizaciones de procesamiento de datos.

Para conectarte a una instancia de Google SecOps con la consola de Bindplane, haz lo siguiente:

  1. En la consola de Bindplane, ve a la página Administra tu organización.
  2. Ve a la tarjeta Integraciones y haz clic en Conectar a Google SecOps.

  3. En la ventana Edit Integration que se abre, ingresa los detalles de la instancia de destino de Google SecOps, que transferirá la salida de tus canalizaciones de procesamiento de datos, de la siguiente manera:

    Campo Descripción
    Región Es la región de tu instancia de Google SecOps. Para encontrar la instancia, ve a la Google Cloud consola, navega a la página Google Security Operations y haz clic en Detalles de la instancia.
    ID de cliente Es el ID de cliente de tu instancia de Google SecOps. En la consola de Google SecOps, ve a Configuración > Perfil > Detalles de la organización.
    Google Cloud número de proyecto El Google Cloud número de proyecto de tu instancia de Google SecOps.
    Para encontrar el número de proyecto en la consola de Google SecOps, ve a Configuración > Perfil > Detalles de la organización.
    Credenciales Son las credenciales de la cuenta de servicio para acceder a las APIs de Google SecOps Data Pipeline.
    Este es un valor JSON disponible en el archivo de credenciales de la cuenta de servicio de Google. La cuenta de servicio debe estar en el mismo proyecto que tu instancia de Google SecOps. Si deseas obtener información para crear una cuenta de servicio y descargar el archivo JSON, consulta Cómo crear y borrar claves de cuentas de servicio.

  4. Haz clic en Conectar. Si los detalles de tu conexión son correctos y te conectas a Google SecOps de forma correcta, puedes esperar lo siguiente:

    • Los detalles de la instancia de Google SecOps (encriptados) se guardan en tu objeto de organización.
    • Se abrirá una conexión a la instancia de SecOps de Google.
    • Cuando te conectes por primera vez, verás la pestaña Streams en la consola de Bindplane.
    • La consola de BindPlane ahora muestra cualquier canalización de procesamiento de datos que hayas configurado anteriormente para esta instancia con la API. El sistema convierte algunos de los procesadores que configuraste con la API en procesadores de Bindplane y muestra otros en su formato sin procesar de OpenTelemetry Transformation Language (OTTL). Puedes usar la consola de Bindplane para editar las canalizaciones y los procesadores que se configuraron anteriormente con la API.

  5. Después de crear correctamente una conexión a una instancia de Google SecOps, puedes crear una transmisión y configurar la canalización de procesamiento de datos. Para obtener más información, consulta Configura una canalización de procesamiento de datos con la consola de Bindplane.

Configura una canalización de procesamiento de datos con la consola de Bindplane

Con la consola de Bindplane, puedes administrar tus canalizaciones de procesamiento de datos de Google SecOps, incluidas las canalizaciones configuradas con la API.

Sigue estos pasos para crear un flujo nuevo y configurar la canalización de procesamiento de datos, configurar las fuentes y los procesadores de la canalización de procesamiento de datos, y lanzar una canalización de procesamiento de datos para iniciar el procesamiento de datos:

  1. Crea una transmisión nueva
  2. Configura una canalización de procesamiento de datos
    1. Configura fuentes
    2. Configura procesadores
  3. Implementa una canalización de procesamiento de datos

Crea una transmisión nueva

Un flujo es un contenedor en el que puedes configurar una canalización de procesamiento de datos.
Para crear una transmisión nueva, haz lo siguiente:

  1. En la consola de Bindplane, haz clic en la pestaña Streams para abrir la página Streams.
  2. Haz clic en Crear flujo.
  3. En la ventana Create new stream, establece el Tipo de transmisión en Google SecOps (opción predeterminada).
  4. Ingresa un Nombre de la transmisión y una Descripción.
  5. Haz clic en Crear.

Configura una canalización de procesamiento de datos

Una canalización de procesamiento de datos especifica las fuentes de datos que se deben transferir y los procesadores (por ejemplo, filtrar, transformar o redactar) para manipular los datos a medida que fluyen hacia la instancia de destino de Google SecOps.

La tarjeta de configuración de Pipeline es una visualización de la canalización de procesamiento de datos en la que puedes configurar las fuentes de datos y el nodo Procesador. El nodo Procesador consta de procesadores que manipulan los datos a medida que fluyen hacia la instancia de Destino de SecOps de Google.

Para configurar una canalización de procesamiento de datos, primero crea una transmisión nueva y, luego, haz lo siguiente:

  1. En la consola de Bindplane, haz clic en la pestaña Streams para abrir la página Streams.
  2. Selecciona el flujo en el que deseas configurar el nuevo canal de procesamiento de datos. Se abrirá la tarjeta de configuración de Pipeline.

  3. Configura lo siguiente:

    1. Es un Source. Consulta Configura fuentes para obtener más detalles.

    2. El nodo Processor:

      • Para agregar un procesador con la consola de Bindplane, consulta Configura procesadores para obtener más detalles.
      • Algunos procesadores personalizados te permiten editar su código OTTL sin procesar directamente.

  4. Una vez que se completen estos parámetros de configuración, consulta Lanza una canalización de procesamiento de datos para comenzar a procesar los datos.

Configura las fuentes

Una fuente ingiere datos según sus especificaciones configuradas y los introduce en la canalización. Una canalización de procesamiento de datos puede tener una o más fuentes, cada una configurada para una fuente de datos diferente.

Para agregar una fuente, haz lo siguiente:

  1. En la tarjeta de configuración de Pipeline, haz clic en agregar Add Source para abrir la ventana Create SecOps Data Source.

  2. En la ventana Create SecOps Data Source, ingresa los detalles de estos campos:

    Campo Descripción
    Tipo de registro Es el tipo de registro de los datos que se deben transferir.
    Selecciona el tipo de registro que deseas transferir. Por ejemplo, "CrowdStrike Falcon (CS_EDR)".

    Nota: No puedes seleccionar un tipo de registro con un ícono de advertencia advertencia.
    Un ícono de advertencia indica que el tipo de registro ya está configurado en otra fuente (en esta canalización o en otra canalización de tu instancia de Google SecOps).
    Si quieres usar ese tipo de registro, primero debes borrarlo de la otra configuración de la fuente.
    Para encontrar la otra configuración de la fuente en la que se configura el tipo de registro, consulta Configuraciones de filtros de transmisión (canalizaciones).
    Método de transferencia Es el método de transferencia que se usará para transferir los datos del Tipo de registro seleccionado.
    Estos métodos de transferencia ya se definieron para tu instancia de Google SecOps.
    Selecciona una de las siguientes opciones:
    • Todos los métodos de transferencia

      Nota: Si seleccionas esta opción, se reducirán tus opciones cuando agregues tus próximas fuentes:
      Si seleccionas Todos los métodos de transferencia, no podrás agregar otras fuentes para métodos de transferencia específicos para este tipo de registro.
    • Selecciona un método de transferencia específico.
      Por ejemplo, una de las siguientes opciones: "Bindplane Agent", "Cloud Native Ingestion", "Feed", "Ingestion API" o "Workspace".
      • Nota: Si seleccionas esta opción, se reducirán tus opciones cuando quieras agregar tus próximas fuentes:
        Si seleccionas un método de transferencia específico, no podrás agregar otra fuente con "Todos los métodos de transferencia" para este Tipo de registro.
        Aun así, podrás seleccionar otros métodos de transferencia específicos no configurados para este tipo de registro.
      • Si seleccionaste Feed, en el siguiente campo, se mostrará una lista de Feeds para que elijas uno como fuente de transferencia. (Consulta el siguiente campo).
    Feed Es el feed que se usará para transferir datos fuente.
    Si seleccionas Feed en el campo Método de transferencia, el campo Feed mostrará una lista de nombres de feeds (definidos previamente para tu instancia de Google SecOps) para el Tipo de registro seleccionado.
    Selecciona un feed específico de la lista.

    Nota: Para ver una lista de tus feeds en la consola de Google SecOps, ve a Configuración > Tabla de feeds.

  3. Haz clic en Agregar fuente para guardar la nueva fuente de datos.

    • La nueva fuente de datos ahora se muestra en la canalización de procesamiento de datos en la tarjeta de configuración Canalización.
    • Se conecta automáticamente al nodo Processor y al Destination de SecOps de Google.
Configuraciones de la transmisión de filtros (canalización)

La barra de búsqueda de la página Streams te permite filtrar tus transmisiones (canalizaciones de procesamiento de datos) según varios elementos de configuración, por ejemplo, el tipo de registro, el método de transferencia y el nombre del feed. Puedes usar la siguiente sintaxis para filtrar: logtype:value, ingestionmethod:value y feed:value.

Por ejemplo, para usar la barra de búsqueda y encontrar las configuraciones de fuentes que contienen un tipo de registro específico, ingresa logtype: en la barra de búsqueda y selecciona el tipo de registro de la lista.

Configura procesadores

Una canalización de procesamiento de datos tiene un nodo Processor que contiene uno o más procesadores. Cada procesador manipula los datos de origen a medida que fluyen por la canalización, en la secuencia en la que aparecen los procesadores en el panel Procesadores. El primer procesador procesa los datos de origen, luego el siguiente procesador procesa el resultado y, así, sucesivamente.

Configura el nodo del procesador agregando, quitando o cambiando la secuencia de uno o más procesadores.

Para agregar un procesador, sigue estos pasos:

  1. En la tarjeta de configuración Pipeline, haz clic en el nodo Processor para abrir la ventana Edit Processors.
    La ventana Edit Processors consta de tres paneles:

    • Panel izquierdo: Datos de registro de la fuente entrante recientes (antes del procesamiento)
    • Panel central: Procesadores y sus configuraciones
    • Panel derecho: Datos de registro de resultados salientes recientes (después del procesamiento)

    Si la canalización ya se lanzó, el sistema mostrará los datos de registro entrantes recientes (antes del procesamiento) y los datos de registro salientes recientes (después del procesamiento) en los paneles.

  2. Para agregar un procesador, haz clic en Add Processor para mostrar la lista de procesadores. Para tu comodidad, la lista de procesadores se agrupa por tipo de procesador.
    (Para organizar la lista de procesadores, puedes agregar tus propios paquetes. Para ello, selecciona uno o más procesadores y haz clic en Agregar nuevos paquetes de procesadores).

  3. Selecciona un procesador para agregar de la lista.

  4. Configura el procesador según sea necesario.

  5. Haz clic en Guardar para guardar la configuración del procesador en el nodo Procesador.

El sistema prueba la nueva configuración del procesador procesando una muestra nueva de los datos de registro de origen entrantes (en el panel izquierdo) y muestra los datos de resultado salientes (en el panel derecho).

Implementa una canalización de procesamiento de datos

Una vez que se completen las configuraciones de la fuente y el procesador, lanza la canalización para comenzar a procesar los datos.

Para lanzar una canalización de procesamiento de datos, haz clic en Iniciar lanzamiento. Esto activa la canalización de procesamiento de datos y permite que la infraestructura segura de Google comience a procesar los datos según la configuración de la canalización de procesamiento de datos.

Si el lanzamiento es exitoso, se incrementará el número de versión de la configuración de la canalización de procesamiento de datos y se mostrará junto al nombre de la canalización de procesamiento de datos.

Para ver el historial de configuración, haz clic en el vínculo historial junto al nombre de la canalización de procesamiento de datos. Se muestran los cambios de configuración entre cada versión de la canalización de procesamiento de datos.

Próximos pasos

Puedes ver los flujos de datos activos en modo de solo lectura desde Google SecOps. Para obtener más detalles, consulta Cómo ver la información de la canalización de procesamiento de datos desde la consola de Google SecOps.

Visualiza la información de la canalización de procesamiento de datos desde la consola de Google SecOps

En las siguientes secciones, se describe cómo ver la información de la canalización de procesamiento de datos desde la consola de Google SecOps:

Ver los feeds configurados

En la página Feeds, se muestran todos los feeds que configuraste.

  1. En la consola de Google SecOps, ve a Configuración > Feeds. En la página principal, se muestran todos los feeds que configuraste.
  2. Mantén el puntero sobre cada fila para mostrar el menú ⋮ Más. En el menú, puedes ver los detalles del feed, editarlo, inhabilitarlo o borrarlo.
  3. Haz clic en Ver detalles para ver la ventana de detalles.
  4. Haz clic en Abrir en Bindplane para abrir la configuración de la fuente de ese feed en la consola de Bindplane.

Consulta la información de la canalización de procesamiento de datos en la página Logtypes

En la página Logtypes, se muestran todos los tipos de registros disponibles. Para ver los detalles de la canalización de procesamiento de datos, sigue estos pasos:

  1. En la consola de Google SecOps, ve a Settings > Logtypes. En la página principal, se muestran todos los tipos de registros.
  2. Mantén el puntero sobre cada fila para mostrar el menú ⋮ Más. En el menú, puedes ver los detalles del tipo de registro.
  3. Haz clic en Ver procesamiento de datos para ver la ventana de detalles.
  4. Haz clic en Abrir en Bindplane para abrir la configuración del procesador en la consola de Bindplane.

Usa las APIs de Google SecOps Data Pipeline

Las APIs de Google SecOps Data Pipeline te permiten administrar tus canalizaciones de procesamiento de datos. Las APIs abarcan toda la funcionalidad de Data Pipeline, como la creación, la actualización, el borrado y la enumeración de canalizaciones, y los tipos de registros y feeds asociados dentro de ellas.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.