Configurar y gestionar flujos de procesamiento de datos

Disponible en:

La función Pipeline de Tratamiento de Datos ofrece un control sólido sobre la ingestión de datos de Google Security Operations. Las canalizaciones de tratamiento de datos te permiten manipular los datos entrantes antes de que Google Security Operations los analice. Por ejemplo, filtrar y transformar eventos, o bien ocultar valores sensibles. Este proceso puede ayudar a optimizar los datos para Google SecOps, reducir costes, proteger la información sensible y mejorar la compatibilidad.

En este documento se muestra cómo usar la consola de Bindplane para configurar una conexión a una instancia de destino de Google SecOps, crear un nuevo flujo, configurar el flujo de procesamiento de datos (fuentes y procesadores), implementarlo para iniciar el procesamiento de datos y ver las fuentes y los procesadores del flujo en la consola de Google SecOps. Estos son algunos ejemplos de casos prácticos:

  • Elimina los pares clave-valor vacíos de los registros sin procesar.
  • Oculta los datos sensibles.
  • Añade etiquetas de ingesta a partir del contenido de los registros sin procesar.
  • En entornos de varias instancias, aplica etiquetas de ingestión a los datos de registro de ingestión directa para indicar de qué instancia de origen proceden los datos (por ejemplo, Google Cloud, Workspace).
  • Filtrar datos de Palo Alto Cortex por valores de campo.
  • Reducir los datos de SentinelOne por categoría.
  • Analiza los hosts de los feeds y los registros de ingestión directa en el campo ingestion_source de Cloud Monitoring.

Puedes configurar las canalizaciones de procesamiento de datos para fuentes de datos locales y en la nube mediante la consola de gestión de Bindplane o directamente con las APIs públicas de canalización de datos de Google SecOps.

Un flujo de procesamiento de datos consta de los siguientes elementos:

  • Fuentes: una o varias fuentes de datos introducen datos en la canalización de procesamiento de datos. Cada una de ellas está configurada para diferentes tipos de fuentes de datos.
  • Nodo de procesador: un flujo de procesamiento de datos tiene un nodo de procesador que contiene uno o varios procesadores. Cada procesador especifica una acción que se debe realizar en los datos (por ejemplo, filtrar, transformar y ocultar) a medida que fluyen por la canalización.
  • Destino: la instancia de destino de Google SecOps es el lugar al que se envían los datos procesados.

Requisitos previos

Si tienes previsto usar la consola de Bindplane para gestionar tu pipeline de tratamiento de datos de Google SecOps, sigue estos pasos:

  1. En la consola de Google Security Operations, concede al instalador los roles de administrador predefinidos necesarios. Para obtener más información, consulta Asignar el rol Administrador de IAM de proyecto en un proyecto específico. En Asignar roles, selecciona los siguientes roles de gestión de identidades y accesos predefinidos:
    • Administrador de APIs de Chronicle (roles/chronicle.admin)
    • Administrador de servicios de Chronicle (roles/chroniclesm.admin)
    • Beta de administrador de Chronicle SOAR (roles/chronicle.soarAdmin)
    • Administrador de gestión de identidades y accesos de proyectos (roles/resourcemanager.projectIamAdmin)
  2. Instala la consola del servidor de Bindplane. Si se trata de una solución SaaS o local, consulta Instalar la consola del servidor Bindplane.
  3. En la consola de Bindplane, conecta una instancia de destino de Google SecOps a tu organización de Bindplane. Para obtener más información, consulta Conectarse a una instancia de Google SecOps.

Posible aumento del tiempo de confirmación de las emisiones de bajo volumen

Los usuarios de la API Ingestion que configuren su propio agente pueden experimentar un posible aumento del tiempo de confirmación de los flujos de bajo volumen en la canalización de procesamiento de datos. El tiempo medio de confirmación previsto puede aumentar de 700 ms a 2 segundos. En ese caso, es posible que tengas que aumentar los periodos de tiempo de espera y la memoria. El tiempo de confirmación debería reducirse a medida que aumente el rendimiento de los datos a más de 4 MB/s.

Conectarse a una instancia de Google SecOps

Conéctate a una instancia de Google SecOps, que actuará como destino de la salida de tus flujos de procesamiento de datos.

Para conectarte a una instancia de Google SecOps mediante la consola de Bindplane, sigue estos pasos:

  1. En la consola de Bindplane, ve a la página Gestionar tu organización.
  2. Ve a la tarjeta Integraciones y haz clic en Conectar con Google SecOps.

  3. En la ventana Editar integración que se abre, introduce los detalles de la instancia de destino de Google SecOps que ingerirá la salida de tus flujos de procesamiento de datos, tal como se indica a continuación:

    Campo Descripción
    Region La región de tu instancia de Google SecOps. Para encontrar la instancia, ve a la Google Cloud consola, desplázate hasta la página Google Security Operations y haz clic en Detalles de la instancia.
    ID de cliente El ID de cliente de tu instancia de Google SecOps. En la consola de Google SecOps, ve a Configuración > Perfil > Detalles de la organización.
    Google Cloud número de proyecto El Google Cloud número de proyecto de tu instancia de Google SecOps.
    Para encontrar el número de proyecto en la consola de Google SecOps, ve a Configuración > Perfil > Detalles de la organización.
    Credenciales Credenciales de la cuenta de servicio para acceder a las APIs de Google SecOps Data Pipeline.
    Se trata de un valor JSON disponible en el archivo de credenciales de la cuenta de servicio de Google. La cuenta de servicio debe estar en el mismo proyecto que tu instancia de Google SecOps. Para obtener información sobre cómo crear una cuenta de servicio y descargar el archivo JSON, consulta el artículo Crear y eliminar claves de cuentas de servicio.

  4. Haz clic en Conectar. Si los detalles de tu conexión son correctos y te conectas correctamente a Google SecOps, ocurrirá lo siguiente:

    • Los detalles de la instancia de Google SecOps (cifrados) se guardan en el objeto Organización.
    • Se abre una conexión a la instancia de Google SecOps.
    • Cuando te conectes por primera vez, verás la pestaña Streams (Streams) en la consola de Bindplane.
    • La consola de Bindplane ahora muestra las canalizaciones de tratamiento de datos que hayas configurado anteriormente para esta instancia mediante la API. El sistema convierte algunos procesadores que has configurado mediante la API en procesadores de Bindplane y muestra otros en su formato sin procesar de lenguaje de transformación de OpenTelemetry (OTTL). Puedes usar la consola de Bindplane para editar las canalizaciones y los procesadores que hayas configurado previamente con la API.

  5. Una vez que hayas creado una conexión con una instancia de Google SecOps, podrás crear un flujo y configurar la canalización de procesamiento de datos. Para obtener más información, consulta el artículo Configurar una canalización de procesamiento de datos con la consola de Bindplane.

Configurar un flujo de procesamiento de datos con la consola de Bindplane

Con la consola de Bindplane, puedes gestionar tus canalizaciones de tratamiento de datos de Google SecOps, incluidas las canalizaciones configuradas mediante la API.

Sigue estos pasos para crear un flujo, configurar el flujo de procesamiento de datos, configurar las fuentes y los procesadores del flujo de procesamiento de datos, e implementar un flujo de procesamiento de datos para iniciar el procesamiento de datos:

  1. Crear un nuevo stream
  2. Configurar un flujo de procesamiento de datos
    1. Configurar fuentes
    2. Configurar procesadores
  3. Implementar un flujo de procesamiento de datos

Crear un nuevo flujo

Un flujo es un contenedor que le permite configurar un flujo de procesamiento de datos.
Para crear un nuevo flujo, siga estos pasos:

  1. En la consola de Bindplane, haz clic en la pestaña Streams (Novedades) para abrir la página Streams (Novedades).
  2. Haz clic en Crear novedad.
  3. En la ventana Crear nueva emisión, selecciona Google SecOps (opción predeterminada) en Tipo de emisión.
  4. Introduce un nombre de emisión y una descripción.
  5. Haz clic en Crear.

Configurar un flujo de procesamiento de datos

Un flujo de procesamiento de datos especifica las fuentes de datos que se van a ingerir y los procesadores (por ejemplo, filtros, transformaciones u ofuscaciones) para manipular los datos a medida que fluyen a la instancia de destino de Google SecOps.

Una tarjeta de configuración de Pipeline es una visualización del flujo de procesamiento de datos en la que puede configurar las fuentes de datos y el nodo Procesador. El nodo Processor (Procesador) consta de procesadores que manipulan los datos a medida que fluyen a la instancia Destination (Destino) de Google SecOps.

Para configurar un flujo de procesamiento de datos, primero crea un nuevo flujo y, a continuación, haz lo siguiente:

  1. En la consola de Bindplane, haz clic en la pestaña Streams (Novedades) para abrir la página Streams (Novedades).
  2. Seleccione el flujo en el que quiera configurar la nueva canalización de tratamiento de datos. Se abrirá la tarjeta de configuración Pipeline.

  3. Configure lo siguiente:

    1. Una fuente. Para obtener más información, consulta Configurar fuentes.

    2. El nodo de procesador:

      • Para añadir un procesador mediante la consola de Bindplane, consulta Configurar procesadores.
      • Algunos procesadores personalizados te permiten editar directamente su código OTTL sin formato.

  4. Una vez que haya completado estas configuraciones, consulte Implementar un flujo de procesamiento de datos para empezar a procesar los datos.

Configurar fuentes

Una fuente ingiere datos según las especificaciones configuradas y los envía a la canalización. Un flujo de procesamiento de datos puede tener una o varias fuentes, cada una de ellas configurada para una fuente de datos diferente.

Para añadir una fuente, sigue estos pasos:

  1. En la tarjeta de configuración Pipeline, haga clic en añadir Add Source (Añadir fuente) para abrir la ventana Create SecOps Data Source (Crear fuente de datos de SecOps).

  2. En la ventana Create SecOps Data Source (Crear fuente de datos de SecOps), introduzca los detalles de estos campos:

    Campo Descripción
    Tipo de registro Tipo de registro de los datos que se van a ingerir.
    Seleccione el tipo de registro que quiera ingerir. Por ejemplo, "CrowdStrike Falcon (CS_EDR)".

    Nota: No puedes seleccionar un tipo de registro con un icono de advertencia warning.
    Un icono de advertencia indica que el tipo de registro ya está configurado en otra fuente (en esta u otra canalización de tu instancia de Google SecOps).
    Si quieres usar este tipo de registro, primero debes eliminarlo de la otra configuración de origen.
    Para encontrar la otra configuración de origen en la que se configura el tipo de registro, consulta Configuraciones de flujo (pipeline) de filtros.
    Método de ingestión Método de ingestión que se usará para ingerir los datos del Tipo de registro seleccionado.
    Estos métodos de ingesta se definieron anteriormente para tu instancia de Google SecOps.
    Selecciona una de las siguientes opciones:
    • Todos los métodos de ingesta

      Nota:Si seleccionas esta opción, se reducirán las opciones disponibles al añadir las siguientes fuentes.
      Si seleccionas Todos los métodos de ingesta, no podrás añadir otras fuentes para métodos de ingesta específicos de este tipo de registro.
    • Selecciona un método de ingestión específico.
      Por ejemplo, una de las siguientes opciones: "Agente de Bindplane", "Ingestión nativa de la nube", "Feed", "API Ingestion" o "Workspace".
      • Ten en cuenta que, si seleccionas esta opción, se reducirán las opciones disponibles cuando quieras añadir más fuentes:
        Si seleccionas un método de ingestión específico, no podrás añadir otra fuente con la opción "Todos los métodos de ingestión" para este tipo de registro.
        Podrás seleccionar otros métodos de ingestión específicos que no estén configurados para este tipo de registro.
      • Si ha seleccionado Feed (Feed), en el siguiente campo se mostrará una lista de Feeds (Feeds) para que elija la fuente de ingestión. (Consulta el campo siguiente).
    Feed El feed que se va a usar para ingerir los datos de origen.
    Si selecciona Feed (Feed) en el campo Ingestion method (Método de ingestión), el campo Feed mostrará una lista de nombres de feeds (definidos anteriormente para su instancia de Google SecOps) del Log type (Tipo de registro) seleccionado.
    Seleccione un feed específico de la lista.

    Nota: Para ver una lista de tus feeds en la consola de Google SecOps, ve a Configuración > Tabla de feeds.

  3. Haz clic en Añadir fuente para guardar la nueva fuente de datos.

    • La nueva fuente de datos se muestra ahora en el flujo de procesamiento de datos de la tarjeta de configuración Flujo de procesamiento.
    • Se conecta automáticamente al nodo Processor y al Destination de Google SecOps.
Configuraciones de flujo de filtros (pipeline)

La barra de búsqueda de la página Flujos le permite filtrar sus flujos (pipelines de procesamiento de datos) en función de varios elementos de configuración, como el tipo de registro, el método de ingestión y el nombre del feed. Puedes usar la siguiente sintaxis para filtrar: logtype:value, ingestionmethod:value y feed:value.

Por ejemplo, para usar la barra de búsqueda e identificar configuraciones de fuentes que contengan un tipo de registro específico, introduce logtype: en la barra de búsqueda y selecciona el tipo de registro de la lista.

Configurar procesadores

Un flujo de procesamiento de datos tiene un nodo de procesador, que contiene uno o varios procesadores. Cada procesador manipula los datos de origen a medida que fluyen por la canalización, en la secuencia en la que aparecen los procesadores en el panel Procesadores. El primer procesador trata los datos de origen, y la salida resultante se procesa en el siguiente procesador y, después, en los procesadores posteriores.

Configura el nodo de procesador añadiendo, quitando o cambiando la secuencia de uno o varios procesadores.

Para añadir un procesador, sigue estos pasos:

  1. En la tarjeta de configuración Pipeline, haz clic en el nodo Processor para abrir la ventana Edit Processors (Editar procesadores).
    La ventana Editar procesadores consta de tres paneles:

    • Panel de la izquierda: datos de registro de la fuente entrantes recientes (antes del procesamiento)
    • Panel central: procesadores y sus configuraciones
    • Panel de la derecha: datos de registro de resultados salientes recientes (después del procesamiento)

    Si la canalización ya se ha implementado, el sistema muestra los datos de registro entrantes recientes (antes del procesamiento) y los datos de registro salientes recientes (después del procesamiento) en los paneles.

  2. Para añadir un procesador, haz clic en Añadir procesador para mostrar la lista de procesadores. Para tu comodidad, la lista de procesadores se agrupa por tipo de procesador.
    (Para organizar la lista de procesadores, puedes añadir tus propios paquetes seleccionando uno o varios procesadores y haciendo clic en Añadir nuevos paquetes de procesadores).

  3. Selecciona un procesador de la lista para añadirlo.

  4. Configura el procesador según sea necesario.

  5. Haz clic en Guardar para guardar la configuración del procesador en el nodo Procesador.

El sistema prueba la nueva configuración del procesador procesando una muestra reciente de los datos de registro de la fuente entrante (en el panel de la izquierda) y muestra los datos de resultados salientes (en el panel de la derecha).

Implementar un flujo de procesamiento de datos

Una vez que haya completado las configuraciones de la fuente y del procesador, implemente la canalización para empezar a procesar los datos.

Para implementar un flujo de procesamiento de datos, haz clic en Iniciar implementación. De esta forma, se activa el flujo de procesamiento de datos y la infraestructura segura de Google puede empezar a procesar los datos según la configuración del flujo de procesamiento de datos.

Si la implementación se realiza correctamente, el número de versión de la configuración de la canalización de tratamiento de datos se incrementa y se muestra junto al nombre de la canalización de tratamiento de datos.

Para ver el historial de configuración, haga clic en el enlace Historial situado junto al nombre de la canalización de tratamiento de datos. Se muestran los cambios de configuración entre cada versión de la canalización de procesamiento de datos.

Siguientes pasos

Puedes ver las secuencias de datos activas en modo de solo lectura desde Google SecOps. Para obtener más información, consulta Ver información sobre la canalización de tratamiento de datos en la consola de Google SecOps.

Ver información sobre la canalización de procesamiento de datos desde la consola de Google SecOps

En las siguientes secciones se describe cómo ver la información de la canalización de tratamiento de datos desde la consola de Google SecOps:

Ver feeds configurados

En la página Feeds se muestran todos los feeds que has configurado.

  1. En la consola de SecOps de Google, ve a Configuración > Feeds. En la página principal se muestran todos los feeds que ha configurado.
  2. Coloca el puntero sobre cada fila para que aparezca el menú ⋮ Más. En el menú, puede ver los detalles del feed, editarlo, inhabilitarlo o eliminarlo.
  3. Haz clic en Ver detalles para abrir la ventana de detalles.
  4. Haz clic en Abrir en Bindplane para abrir la configuración de la fuente de ese feed en la consola de Bindplane.

Ver información sobre el flujo de procesamiento de datos en la página Tipos de registro

En la página Tipos de registro se muestran todos los tipos de registro disponibles. Para ver los detalles de un flujo de procesamiento de datos, sigue estos pasos:

  1. En la consola de Google SecOps, ve a Configuración > Tipos de registro. En la página principal se muestran todos los tipos de registro.
  2. Coloca el puntero sobre cada fila para que aparezca el menú ⋮ Más. En el menú, puedes ver los detalles del tipo de registro.
  3. Haz clic en Ver tratamiento de datos para ver la ventana de detalles.
  4. Haz clic en Abrir en Bindplane para abrir la configuración del procesador en la consola de Bindplane.

Usar las APIs de Google SecOps Data Pipeline

Las APIs de Google SecOps Data Pipeline te permiten gestionar tus flujos de procesamiento de datos. Las APIs abarcan todas las funciones de Data Pipeline, como crear, actualizar, eliminar y enumerar las pipelines, así como los feeds y los tipos de registro asociados.

.

¿Necesitas más ayuda? Recibe respuestas de los miembros de la comunidad y de los profesionales de Google SecOps.