Servidor de reenvío de Google Security Operations para Linux

En este documento, se describe cómo instalar y configurar el servidor de reenvío en Linux. Para instalar el servidor de reenvío en Windows, consulta Windows Forwarder.

Forwarder se usa para enviar registros desde el entorno del cliente a la instancia de Google Security Operations. Se usa cuando los clientes desean enviar los registros directamente a Google Security Operations y no desean usar los buckets de la nube para transferir datos, o cuando el tipo de registro no tiene transferencia nativa a través de una API de terceros. El objeto de reenvío se puede usar como una solución lista para implementar, en lugar de incorporar la API de transferencia de forma manual.

Puedes instalar el servidor de reenvío en una variedad de distribuciones de Linux, como Debian, Ubuntu, Red Hat y Suse. Google Cloud proporciona el software con un contenedor de Docker. Puedes ejecutar y administrar el contenedor de Docker en una máquina física o virtual que ejecute Linux.

Requisitos del sistema

Las siguientes son recomendaciones generales. Si deseas obtener recomendaciones específicas para tu sistema, comunícate con el equipo de asistencia de Google Security Operations.

• RAM: 1 GB para cada tipo de datos recopilados (colector) que Google Security Operations acepta para la transferencia Por ejemplo, si especificaste 4 colectores diferentes, necesitas 4 GB de RAM para recopilar datos de los cuatro colectores.

• CPU: 2 CPU son suficientes para manejar menos de 10,000 eventos por segundo (EPS) (en total para todos los tipos de datos). Si esperas reenviar más de 10,000 EPS, aprovisiona de 4 a 6 CPU.

• Disco: 100 MB de espacio en el disco son suficientes, sin importar cuántos datos controle el servidor de reenvío de Google Security Operations. Si necesitas almacenar en búfer los mensajes pendientes en el disco en lugar de en la memoria, consulta Almacenamiento en búfer de disco. El servidor de reenvío de Google Security Operations almacena en búfer en la memoria de forma predeterminada.

Rangos de direcciones IP de Google

Es posible que necesites que el rango de direcciones IP se abra cuando establezcas una configuración de reenvío, como cuando estableces la configuración de tu firewall. Google no puede proporcionar una lista específica de direcciones IP. Sin embargo, puedes obtener rangos de direcciones IP de Google.

Verifica la configuración del firewall

Todos los firewalls o proxies autenticados entre Internet y el contenedor de reenvío de Google Security Operations requieren reglas para abrir el acceso a los siguientes hosts:

Tipo de conexión	Destino	Puerto
TCP	malachiteingestion-pa.googleapis.com	443
TCP	asia-northeast1-malachiteingestion-pa.googleapis.com	443
TCP	asia-south1-malachiteingestion-pa.googleapis.com	443
TCP	asia-southeast1-malachiteingestion-pa.googleapis.com	443
TCP	australia-southeast1-malachiteingestion-pa.googleapis.com	443
TCP	europe-malachiteingestion-pa.googleapis.com	443
TCP	europe-west2-malachiteingestion-pa.googleapis.com	443
TCP	europe-west3-malachiteingestion-pa.googleapis.com	443
TCP	europe-west6-malachiteingestion-pa.googleapis.com	443
TCP	europe-west12-malachiteingestion-pa.googleapis.com	443
TCP	me-central1-malachiteingestion-pa.googleapis.com	443
TCP	me-central2-malachiteingestion-pa.googleapis.com	443
TCP	me-west1-malachiteingestion-pa.googleapis.com	443
TCP	northamerica-northeast2-malachiteingestion-pa.googleapis.com	443
TCP	accounts.google.com	443
TCP	gcr.io	443
TCP	oauth2.googleapis.com	443
TCP	storage.googleapis.com	443

Personaliza los archivos de configuración

Google Cloud adapta los archivos de configuración a la instancia de reenvío con metadatos específicos, como se muestra en la sección de salida. Puedes descargar el archivo de configuración según tus requisitos y también incluir información sobre los tipos de registros que se transferirán en la sección de recopiladores. Para obtener más información sobre los parámetros de configuración, consulta Referencia de los parámetros de configuración.

Cómo configurar el servidor de reenvío de Linux

Para configurar el servidor de reenvío de Linux a través de la IU, consulta Administra la configuración de los servidores de reenvío con la IU de Google SecOps.

Para configurar el servidor de reenvío de Linux de forma manual, haz lo siguiente:

1. Haz una copia de la plantilla del archivo de configuración que se proporciona con el software.

2. Descarga el archivo de configuración a través de la IU.

3. Guarda los dos archivos en el mismo directorio con la siguiente convención de nomenclatura:

   FORWARDER_NAME.conf: usa este archivo para definir los ajustes de configuración relacionados con la transferencia de registros.

   FORWARDER_NAME_auth.conf: usa este archivo para definir las credenciales de autorización.

4. Modifica los archivos para incluir la configuración de la instancia de reenvío. Usa las muestras que se proporcionan en este documento como referencia.

5. Asegúrate de que exista una entrada para cada entrada en el archivo FORWARDER_NAME_auth.conf, incluso si la entrada no tiene los detalles de autenticación correspondientes. Esto es necesario para asignar los datos correctamente.

El servidor de reenvío aplicará automáticamente cualquier cambio realizado en el archivo de configuración en un plazo de 5 minutos.

Configuración de ejemplo

En la siguiente muestra de código, se observa el formato de los archivos de configuración para un servidor de reenvío. Para obtener detalles sobre la configuración para cada tipo de mecanismo de transferencia, como Splunk o Syslog, consulta Recopila datos.

El archivo FORWARDER_NAME.conf

output:
  url: malachiteingestion-pa.googleapis.com:443
  identity:
    identity:
    collector_id: COLLECTOR_ID \
    customer_id: CUSTOMER_ID \

collectors:
  - syslog:
      common:
        enabled: true
        data_type: "WINDOWS_DHCP"
        data_hint:
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      tcp_address: 0.0.0.0:10514
      udp_address: 0.0.0.0:10514
      connection_timeout_sec: 60
      tcp_buffer_size: 524288
  - syslog:
      common:
        enabled: true
        data_type: "WINDOWS_DNS"
        data_hint:
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      tcp_address: 0.0.0.0:10515
      connection_timeout_sec: 60
      tcp_buffer_size: 524288

El archivo FORWARDER_NAME_auth.conf

output:
  identity:
    secret_key: |
      {
        "type": "service_account",
        "project_id": "PROJECT_ID" \,
        "private_key_id": "PRIVATE_KEY_ID" \,
        "private_key": "-----BEGIN PRIVATE KEY-----\\"PRIVATE_KEY" \n-----END PRIVATE KEY-----\n",
        "client_email": "CLIENT_EMAIL" \,
        "client_id": "CLIENT_ID" \,
        "auth_uri": "https://accounts.google.com/o/oauth2/auth",
        "token_uri": "https://oauth2.googleapis.com/token",
        "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
        "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/example-account-1%40example-account.iam.gserviceaccount.com"
      }

collectors:
  - syslog:
  - syslog:
      certificate: "../forwarder/inputs/testdata/localhost.pem"
      certificate_key: "../forwarder/inputs/testdata/localhost.key"

Este sistema de dos archivos te permite almacenar credenciales de autenticación en un archivo separado para mejorar la seguridad. Puedes almacenar el archivo FORWARDER_NAME.conf en un repositorio de control de versión o en cualquier sistema abierto de administración de configuración. Puedes almacenar el archivo FORWARDER_NAME_auth.conf directamente en la máquina física o virtual que ejecuta el servidor de reenvío.

Nota: Si ya ejecutas una instancia de Forwarder de Google Security Operations con un solo archivo de configuración, puedes continuar usándolo para configurar el servidor de reenvío para la recopilación de datos.

Configuración de ejemplo (archivo único)

output:
  url: malachiteingestion-pa.googleapis.com:443
  identity:
    identity:
    collector_id: "COLLECTOR_ID" \
    customer_id: "CUSTOMER_ID" \
    secret_key: |
      {
        "type": "service_account",
        "project_id": "PROJECT_ID" \,
        "private_key_id": "PRIVATE_KEY_ID" \,
        "private_key": "-----BEGIN PRIVATE KEY-----\ "PRIVATE_KEY" \n-----END PRIVATE KEY-----\n",
        "client_email": "CLIENT_EMAIL" \,
        "client_id": "CLIENT_ID" \,
        "auth_uri": "https://accounts.google.com/o/oauth2/auth",
        "token_uri": "https://oauth2.googleapis.com/token",
        "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
        "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/malachite-test-1%40malachite-test.iam.gserviceaccount.com"
      }

collectors:
  - syslog:
      common:
        enabled: true
        data_type: "WINDOWS_DHCP"
        data_hint:
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      tcp_address: 0.0.0.0:10514
      udp_address: 0.0.0.0:10514
      connection_timeout_sec: 60
      tcp_buffer_size: 524288
  - syslog:
      common:
        enabled: true
        data_type: "WINDOWS_DNS"
        data_hint:
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      tcp_address: 0.0.0.0:10515
      connection_timeout_sec: 60
      certificate: "../forwarder/inputs/testdata/localhost.pem"
      certificate_key: "../forwarder/inputs/testdata/localhost.key"
      tcp_buffer_size: 524288

Si usas el archivo de configuración único y deseas moverte al sistema de archivos de dos, haz lo siguiente:

1. Crea una copia de tu configuración existente.
2. Guarda un archivo como el archivo FORWARDER_NAME.conf y borra las credenciales de autorización del archivo.
3. Guarda el otro archivo como FORWARDER_NAME_auth.conf y borra todos los datos de no autorización del archivo. Usa los archivos de configuración de muestra que se proporcionan en esta guía como referencia.
4. Asegúrate de seguir la convención de nomenclatura y otros lineamientos que se mencionan en la sección Cómo personalizar los archivos de configuración.

Precaución: No compartas los archivos de configuración fuera de la organización.

Instala Docker

La instalación de Docker depende del entorno del host. Puedes instalar Docker en diferentes sistemas operativos de host. Google Cloud ofrece documentación limitada para ayudarte a instalar Docker en varias de las distribuciones de Linux más populares. Sin embargo, Docker es de código abierto y toda la documentación necesaria ya está disponible. Para obtener instrucciones sobre la instalación de Docker, consulta la documentación de Docker.

Una vez que Docker está instalado en tu sistema, el proceso de instalación del servidor de reenvío de Google Security Operations es similar a cualquier tipo de distribución de Linux.

Para comprobar si Docker está instalado correctamente en tu sistema, ejecuta el siguiente comando (privilegios elevados):

   docker ps
  

La siguiente respuesta indica que Docker se instaló correctamente:

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

Comandos útiles de Docker

• Puedes recopilar información adicional sobre la instalación de Docker con el siguiente comando:

  docker info
  

• El servicio de Docker se puede inhabilitar de forma predeterminada. Para comprobar si está inhabilitado, ejecuta el siguiente comando:

  systemctl is-enabled docker
  

• Para habilitar el servicio de Docker y, luego, iniciarlo de inmediato, ejecuta uno de los siguientes comandos:

  sudo systemctl enable --now docker
  

  sudo systemctl enable /usr/lib/systemd/system/docker.service
  

  Resultado:

  Created symlink /etc/systemd/system/multi-user.target.wants/docker.service → /lib/systemd/system/docker.service
  

• Cuando inicies un servidor de reenvío, ejecuta el siguiente comando para configurar el reenvío automático:

  sudo docker run --restart=always `IMAGE_NAME`
  

  IMAGE_NAME es el nombre de la imagen de reenvío.

• Para verificar el estado y los detalles del servicio de Docker, ejecuta el siguiente comando:

  sudo systemctl status docker
  

  Resultado:

  ● docker.service - Docker Application Container Engine
      Loaded: loaded (/lib/systemd/system/docker.service; enabled; vendor preset: enabled)
      Active: active (running) since Sat 2020-07-18 11:14:05 UTC; 15s ago
  TriggeredBy: ● docker.socket
        Docs: https://docs.docker.com
    Main PID: 263 (dockerd)
        Tasks: 20
      Memory: 100.4M
      CGroup: /system.slice/docker.service
              └─263 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
  Jul 18 11:14:05 swarm-kraken dockerd[263]: time="2020-07-18T11:14:05.713787002Z" level=info msg="API listen on /run/docker.sock"
  Jul 18 11:14:05 swarm-kraken systemd[1]: Started Docker Application Container Engine
  

  Si tienes algún problema con Docker, el equipo de asistencia al cliente de Google Security Operations puede solicitar el resultado de este comando para ayudar y depurar el problema.

Cómo instalar el reenviador en Linux

En esta sección, se describe cómo instalar Google Security Operations Forwarder con un contenedor de Docker en un sistema Linux.

Paso 1. Descarga, transfiere e instala los archivos de configuración de reenvío

Google Security Operations proporciona archivos de configuración de reenvío específicos para tu sistema operativo (Linux o Windows). Puedes descargar el archivo de configuración según tus requisitos. Después de completar los siguientes pasos, transfiere los archivos de configuración de tu laptop al directorio de reenvío /opt/chronicle/config dentro del directorio principal del usuario.

Nota: Puedes especificar el nombre que deseas para el directorio. El nombre /config es solo un ejemplo de nombre de directorio. Sin embargo, asegúrate de usar siempre el mismo nombre de directorio.

1. Conéctate al host del servidor de reenvío de Linux a través de la terminal.

2. Crea un usuario nuevo en el host del servidor de reenvío de Linux.

     adduser USERNAME
     passwd USERNAME
     usermod -aG wheel USERNAME
   

3. Cambia el directorio al directorio principal del usuario nuevo que ejecuta el contenedor de Docker.

4. Crea un directorio para almacenar los archivos de configuración del servidor de reenvío de Google Security Operations:

     mkdir /opt/chronicle/config
   

   Nota: El nombre del directorio, config, es un ejemplo. Puedes especificar cualquier nombre para este directorio. Sin embargo, asegúrate de usar el mismo nombre de directorio mientras ejecutas el comando Docker run.

5. Cambia el directorio.

     cd /opt/chronicle/config
   

6. Una vez que se hayan transferido los archivos, asegúrate de que los archivos de configuración se encuentren en el directorio /opt/chronicle/config:

     ls -l
   

Paso 2. Ejecuta el objeto Forwarder dentro del contenedor de Docker

Puedes usar los siguientes procedimientos para iniciar el servidor de reenvío de Google Security Operations por primera vez y actualizarlo a la versión más reciente del contenedor:

Las opciones --log-opt están disponibles desde Docker 1.13. Estas opciones limitan el tamaño de los archivos de registro del contenedor y deben usarse siempre y cuando tu versión de Docker las admita.

1. Si vas a realizar la actualización, primero borra todas las ejecuciones anteriores de Docker. En el siguiente ejemplo, el nombre del contenedor de Docker es cfps. Obtén la imagen de Docker más reciente de Google Cloud con el comando docker pull como se muestra a continuación.

   docker stop cfps
   

   docker rm cfps
   

2. Obtén la imagen de Docker más reciente de Google Cloud:

   docker pull gcr.io/chronicle-container/cf_production_stable
   

3. Inicia el servidor de reenvío de Google Security Operations desde el contenedor de Docker:

   docker run \
   --detach \
   --name cfps \
   --restart=always \
   --log-opt max-size=100m \
   --log-opt max-file=10 \
   --net=host \
   -v /opt/chronicle/config:/opt/chronicle/external \
   gcr.io/chronicle-container/cf_production_stable
   

Ver registros de reenviadores

Para ver los registros del servidor de reenvío de Google Security Operations, ejecuta el siguiente comando:

  sudo docker logs cfps

Para ver la ruta del archivo en el que se almacenan los registros, ejecuta el siguiente comando:

docker inspect --format='{{.LogPath}}' CONTAINER_NAME
 

Para ver los registros de ejecución en vivo, ejecuta el siguiente comando:

  sudo docker logs cfps -f

Para almacenar los registros en un archivo, ejecuta el siguiente comando:

  sudo docker logs cfps &> logs.txt

Cómo desinstalar el servidor de reenvío

Los siguientes comandos de Docker te ayudan a detener, desinstalar o quitar el servidor de reenvío de Google Security Operations.

Para detener o desinstalar el contenedor de reenvío, haz lo siguiente:

    docker stop cfps
  

Para quitar el contenedor de reenvío, haz lo siguiente:

    docker rm cfps
  

Actualiza el servidor de reenvío

El servidor de reenvío de Google Security Operations consta de dos partes y se actualiza de la siguiente manera:

• Paquete de reenvío: Se actualiza automáticamente y no es necesario reiniciar.

• Imagen de Docker de Forwarder: se actualiza de forma manual después de detener el reenviador existente y de iniciar una instancia nueva como se indica en el Paso 2.

Importante: Si no actualizaste la imagen de Docker de Forwarder desde el 1 de abril de 2023, debes actualizarla antes del 31 de octubre de 2023. Esto garantiza que el paquete de reenvío siga recibiendo actualizaciones.

Recopilar datos

Las siguientes secciones te ayudan a configurar el servidor de reenvío de Google Security Operations para transferir diferentes tipos de datos, que se reenvían a la instancia de Google Security Operations.

Nota: No configures un valor superior a 4 MB para batch_n_bytes.

Recopila datos de Splunk

Puedes configurar el servidor de reenvío de Google Security Operations para que reenvíe tus datos de Splunk a Google Security Operations. Google Cloud configura el servidor de reenvío de Google Security Operations con la siguiente información para reenviar tus datos desde Splunk:

• URL de la API de REST de Splunk (por ejemplo, https://10.0.113.15:8089).

• Consultas de Splunk a fin de generar datos para cada uno de los tipos de datos obligatorios (por ejemplo, index=dns).

FORWARDER_NAME.conf
output:
collectors:
  - splunk:
      common:
        enabled: true
        data_type: WINDOWS_DNS
        data_hint: "#fields ts      uid     id.orig_h       id.orig_p       id.resp_h         id.resp_p       proto   trans_id        query   qclass  qclass_name"
        batch_n_seconds: 10
        batch_n_bytes: 819200
      url: https://127.0.0.1:8089
      is_ignore_cert: true
      minimum_window_size: 10s
      maximum_window_size: 30s
      query_string: search index=* sourcetype=dns
      query_mode: realtime

• Haz que las credenciales de tu cuenta de Splunk estén disponibles para el servidor de reenvío de Google Security Operations. Para ello, crea un archivo creds.txt.

Para usar un archivo creds.txt, haz lo siguiente:

1. Crea un archivo local para tus credenciales de Splunk y asígnale el nombre creds.txt.

   Nota: Asegúrate de que las credenciales estén almacenadas de forma segura. No reenvíes tus credenciales de Splunk a Google Cloud.

2. Coloca tu nombre de usuario en la primera línea y la contraseña en la segunda línea:

   cat creds.txt
   
   myusername
   mypassword
   

3. Si deseas usar el servidor de reenvío de Google Security Operations para acceder a una instancia de Splunk, copia el archivo creds.txt en el directorio de configuración (el mismo en el que se encuentran los archivos de configuración). Por ejemplo:

   cp creds.txt /opt/chronicle/config/creds.txt
   

4. Verifica que el archivo creds.txt esté en la ubicación correcta:

   ls /opt/chronicle/config
   

Recopilar datos de syslog

El servidor de reenvío de Google Security Operations puede funcionar como un servidor Syslog. Puedes configurar cualquier dispositivo o servidor que admita el envío de datos de syslog a través de una conexión TCP o UDP para reenviar sus datos al servidor de reenvío de Google Security Operations. Puedes controlar los datos exactos que el dispositivo o el servidor envían al servidor de reenvío de Google Security Operations. El servidor de reenvío de Google Security puede reenviar los datos a esta plataforma.

El archivo de configuración FORWARDER_NAME.conf (proporcionado por Google Cloud) especifica qué puertos supervisar para cada tipo de datos reenviados (por ejemplo, el puerto 10514). De forma predeterminada, el servidor de reenvío de Google Security Operations acepta conexiones TCP y UDP.

Cómo configurar rsyslog

Si quieres configurar rsyslog, debes especificar un destino para cada puerto (por ejemplo, cada tipo de datos). Consulta la documentación del sistema para conocer la sintaxis correcta. En los siguientes ejemplos, se ilustra la configuración de destino rsyslog:

• Tráfico de registro de TCP: dns.* @@192.168.0.12:10514

• Tráfico de registros UDP: dns.* @192.168.0.12:10514

Habilitar TLS para configuraciones de syslog

Puedes habilitar TLS para la conexión de Syslog al servidor de reenvío de Google Security Operations. En el archivo de configuración del servidor de reenvío de Google Security Operations (FORWARDER_NAME.conf), especifica la ubicación de tu certificado generado y clave de certificado, como se muestra en el siguiente ejemplo:

certificado	"/opt/chronicle/external/certs/client_generated_cert.pem"
certificate_key	"/opt/chronicle/external/certs/client_generated_cert.key"

Según el ejemplo que se muestra, modifica el archivo de configuración del servidor de reenvío de Google Security Operations (FORWARDER_NAME.conf) de la siguiente manera:

  collectors:
- syslog:
    common:
      enabled: true
      data_type: WINDOWS_DNS
      data_hint:
      batch_n_seconds: 10
      batch_n_bytes: 1048576
    tcp_address: 0.0.0.0:10515
    tcp_buffer_size: 65536
    connection_timeout_sec: 60
    certificate: "/opt/chronicle/external/certs/client_generated_cert.pem"
    certificate_key: "/opt/chronicle/external/certs/client_generated_cert.key"
    minimum_tls_version: "TLSv1_3"

Algunos puntos importantes para tener en cuenta:

• Puedes configurar el tamaño del búfer TCP. El tamaño predeterminado del búfer TCP es de 64 KB.

• El valor predeterminado y recomendado de connection_timeout es de 60 segundos. La conexión TCP finaliza si la conexión está inactiva durante un tiempo específico.

• La versión de TLS mínima se compara con la versión TLS de la solicitud de entrada. La versión TLS de la solicitud de entrada debe ser superior a la versión mínima de TLS. La versión mínima de TLS debe ser uno de los siguientes valores: TLSv1_0, TLSv1_1, TLSv1_2 o TLSv1_3.

Puedes crear un directorio de certificados en el directorio de configuración y almacenar los archivos de certificados allí.

Nota: Quita el campo udp_address del archivo de configuración FORWARDER_NAME.conf de Google Security Operations. TLS debe usar TCP para el transporte, por lo que no se puede configurar UDP.

Recopilar datos de archivos

Un recopilador de archivos está diseñado para recuperar los registros de un archivo. El archivo debe estar vinculado al contenedor de Docker.

Usa esta opción si quieres subir los registros de forma manual desde un solo archivo de registro. Esto se puede usar para reabastecer los registros de un archivo de registro en particular.

Inicia el servidor de reenvío de Google Security Operations desde el contenedor de Docker:

  docker run \
    --detach \
    --name cfps \
    --log-opt max-size=100m \
    --log-opt max-file=10 \
    --net=host \
    -v /opt/chronicle/config:/opt/chronicle/external \
    -v /var/log/crowdstrike/falconhostclient:/opt/chronicle/edr \
     gcr.io/chronicle-container/cf_production_stable

Este comando docker run es crítico para asignar el volumen de carga al contenedor.

En función de este ejemplo, debes modificar la configuración del servidor de reenvío de Google Security Operations (archivo FORWARDER_NAME.conf) de la siguiente manera. El archivo sample.txt debe estar presente en la carpeta /var/log/crowdstrike/falconhostclient.

 collectors:
  - file:
       common:
         enabled: true
         data_type: CS_EDR
         data_hint:
         batch_n_seconds: 10
         batch_n_bytes: 1048576
       file_path: /opt/chronicle/edr/sample.txt
       filter:

Nota: Crea la configuración para configurar la entrada del archivo como se muestra.

Parámetros de configuración de marcas

skip_seek_to_end (bool): Esta marca se establece en false de forma predeterminada y la entrada del archivo solo envía líneas de registro nuevas como entrada. Configurar esto como true hace que todas las líneas de registro anteriores se vuelvan a enviar durante los reinicios de reenvío. Esto genera una duplicación de registros. Establecer esta marca en true es útil en ciertas situaciones (por ejemplo, durante interrupciones), porque reiniciar el servidor de reenvío vuelve a enviar las líneas de registro faltantes.

poll (bool): El recopilador de archivos usa la biblioteca de Tail para verificar si hay cambios en el sistema de archivos. Si configuras esta marca como true, la biblioteca de Tail usa el método de sondeo en lugar del método de notificación predeterminado.

Recopilar datos de paquetes

El servidor de reenvío de Google Security Operations puede capturar paquetes directamente desde una interfaz de red con libcap en Linux. Para obtener más información sobre libcap, consulta libcap - página del manual de Linux.

Los paquetes se capturan y se envían a Google Security Operations en lugar de entradas de registro. La captura de paquetes se controla solo desde una interfaz local. Para habilitar la captura de paquetes en tu sistema, comunícate con el equipo de asistencia de Google Security Operations.

Google Cloud configura el reenvío de operaciones de seguridad de Google con la expresión de filtro de paquetes de Berkeley (BPF) que se usa cuando se capturan paquetes (por ejemplo, el puerto 53 y no el host local). Para obtener más información, consulta Filtros de paquetes de Berkeley.

Recopila datos del tema de Kafka

Puedes transferir datos de los temas de Kafka del mismo modo que desde syslog. Los grupos de consumidores se aprovechan para permitirte implementar hasta 3 reenviadores y extraer datos del mismo tema de Kafka. Para obtener más información, consulta Kafka.

Para obtener más información sobre los grupos de consumidores de Kafka, consulta lo siguiente: https://docs.confluent.io/platform/current/clients/consumer.html

Configuración de ejemplo: entrada de Kafka

La siguiente configuración de reenvío muestra cómo configurar el servidor de reenvío para transferir datos de los temas de Kafka.

El archivo FORWARDER_NAME.conf

collectors:
- kafka:
      common:
        batch_n_bytes: 1048576
        batch_n_seconds: 10
        data_hint: null
        data_type: NIX_SYSTEM
        enabled: true
      topic: example-topic
      group_id: chronicle-forwarder
      timeout: 60s
      brokers: ["broker-1:9092", "broker-2:9093"]
      tls:
        insecureSkipVerify: true
        certificate: "/path/to/cert.pem"
        certificate_key: "/path/to/cert.key"
- syslog:
      common:
        batch_n_bytes: 1048576
        batch_n_seconds: 10
        data_hint: null
        data_type: WINEVTLOG
        enabled: true
      tcp_address: 0.0.0.0:30001
      connection_timeout_sec: 60

El archivo FORWARDER_NAME_auth.conf

collectors:
- kafka:
      username: user
      password: password
- syslog:

Recopilar datos de WebProxy

El servidor de reenvío de Google Security Operations puede capturar datos de WebProxy directamente desde una interfaz de red con libcap en Linux. Para obtener más información sobre libcap, consulta la página del manual de libcap - Linux. Para habilitar la captura de datos de WebProxy en tu sistema, comunícate con el equipo de asistencia de Google Security Operations.

Modifica la configuración del servidor de reenvío de Google Security Operations (archivo FORWARDER_NAME.conf) de la siguiente manera:

- webproxy:
      common:
        enabled : true
        data_type: <Your LogType>
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      interface: any
      bpf: tcp and dst port 80

Personaliza los parámetros de configuración

En la siguiente tabla, se enumeran los parámetros importantes que se usan en el archivo de configuración del servidor de reenvío.

Parámetro	Descripción
data_type	El tipo de datos de registro que el recopilador puede recopilar y procesar.
metadatos	Metadatos, que anulan los metadatos globales.
max_file_buffer_bytes	Cantidad máxima de bytes que se pueden acumular en el búfer de disco o archivo. El valor predeterminado es 1073741824, que es 1 GB.
max_memory_buffer_bytes	Cantidad máxima de bytes que se pueden acumular en el búfer de memoria. El valor predeterminado es 1073741824, que es 1 GB.
write_to_disk_dir_path	La ruta de acceso que se usará para el búfer de archivo o disco.
write_to_disk_buffer_enabled	Si es true, se usa el búfer de disco en lugar del búfer de memoria. El valor predeterminado es false.
batch_n_bytes	Cantidad máxima de bytes que el colector puede acumular y, luego, los datos se agrupan en lotes. El valor predeterminado es 1048576, que es 1 MB.
batch_n_seconds	La cantidad de segundos después de los cuales los datos que recopila el recopilador se agrupan en lotes. El valor predeterminado es 11 segundos.
data_hint	Formato de datos que puede recibir el recopilador (por lo general, el encabezado del archivo de registro que describe el formato).

Para obtener una lista extensa de los parámetros usados en el archivo de configuración, consulta Campos de configuración de Forwarder y Campos de configuración de colector.

Activar o desactivar la compresión de datos

La compresión de registros reduce el consumo de ancho de banda de red cuando se transfieren registros a Google Security Operations. Sin embargo, la compresión puede causar un aumento en el uso de la CPU. La compensación entre el uso de la CPU y el ancho de banda depende de muchos factores, incluidos el tipo de datos de registro, la compresibilidad de esos datos, la disponibilidad de los ciclos de la CPU en el host que ejecuta el servidor de reenvío y la necesidad de reducir el consumo del ancho de banda de la red.

Por ejemplo, los registros basados en texto se comprimen bien y pueden proporcionar un ahorro de ancho de banda significativo con un uso bajo de CPU. Sin embargo, las cargas útiles encriptadas de paquetes sin procesar no se comprimen bien y generan un mayor uso de CPU.

De forma predeterminada, la compresión de registros está inhabilitada. Habilitar la compresión de registros puede reducir el consumo de ancho de banda. Sin embargo, habilitar la compresión de registros también puede aumentar el uso de la CPU. Ten en cuenta las compensaciones.

Para habilitar la compresión de registros, configura el campo compression en true en el archivo de configuración del servidor de reenvío de Google Security Operations, como se muestra en el siguiente ejemplo:

El archivo FORWARDER_NAME.conf

output:
  compression: true
    url: malachiteingestion-pa.googleapis.com:443
    identity:
      identity:
      collector_id: 10479925-878c-11e7-9421-10604b7cb5c1
      customer_id: ebdc4bb9-878b-11e7-8455-10604b7cb5c1
...

El archivo FORWARDER_NAME_auth.conf

output:
  identity:
    secret_key: |
    {
     "type": "service_account",
...
    }

Configura el almacenamiento en búfer del disco

El almacenamiento en búfer del disco te permite almacenar en búfer los mensajes pendientes en el disco en lugar de en la memoria. Los mensajes pendientes se pueden almacenar en caso de que falle el servidor de reenvío o el host subyacente. Ten en cuenta que habilitar el almacenamiento en búfer del disco puede afectar el rendimiento.

Nota: Si recibes un mensaje de error que indica que se alcanzó el límite del lote (xxx) y que se libera un lote de las tareas pendientes, aumenta el valor de max_file_buffer_bytes a 1 GB o más.

Si el almacenamiento en búfer del disco está inhabilitado, el servidor de reenvío usa 1 GB de memoria (RAM) para cada tipo de registro (por ejemplo, por conector). Especifica el parámetro de configuración max_memory_buffer_bytes. La memoria máxima permitida es de 4 GB.

Puedes configurar el almacenamiento en búfer de memoria automático para usar un búfer compartido de forma dinámica entre colectores, que se ocupa mejor de los aumentos repentinos de tráfico. Para habilitar el búfer compartido de forma dinámica, agrega lo siguiente a tu configuración de reenvío:

auto_buffer:
  enabled: true
  target_memory_utilization: 80

Si el almacenamiento en búfer automático del disco está habilitado, pero no se definió target_memory_utilization, se usa un valor predeterminado de 70.

Si ejecutas el servidor de reenvío con Docker, Google recomienda activar un volumen separado del volumen de configuración para fines de aislamiento. Además, cada entrada debe aislarse con su propio directorio o volumen para evitar conflictos.

Configuración de ejemplo: almacenamiento en búfer del disco

La siguiente configuración incluye la sintaxis para habilitar el almacenamiento en búfer del disco:

collectors:
- syslog:
    common:
      write_to_disk_buffer_enabled: true
      # /buffers/NIX_SYSTEM is part of the external mounted volume for the
forwarder
      write_to_disk_dir_path: /buffers/NIX_SYSTEM
      max_file_buffer_bytes: 1073741824
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: NIX_SYSTEM
      enabled: true
    tcp_address: 0.0.0.0:30000
    connection_timeout_sec: 60
- syslog:
    common:
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: WINEVTLOG
      enabled: true
    tcp_address: 0.0.0.0:30001
    connection_timeout_sec: 60

Configura filtros de expresiones regulares

Los filtros de expresiones regulares te permiten filtrar los registros en función de las coincidencias de expresiones regulares con los registros sin procesar.

Los filtros emplean la sintaxis RE2 descrita aquí: https://github.com/google/re2/wiki/Syntax

Los filtros deben incluir una expresión regular y, de forma opcional, definir un comportamiento cuando haya una coincidencia. El comportamiento predeterminado de una coincidencia es el bloqueo (también puedes configurarlo de forma explícita como bloque).

Como alternativa, puedes especificar filtros con el comportamiento allow. Si especificas algún filtro allow, el reenviador bloquea los registros que no coinciden con al menos un filtro allow.

Es posible definir un número arbitrario de filtros. Los filtros de bloqueo tienen prioridad sobre los filtros allow.

Cuando se definen filtros, se les debe asignar un nombre. Los nombres de los filtros activos se informarán a Google Security Operations a través de las métricas de estado de Forwarder. Los filtros definidos en la raíz de la configuración se combinan con los filtros definidos en el nivel del colector. Los filtros a nivel de colector tienen prioridad en los casos de nombres contradictorios. Si no se definen filtros a nivel de la raíz o del colector, el comportamiento es permitirlos todos.

Configuración de ejemplo: filtros de expresiones regulares

En la siguiente configuración de Forwarder, se bloquean los registros WINEVTLOG que no coinciden con el filtro raíz (allow_filter). Dada la expresión regular, el filtro solo permite registros con prioridades entre 0 y 99. Sin embargo, se bloquea cualquier registro de NIX_SYSTEM que contenga "foo" o "bar", a pesar de allow_filter. Esto se debe a que los filtros usan un operador lógico OR. Todos los registros se procesan hasta que se activa un filtro.

regex_filters:
  allow_filter:
    regexp: ^<[1-9][0-9]?$>.*$
    behavior_on_match: allow
collectors:
- syslog:
    common:
      regex_filters:
        block_filter_1:
          regexp: ^.*foo.*$
          behavior_on_match: block
        block_filter_2:
          regexp: ^.*bar.*$
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: NIX_SYSTEM
      enabled: true
    tcp_address: 0.0.0.0:30000
    connection_timeout_sec: 60
- syslog:
    common:
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: WINEVTLOG
      enabled: true
    tcp_address: 0.0.0.0:30001
    connection_timeout_sec: 60

Configurar etiquetas arbitrarias

Las etiquetas se usan para adjuntar metadatos arbitrarios a los registros mediante pares clave-valor. Las etiquetas se pueden configurar para todo un servidor de reenvío o dentro de un colector específico de un servidor de reenvío. Si se proporcionan ambas, las etiquetas se combinan con las claves del recopilador y tienen prioridad sobre las claves de reenvío si las claves se superponen.

Configuración de ejemplo: etiquetas arbitrarias

En la siguiente configuración de reenvío, los pares de clave y valor “foo=bar” y “meow=mix” se vinculan a registros WINEVTLOG, y los pares de clave y valor “foo=baz” y “meow=mix” se adjuntan a los registros NIX_SYSTEM.

metadata:
  labels:
    foo: bar
    meow: mix
collectors:
syslog:
    common:
      metadata:
        labels:
          foo: baz
          meow: mix
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: NIX_SYSTEM
      enabled: true
    tcp_address: 0.0.0.0:30000
    connection_timeout_sec: 60
syslog:
    common:
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: WINEVTLOG
      enabled: true
    tcp_address: 0.0.0.0:30001
    connection_timeout_sec: 60

Configurar espacios de nombres

Usa etiquetas de espacio de nombres para identificar los registros de segmentos de red distintos y resolver conflictos con las direcciones IP superpuestas. Puedes configurar una etiqueta de espacio de nombres para un objeto de reenvío completo o dentro de un recopilador específico de ese objeto de reenvío. Si ambos están incluidos, tiene prioridad el espacio de nombres del colector específico.

Cualquier espacio de nombres configurado para el servidor de reenvío aparece con los recursos asociados en la interfaz de usuario de Google Security Operations. También puedes buscar espacios de nombres con la función de búsqueda de Google Security Operations.

Si quieres obtener información para ver los espacios de nombres en la interfaz de usuario de Google Security Operations, consulta aquí.

Configuración de ejemplo: espacios de nombres

En la siguiente configuración de reenvío, los registros WINEVTLOG se adjuntan al espacio de nombres FORWARDER y los registros NIX_SYSTEM se adjuntan al espacio de nombres CORPORATE.

metadata:
  namespace: FORWARDER
collectors:
- syslog:
      common:
        metadata:
          namespace: CORPORATE
        batch_n_bytes: 1048576
        batch_n_seconds: 10
        data_hint: null
        data_type: NIX_SYSTEM
        enabled: true
      tcp_address: 0.0.0.0:30000
      connection_timeout_sec: 60
- syslog:
      common:
        batch_n_bytes: 1048576
        batch_n_seconds: 10
        data_hint: null
        data_type: WINEVTLOG
        enabled: true
      tcp_address: 0.0.0.0:30001
      connection_timeout_sec: 60

Configura las opciones de balanceo de cargas y alta disponibilidad

El servidor de reenvío de Google Security Operations para Linux se puede implementar en un entorno en el que se instala un balanceador de cargas de capa 4 entre las instancias de fuente de datos y de reenvío. Esto permite que un cliente distribuya la recopilación de registros entre varios servidores de reenvío o que envíe registros a un servidor de reenvío diferente si uno falla. Esta función solo es compatible con el tipo de colección syslog.

El servidor de reenvío de Linux incluye un servidor HTTP integrado que responde a las verificaciones de estado HTTP desde el balanceador de cargas. El servidor HTTP también ayuda a garantizar que los registros no se pierdan durante el inicio o el cierre de un servidor de reenvío.

Configura el servidor HTTP, el balanceo de cargas y las opciones de alta disponibilidad en la sección server del archivo de configuración de reenvío. Estas opciones admiten la configuración de duraciones de tiempo de espera y códigos de estado que se muestran en respuesta a las verificaciones de estado recibidas en el programador de contenedores y en implementaciones basadas en la organización, así como en los balanceadores de cargas tradicionales.

Usa las siguientes rutas de URL para las verificaciones de estado, preparación y funcionamiento. Los valores de <host:port> se definen en la configuración del servidor de reenvío.

• http://<host:port>/meta/available: verificaciones de funcionamiento para organizadores o programadores de contenedores
• http://<host:port>/meta/ready: verificaciones de preparación y verificaciones de estado de balanceadores de cargas tradicionales

La siguiente configuración de reenvío es un ejemplo para el balanceo de cargas y la alta disponibilidad:

collectors:
- syslog:
    common:
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: NIX_SYSTEM
      enabled: true
    tcp_address: 0.0.0.0:30000
    connection_timeout_sec: 60
- syslog:
    common:
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: WINEVTLOG
      enabled: true
    tcp_address: 0.0.0.0:30001
    connection_timeout_sec: 60
server:
  graceful_timeout: 15s
  drain_timeout: 10s
  http:
    port: 8080
    host: 0.0.0.0
    read_timeout: 3s
    read_header_timeout: 3s
    write_timeout: 3s
    idle_timeout: 3s
    routes:
    - meta:
        available_status: 204
        ready_status: 204
        unready_status: 503

Ruta de configuración	Descripción
servidor : graciaful_timeout	La cantidad de tiempo que el servidor de reenvío devuelve una verificación de preparación o estado incorrecta y aún acepta conexiones nuevas. Este también es el tiempo de espera entre la recepción de una señal para detenerse y el comienzo real del cierre del servidor. Esto le da tiempo al balanceador de cargas para quitar el servidor de reenvío del grupo.
servidor : desvío_timeout	Es la cantidad de tiempo que el servidor de reenvío espera a que las conexiones activas se cierren de forma correcta por su cuenta antes de que el servidor las cierre.
servidor : HTTP : puerto	El número de puerto que escucha el servidor HTTP para las verificaciones de estado del balanceador de cargas. Debe estar comprendido entre 1024 y 65535.
servidor : http : host	La dirección IP o el nombre de host que se puede resolver en direcciones IP que el servidor debe escuchar. Si está vacío, el valor predeterminado es del sistema local (0.0.0.0).
servidor : http : read_timeout	Se usa para ajustar el servidor HTTP. Por lo general, no es necesario cambiar de la configuración predeterminada. La cantidad máxima de tiempo permitida para leer toda la solicitud, tanto el encabezado como el cuerpo. Puedes configurar read_timeout y read_header_timeout.
servidor : http : read_header_timeout	Se usa para ajustar el servidor HTTP. Por lo general, no es necesario cambiar de la configuración predeterminada. La cantidad máxima de tiempo permitida para leer encabezados de solicitud. La conexión lee, y el plazo se restablece después de leer el encabezado.
servidor : http : write_timeout	Se usa para ajustar el servidor HTTP. Por lo general, no es necesario cambiar de la configuración predeterminada. La cantidad máxima de tiempo permitida para enviar una respuesta. Se restablece cuando se lee un nuevo encabezado de la solicitud.
servidor : http : inactivos_timeout	Se usa para ajustar el servidor HTTP. Por lo general, no es necesario cambiar de la configuración predeterminada. La cantidad máxima de tiempo que se debe esperar a la siguiente solicitud cuando las conexiones inactivas están habilitadas. Si inactivos_timeout es cero, se usa el valor de read_timeout. Si ambos son cero, se usa read_header_timeout.
rutas : meta : ready_status	El código de estado que muestra el reenviador cuando está listo para aceptar el tráfico en cualquiera de las siguientes situaciones: La verificación de preparación se recibe de un organizador o programador de contenedores. La verificación de estado se recibe de un balanceador de cargas tradicional.
rutas : meta : unready_status	El código de estado que muestra el reenviador cuando no está listo para aceptar tráfico.
rutas : meta : available_status	El código de estado que muestra el reenviador cuando se recibe una verificación de funcionamiento y el servidor de reenvío está disponible. Los organizadores o programadores de contenedores suelen enviar verificaciones de actividad.

Preguntas frecuentes

¿Cómo actualizo el servidor de reenvío?

El servidor de reenvío de Linux se actualiza de forma constante a través de una secuencia de comandos de shell en la imagen de Docker. Para actualizar la imagen de Docker, ejecuta el objeto de reenvío.

¿Qué es un contenedor de Docker?

• Los contenedores de Docker son como máquinas virtuales que proporcionan seguridad, aislamiento y administración de recursos adicionales.

• Máquinas virtuales: Tienen un espacio con privilegios (kernel de Linux) y un espacio de usuario (todo con lo que interactúas: libc, Python, ls, tcpdump, etc.).

• Los contenedores solo tienen un espacio de usuario (todo con lo que interactúas: libc, Python, ls, tcpdump, etc.) y dependen del espacio de privilegios del host.

¿Por qué distribuir el servicio de reenvío de Google Security Operations con un contenedor?

• Mejor seguridad por aislamiento:
  • El entorno y los requisitos del cliente no afectan al agente de reenvío de Google Security Operations.
  • El entorno y los requisitos del servidor de reenvío de Google Security Operations no afectan al cliente.
  • Ya existe un mecanismo de distribución de contenedores y puede ser privado o independiente para Google Cloud y los clientes. https://cloud.google.com/container-registry/

¿Necesitas aprender comandos avanzados de Docker?

• El servidor de reenvío de Google Security Operations usa un solo contenedor, por lo que no es necesario aprender sobre Swarm, la organización ni otros conceptos o comandos avanzados de Docker.