Exclusiones de registros

En esta página, se describe cómo excluir registros de la transferencia mediante Cloud Console y la API de Logging.

Cloud Logging te permite excluir registros de tus depósitos de registro mediante el agregado de un filtro de exclusión en los receptores de registros que enrutan los registros a tus depósitos de registros. Con el lenguaje de consulta de Logging, escribes un filtro que define qué registros excluir del bucket de registros.

En la página Almacenamiento de registros, se hace un seguimiento del volumen de los registros de tu proyecto. El router de registros te brinda herramientas para inhabilitar todas las transferencias de registros o excluir (descartar) las entradas que no te interesen, de modo que puedas minimizar los cargos por superar la cantidad de registros de tu asignación mensual. Para obtener más información sobre cómo se tratan las entradas de registro excluidas, consulta Descripción general de las exclusiones en esta página.

Para obtener más información sobre los costos de Cloud Logging, consulta Precios. Ten en cuenta que, si envías y, luego, excluyes los registros de flujo de tu nube privada virtual de Cloud Logging, se aplican los cargos de generación de registro de flujo de VPC.

Realiza un seguimiento del volumen de registro

Para hacer un seguimiento del volumen de registros de tu proyecto, ve a la página Almacenamiento de registros en la consola de Cloud Logging:

Ir a Almacenamiento de registros

En la parte superior de la página, verás un resumen de las estadísticas de los registros que recibe tu proyecto:

Estadísticas de resumen del uso de almacenamiento de registros

Se informan las siguientes estadísticas:

  • Volumen de registros transferidos este mes (This month's ingested log volume): La cantidad de registros que recibió tu proyecto desde la primera fecha del mes actual.

  • Volumen de registros transferidos el mes pasado (Last month's ingested log volume): La cantidad de registros que recibió tu proyecto en el último mes calendario.

  • Proyección de volumen de registros que se transferirán (Projected ingestion log volume): La cantidad estimada de registros que recibirá tu proyecto para el final del mes actual, en función del uso actual.

Los volúmenes de registro no incluyen ciertos registros de auditoría: todos los registros de auditoría de Actividad del administrador y todos los registros de auditoría de Eventos del sistema. Esos registros son gratuitos y no se pueden excluir ni inhabilitar.

Descripción general de las exclusiones

En el siguiente diagrama, se ilustra cómo se tratan las entradas de registro excluidas en Cloud Logging:

Figura que ilustra cómo las rutas de Cloud Logging registran las entradas.

Las siguientes condiciones se aplican a las entradas de registro excluidas en Logging:

  • Las entradas de registro excluidas no cuentan en la asignación de Logging proporcionada a los proyectos. Consulta la página Precios de Logging para obtener más información.

  • Las entradas de registro excluidas no aparecen en el explorador de registros y no están disponibles para Error Reporting o Cloud Debugger.

  • Puedes exportar entradas de registro fuera de Cloud Logging mediante receptores de registros que incluyen destinos de receptor. También se pueden excluir estos mismos registros de la transferencia. Para obtener más información, consulta Descripción general del enrutamiento y el almacenamiento: Receptores.

  • Los registros de auditoría que no se pueden inhabilitar tampoco se pueden excluir. Sin embargo, esos tipos de registros de auditoría son gratuitos.

Mediante la creación de filtros de exclusión puedes controlar qué entradas de registro se excluirán (descartarán). Por ejemplo, podrías excluir entradas de registro de una sola instancia de VM en vez de todas las instancias de VM.

Límites de exclusión

Puedes tener hasta 50 filtros de exclusión en un proyecto.

Tiempo de exclusión

Los registros se excluyen después de que los recibe la API de Logging. Por lo tanto, excluir registros no reduce la cantidad de llamadas a la API de entries.write.

Crea filtros de exclusión

Puedes crear un filtro de exclusión para un receptor de registros nuevo o un receptor existente.

Crea filtros de exclusión para un receptor nuevo

A fin de crear un filtro de exclusión para un receptor de registros nuevo mediante el enrutador de registros, haz lo siguiente:

  1. Sigue los procedimientos de Crear receptor.

  2. En el paso Elige registros para filtrar fuera del receptor (opcional), puedes crear el filtro de exclusión con el fin de excluir los registros.

  3. Haz clic en Agregar exclusión.

  4. Ingresa un nombre en el campo Nombre de filtro de exclusión.

  5. En la sección Compila un filtro de exclusión, ingresa una expresión de filtro que coincida con las entradas de registro que deseas excluir. Para obtener una descripción general del lenguaje de consultas de Logging, visita Lenguaje de consultas de Logging. También puedes usar la función sample para seleccionar una parte de las entradas de registro.

  6. Haz clic en Agregar exclusión para agregar filtros adicionales según sea necesario.

  7. Cuando termines, haz clic en Crear receptor.

Crea filtros de exclusión para un receptor existente

A fin de crear un filtro de exclusión para un receptor de registros existente mediante el enrutador de registros, haz lo siguiente:

  1. En el menú de Logging, selecciona Enrutador de registros.

    Ir a Enrutador de registros

  2. En el receptor que deseas agregar el filtro de exclusión, haz clic en Más.

  3. Haz clic en Editar receptor.

  4. En la sección Elige registros para filtrar fuera del receptor (opcional), crea el filtro de exclusión a fin de excluir los registros.

  5. Haz clic en Agregar exclusión.

  6. Ingresa un nombre en el campo Nombre de filtro de exclusión.

  7. En la sección Compila un filtro de exclusión, ingresa una expresión de filtro que coincida con las entradas de registro que deseas excluir. Para obtener una descripción general del lenguaje de consultas de Logging, visita Lenguaje de consultas de Logging. También puedes usar la función sample para seleccionar una parte de las entradas de registro.

  8. Haz clic en Agregar exclusión para agregar filtros adicionales según sea necesario.

  9. Cuando termines, haz clic en Actualizar receptor.

Cuando crees el filtro, es posible que ocurra una de las siguientes situaciones:

  • Si editaste el filtro para el receptor _Default, es posible que quieras restablecer el filtro predeterminado. Para hacerlo, ingresa lo siguiente en el campo Crear filtro de inclusión:

    NOT LOG_ID("cloudaudit.googleapis.com/activity") AND NOT \
    LOG_ID("externalaudit.googleapis.com/activity") AND NOT \
    LOG_ID("cloudaudit.googleapis.com/system_event") AND NOT \
    LOG_ID("externalaudit.googleapis.com/system_event") AND NOT \
    LOG_ID("cloudaudit.googleapis.com/access_transparency") AND NOT \
    LOG_ID("externalaudit.googleapis.com/access_transparency")
    
  • Es posible que quieras enrutar todos los registros a un destino y no excluir ningún registro. Para hacerlo, deja en blanco el campo Crear filtro de inclusión.

  • Es posible que quieras excluir todos los registros para llegar a un destino. Para hacerlo, inhabilita el receptor para ese destino.

Ejemplos de filtros de exclusión de Google Kubernetes Engine

Usa la siguiente consulta a fin de excluir los registros de Pods y contenedores de Google Kubernetes Engine para el sistema de GKE namespaces:

resource.type = ("k8s_container" OR "k8s_pod")
resource.labels.namespace_name = (
"cnrm-system" OR
"config-management-system" OR
"gatekeeper-system" OR
"gke-connect" OR
"gke-system" OR
"istio-system" OR
"knative-serving" OR
"monitoring-system" OR
"kube-system")

Usa la siguiente consulta a fin de excluir los registros de nodo de Google Kubernetes Engine para el sistema de GKE logNames:

resource.type = "k8s_node"
logName:( "logs/container-runtime" OR
"logs/docker" OR
"logs/kube-container-runtime-monitor" OR
"logs/kube-logrotate" OR
"logs/kube-node-configuration" OR
"logs/kube-node-installation" OR
"logs/kubelet" OR
"logs/kubelet-monitor" OR
"logs/node-journal" OR
"logs/node-problem-detector")

Puedes ver el volumen de los registros de nodo, pod y contenedor de Google Kubernetes Engine transferidos a Cloud Logging a través del Explorador de métricas en Cloud Monitoring.

Ejemplo de filtro de exclusión de Dataflow

Usa la siguiente consulta a fin de excluir los registros de Dataflow que no se requieren para la compatibilidad:

resource.type="dataflow_step"
labels."dataflow.googleapis.com/log_type"!="system" AND labels."dataflow.googleapis.com/log_type"!="supportability"

Puedes ver el volumen de los registros de Dataflow transferidos a Cloud Logging mediante el Explorador de métricas en Cloud Monitoring.

Compatibilidad

Si bien Cloud Logging te permite excluir la transferencia de registros, te recomendamos conservar los registros que contribuyen a la compatibilidad. Usar estos registros puede ayudarte a identificar y solucionar problemas con tus aplicaciones con rapidez.

Por ejemplo, los registros del sistema de GKE son útiles para solucionar problemas de tus aplicaciones y clústeres de GKE, ya que se generan para eventos que ocurren en tu clúster. Estos registros pueden ayudarte a determinar si el código de la aplicación o el clúster de GKE subyacente causan el error de la aplicación. Los registros del sistema de GKE también incluyen el registro de auditoría de Kubernetes generado por el componente del servidor de la API de Kubernetes, que incluye los cambios realizados mediante el comando kubectl y los eventos de Kubernetes.

Para Dataflow, se recomienda que, como mínimo, transfieras los registros del sistema (labels."dataflow.googleapis.com/log_type"="system") y los registros de compatibilidad (labels."dataflow.googleapis.com/log_type"="supportability"). Estos registros son esenciales para que los desarrolladores observen y solucionen problemas en sus canalizaciones de Dataflow y los usuarios podrían no poder usar la página de detalles del trabajo de Dataflow para ver los registros de trabajos.

Visualiza los filtros de exclusión

Para ver sus filtros de exclusión actuales, haz lo siguiente:

  1. En el menú de Logging, selecciona Enrutador de registros.

    Ir a Enrutador de registros

  2. En el receptor que deseas ver los filtros de exclusión, haz clic en Más.

  3. Selecciona Ver detalles del receptor.

  4. Un panel mostrará los detalles del receptor, incluidos los filtros de exclusión. En este ejemplo, se muestran los detalles del receptor _Default.

    Imagen del panel Detalles del receptor

Edita exclusiones

Puedes editar tus filtros de exclusión para excluir más o menos entradas de registro.

  1. En el menú de Logging, selecciona Enrutador de registros.

    Ir a Enrutador de registros

  2. En el receptor que deseas ver los filtros de exclusión, haz clic en Más.

  3. Haz clic en Editar receptor.

  4. En la sección Crea un filtro de exclusión, edita la expresión de filtro para que coincida con las entradas de registro que deseas excluir.

  5. Haz clic en Agregar exclusión para agregar filtros adicionales según sea necesario.

  6. Cuando termines, haz clic en Actualizar receptor.

Quita exclusiones

Para editar, inhabilitar o borrar un filtro de exclusión, sigue la guía sobre edición de exclusiones a fin de borrar la exclusión de un receptor en particular.

Exclusiones en la API

Para crear filtros de exclusión en la API de Logging, usa el método projects.exclusions.create.

También hay métodos para ver, borrar y actualizar filtros de exclusión, así como métodos para administrar exclusiones de registros recibidos por organizaciones, cuentas de facturación y carpetas.

Para ver ejemplos de consultas de registros que podrían ser útiles en las exclusiones, ve a la página sobre consultas de muestra.

Exclusiones de muestra en la API

Para excluir menos del 100 por ciento de las entradas de registro coincidentes, usa la función sample en tu consulta de registros.

Exporta registros excluidos

Puedes exportar entradas de registro a Cloud Storage, BigQuery o Pub/Sub antes de excluirlas, para no perderlas de forma permanente.

Para comenzar tu exclusión y exportación, sigue estos pasos:

  1. Crea una consulta que coincida con las entradas de registro que deseas excluir y exportar.

    Sugerencia: Escribe la consulta de modo que no coincida con ningún registro de auditoría que esté habilitado de forma predeterminada. La coincidencia con estas entradas de registro de auditoría no afecta a las exclusiones, pero hace que se exporten más entradas de registro.

  2. Crea un receptor de exportación con tu consulta de registros y comienza a exportar las entradas de registro coincidentes.

  3. Crea un filtro de exclusión mediante tu consulta de registros y comienza a excluir las entradas de registro coincidentes.

Para detener las exclusiones y la exportación, inhabilita el filtro de exclusión antes de detener el receptor de exportación.

Para obtener más detalles sobre cómo exportar registros, consulta Descripción general del enrutamiento y el almacenamiento: receptores.

Precios de exportaciones

Los registros exportados no generan gastos de Cloud Logging, pero es posible que se apliquen cargos de destino. Para obtener más información, revisa la página de precios del producto correspondiente:

Ten en cuenta que si envías y, luego, excluyes tus registros de flujo de nube privada virtual de Cloud Logging, se aplicarán cargos de generación de registros de flujo de VPC, además de los cargos de destino.

Soluciona problemas

En esta sección, se proporciona información sobre los problemas conocidos asociados con las exclusiones de registros.

¿Por qué no funciona mi filtro de exclusión?

Puede suceder que veas registros en el Explorador de registros que excluiste. Puedes ver estos registros si se cumplen las siguientes condiciones:

  • Ejecutas tu consulta en el proyecto de Google Cloud que generó los registros.

  • Los registros excluidos se enviaron a un bucket de registros en un proyecto de Cloud diferente.

  • Tienes acceso a las vistas en el bucket de registros a donde se enviaron los registros.

En ese caso, podrás ver esos registros de forma predeterminada.

Para evitar ver estos registros en el Explorador de registros, puedes definir mejor el alcance de tu búsqueda solo en tu proyecto o bucket de Cloud de origen.