En este documento, se explica cómo Cloud Logging procesa las entradas de registro. se describen los componentes clave del enrutamiento y el almacenamiento de Logging. El enrutamiento hace referencia al proceso que usa Cloud Logging para determinar qué relacionados con una entrada de registro recién llegada. Puedes enrutar entradas de registro a destinos como buckets de Logging, que almacenan la entrada de registro, o Pub/Sub Para exportar tus registros a destinos de terceros, enruta tus registros a un tema de Pub/Sub y, luego, autorizar el destino de terceros para suscribirse al tema de Pub/Sub.
En términos generales, así es como Cloud Logging enruta y almacena las entradas de registro:
Enruta registros con el Enrutador de registros
En las siguientes secciones, se explica cómo El registro enruta los registros con el Enrutador de registros a través de receptores.
Enrutador de registros
Se envía una entrada de registro al recurso de Google Cloud especificado en su campo logName durante su llamada entries.write.
Cloud Logging recibe las entradas de registro con los API de Cloud Logging por donde pasan el Enrutador de registros. Los receptores del Enrutador de registros verifican cada entrada de registro con su filtro de inclusión y filtros de exclusión y, a continuación, determinar qué destinos, incluido los buckets de Cloud Logging a los que se debe enviar la entrada de registro. Puedes usar combinaciones de receptores para enrutar una entrada de registro a múltiples destinos.
El Enrutador de registros almacena la entrada de registro temporalmente. Este comportamiento los búferes contra interrupciones temporales que pueden ocurrir cuando un receptor enruta una entrada de registro a un destino. El almacenamiento en búfer no protege contra el receptor errores de configuración. Si tu receptor no está bien configurado, las entradas de registro de ruta, se genera un registro de errores y se envía un correo electrónico sobre un error de configuración del receptor. Cuando las entradas de registro no se pueden enrutar, se descartan.
El almacenamiento temporal del Enrutador de registros es distinto del más largo a largo plazo que proporcionan los buckets de Logging.
Las entradas de registro entrantes con marcas de tiempo mayores que el período de retención de registros en el pasado o que si duran más de 24 horas y se descartan.
Receptores
Los receptores controlan cómo Cloud Logging enruta los registros. Con receptores, puedes enrutar algunos o todos tus registros a los destinos compatibles. Algunos de los Por ejemplo, puedes controlar cómo se enrutan tus registros lo siguiente:
- Almacenar registros que es poco probable que se lean, pero que deben retenerse con fines de cumplimiento.
- Para organizar tus registros en buckets en un formato que te resulte útil.
- Para usar herramientas de análisis de macrodatos en tus registros
- Para transmitir tus registros a otras aplicaciones, otros repositorios o a terceros Por ejemplo, si quieres exportar los registros de Google Cloud para verlas en una plataforma de terceros y, luego, configurar un receptor para enrutar tus entradas de registro a Pub/Sub.
Los receptores pertenecen a un recurso determinado de Google Cloud: proyectos de Google Cloud, cuentas de facturación, carpetas y organizaciones. Cuando el recurso recibe un entrada de registro, la enruta según los receptores que contenga recurso y, si se habilita, cualquier receptor ancestral que pertenezca al jerarquía de recursos. La entrada de registro se envía al destino asociado con cada receptor que coincida.
Cloud Logging proporciona dos receptores predefinidos para cada proyecto de Google Cloud,
cuenta de facturación, carpeta y organización: _Required y _Default. Todos los registros que se generan en un recurso se procesan de forma automática a través de estos dos receptores y, luego, se almacenan en los buckets _Required o _Default con el nombre correspondiente.
Los receptores actúan de forma independiente entre sí. Sin importar cómo los receptores predefinidos tus entradas de registro, puedes crear tus propios receptores para enrutar algunos tus registros a varios destinos compatibles o para excluirlos para que no los almacene Cloud Logging.
Las entradas de registro que se enrutan a través de un receptor se controlan a través de la configuración del filtro de inclusión y filtros de exclusión. Según la configuración del receptor, cada entrada de registro que recibe Cloud Logging pertenece a una o más de las siguientes categorías:
Almacenada en Cloud Logging y no enrutada a otro lugar.
Almacenada en Cloud Logging y enrutada a un destino compatible.
No almacenada en Cloud Logging, pero sí enrutada a un destino compatible.
Ni almacenada en Cloud Logging ni enrutada a otro lugar.
Por lo general, creas receptores en la a nivel de proyecto de Google Cloud, pero si quieres combinar y enrutar recursos contenidos en una organización o carpeta de Google Cloud, puedes crear receptores agregados.
Los receptores solo enrutan las entradas de registro que llegan después de que se crea y el enrutamiento ocurre cuando los registros pasan por la API de Logging. Si necesitas enrutar entradas de registro de forma retroactiva, consulta Copiar registros.
Filtros de inclusión
Cuando un receptor no especifica ningún filtro, todas las entradas de registro coinciden y se enrutan a el destino del receptor. Puedes configurar el receptor para seleccionar opciones de registro con la configuración de un filtro de inclusión. También puedes establecer una o más filtros de exclusión para evitar que las entradas de registro se enruten.
Cuando configuras un receptor, especificar sus filtros con el lenguaje de consulta de Logging.
Un receptor enruta una entrada de registro según estas reglas:
Si la entrada de registro no coincide con el filtro de inclusión, no se enruta. Cuando un receptor no especifica un filtro de inclusión, cada entrada de registro coincide con ese filtro.
Si la entrada de registro coincide con el filtro de inclusión y al menos uno filtro de exclusión, no se enruta.
Si la entrada de registro coincide con el filtro de inclusión y no cualquier filtro de exclusión, entonces se enruta al destino del receptor.
Filtros de exclusión
Cuando creas un receptor, puedes establecer varios filtros de exclusión. Los filtros de exclusión te permiten excluir las entradas de registro que coincidan con el filtro de inclusión para que no se enruten al destino del receptor o que no sea se almacenan en un bucket de registros. Para definir los filtros de exclusión, usa Lenguaje de consulta de Logging.
Las entradas de registro excluidas consumen
Cuota de la API de entries.write porque son
excluirse después de que los recibe la API de Logging.
No puedes reducir la cantidad de
Llamadas a la API de entries.write de
excluyendo las entradas de registro.
Las entradas de registro excluidas no están disponibles en el Explorador de registros.
Las entradas de registro que no se enrutan al menos a un bucket de registros, ya sea de forma explícita con filtros de exclusión o porque no coinciden con ningún receptor con una el destino de almacenamiento de registros Error Reporting. Por lo tanto, estas entradas de registro no están disponibles y solucionar problemas. Las métricas basadas en registros definidas por el usuario se calculan a partir de entradas de registro y las entradas de registro excluidas. Para obtener más información, consulta Supervisa tus registros.Destinos admitidos
Puedes usar el Enrutador de registros para enrutar ciertas entradas de registro destinos en cualquier proyecto de Google Cloud. Logging admite lo siguiente destinos de receptores:
- Bucket de Cloud Logging: Proporciona almacenamiento en Cloud Logging. Un bucket de registros puede almacenar entradas de registro recibidos por varios proyectos de Google Cloud. El bucket de registros puede estar en el mismo proyecto en el que se originan las entradas de registro. en un proyecto diferente. Puedes combinar tus Actualiza un bucket de registros para usar Cloud Logging con otros datos Análisis de registros y, luego, crear un conjunto de datos vinculado de BigQuery Para obtener más información sobre cómo ver las entradas de registro almacenadas en buckets de registros, consulta Descripción general de las consultas y visualizaciones de registros y Ver los registros enrutados a los buckets de Cloud Logging.
- Conjunto de datos de BigQuery: Proporciona almacenamiento de entradas de registro en conjuntos de datos de BigQuery. El conjunto de datos de BigQuery puede estar en el mismo proyecto en el que las entradas de registro se originan o en un proyecto diferente. Puedes usar las capacidades de análisis de macrodatos en las entradas de registro almacenadas. Para combinar tus datos de Cloud Logging con otros fuentes de datos, te recomendamos que actualices tus buckets de registros Análisis de registros y, luego, crear un conjunto de datos de BigQuery vinculado. Para obtener información sobre cómo ver las entradas de registro enrutadas a BigQuery, consulta Visualiza los registros enrutados a BigQuery.
- Bucket de Cloud Storage: Proporciona almacenamiento de entradas de registro en Cloud Storage. El bucket de Cloud Storage puede estar en el mismo proyecto en el que las entradas de registro se originan o en un proyecto diferente. Las entradas de registro se almacenan como archivos JSON. Para obtener información sobre cómo ver las entradas de registro enrutadas a Cloud Storage, consulta Visualiza los registros enrutados a Cloud Storage.
Tema de Pub/Sub: proporciona asistencia para terceros integraciones como Splunk: Las entradas de registro se formatean en JSON y, luego, se enrutan a Pub/Sub en el tema. El tema puede estar en el mismo proyecto en el que las entradas de registro se originan o en un proyecto diferente. Para obtener información sobre cómo ver las entradas de registro enrutadas a Pub/Sub, consulta Visualiza los registros enrutados a Pub/Sub.
Proyecto de Google Cloud: Enruta las entradas de registro a otro proyecto de Google Cloud. En esta configuración, los receptores del proyecto de destino procesan las entradas de registro.
Para obtener más información, consulta Enruta registros a destinos compatibles.
Almacena, visualiza y administra registros
En la siguiente sección, se detalla cómo se almacenan los registros en Cloud Logging. cómo verlos y administrarlos.
Buckets de registros
Cloud Logging usa buckets de registros como contenedores en tus proyectos de Google Cloud. cuentas de facturación, carpetas y organizaciones para almacenar y organizar tus registros de datos no estructurados. Las entradas de registro que almacenas en Cloud Logging se indexan, optimizan y entregadas para que puedas analizar tus registros en tiempo real. Buckets de Cloud Logging Existen entidades de almacenamiento distintas de los buckets de Cloud Storage con nombres similares.
Para cada proyecto de Google Cloud, cuenta de facturación, carpeta y organización,
Logging crea automáticamente dos buckets de registros: _Required y
_Default Logging crea automáticamente receptores llamados
_Required y _Default que, en la configuración predeterminada, enrutan
las entradas de registro a los buckets
con nombres correspondientes.
Puedes inhabilitar el receptor _Default, que enruta las entradas de registro al _Default
bucket de registros. También puedes cambiar el comportamiento de los receptores _Default creados para
cualquier proyecto o carpeta de Google Cloud nuevo. Para obtener más información, consulta
Establece la configuración predeterminada para las organizaciones y carpetas.
No puedes cambiar las reglas de enrutamiento para el bucket _Required.
Además, puedes crear buckets definidos por el usuario para cualquier proyecto de Google Cloud.
Crea receptores para enrutar todas las entradas de registro, o solo un subconjunto de ellas, a cualquier bucket de registros. Esta flexibilidad te permite elegir el proyecto de Google Cloud en en las que se almacenan tus entradas de registro. Además, te permite almacenar entradas de registro de varias recursos en una ubicación.
Para obtener más información, consulta Configura buckets de registros.
Bucket de registro _Required
Cloud Logging enruta automáticamente los siguientes tipos de entradas de registro al
Bucket _Required:
- Registros de auditoría de actividad del administrador
- Registros de auditoría de eventos del sistema
- Registros de auditoría del administrador de Google Workspace
- Registros de auditoría de los grupos empresariales
- Registros de auditoría de acceso
- Registros de Transparencia de acceso. Para obtener información sobre cómo habilitar los registros de Transparencia de acceso, consulta el Documentación de los registros de Transparencia de acceso.
Cloud Logging retiene las entradas de registro en el bucket _Required durante
400 días; no puedes cambiar el período de retención.
No puedes modificar ni borrar el bucket _Required. No puedes inhabilitar el
Receptor _Required, que enruta las entradas de registro al bucket _Required.
Bucket de registro _Default
El servicio enruta cualquier entrada de registro que no esté almacenada en el bucket _Required
Receptor _Default al bucket _Default, a menos que lo inhabilites o edites
el receptor _Default. Para obtener instrucciones sobre cómo modificar los receptores, consulta
Administra los receptores.
Por ejemplo, Cloud Logging enruta automáticamente los siguientes tipos de
Entradas de registro al bucket _Default:
Cloud Logging retiene las entradas de registro en el bucket _Default durante
30 días, a menos que
configura la retención personalizada
bucket.
No puedes borrar el bucket _Default.
Buckets de registros definidos por el usuario
También puedes crear buckets de registros definidos por el usuario en cualquier proyecto de Google Cloud. Cuando aplicas receptores a tus buckets de registros definidos por el usuario, puedes enrutar cualquier subconjunto de tus entradas de registro a cualquier bucket de registros, lo que te permite elige el proyecto de Google Cloud en las que se almacenan tus entradas de registro. Además, te permite almacenar entradas de registro de varias recursos en una ubicación.
Por ejemplo, para cualquier registro generado en el proyecto A, puedes configurar un receptor que
enrutar esas entradas de registro a un bucket definido por el usuario en el proyecto A o a un
bucket de registros en el proyecto B.
Para obtener información sobre cómo administrar tus buckets de registros definidos por el usuario, incluida la eliminación o actualizarlos, consulta Configura y administra buckets de registros.
Regionalización
Los buckets de registros son recursos regionales. La infraestructura que almacena, de datos y las búsquedas que tus entradas de registro estén ubicadas en una ubicación geográfica específica ubicación. Google Cloud administra esa infraestructura para que tus aplicaciones estén disponibles de forma redundante en las zonas dentro de esa región.
Cuando creas un bucket de registros o configuras política regional a nivel de la organización, puedes elige almacenar tus entradas de registro en cualquiera de las siguientes regiones:
África
| Nombre de la región | Descripción de la región |
|---|---|
africa-south1 |
Johannesburgo |
América
| Nombre de la región | Descripción de la región |
|---|---|
northamerica-northeast1 |
Montreal |
northamerica-northeast2 |
Toronto |
southamerica-east1 |
São Paulo |
southamerica-west1 |
Santiago |
us-central1 |
Iowa |
us-east1 |
Carolina del Sur |
us-east4 |
Virginia del Norte |
us-east5 |
Columbus |
us-south1 |
Dallas |
us-west1 |
Oregón |
us-west2 |
Los Ángeles |
us-west3 |
Salt Lake City |
us-west4 |
Las Vegas |
Asia-Pacífico
| Nombre de la región | Descripción de la región |
|---|---|
asia-east1 |
Taiwán |
asia-east2 |
Hong Kong |
asia-northeast1 |
Tokio |
asia-northeast2 |
Osaka |
asia-northeast3 |
Seúl |
asia-south1 |
Bombay |
asia-south2 |
Delhi |
asia-southeast1 |
Singapur |
asia-southeast2 |
Yakarta |
australia-southeast1 |
Sídney |
australia-southeast2 |
Melbourne |
Europa
| Nombre de la región | Descripción de la región |
|---|---|
europe-central2 |
Varsovia |
europe-north1 |
Finlandia |
europe-southwest1 |
Madrid |
europe-west1 |
Bélgica |
europe-west2 |
Londres |
europe-west3 |
Fráncfort |
europe-west4 |
Países Bajos |
europe-west6 |
Zúrich |
europe-west8 |
Milán |
europe-west9 |
París |
europe-west10 |
Berlín |
europe-west12 |
Turín |
Oriente Medio
| Nombre de la región | Descripción de la región |
|---|---|
me-central1 |
Doha |
me-central2 |
Dammam |
me-west1 |
Tel Aviv |
Otro
| Nombre de la región | Descripción de la región |
|---|---|
eu |
Registros almacenados en centros de datos dentro de la Unión Europea sin datos adicionales garantías de redundancia |
us |
Registros almacenados en centros de datos dentro de Estados Unidos sin datos adicionales garantías de redundancia |
global |
Registros almacenados en cualquier centro de datos del mundo; sin redundancia adicional. garantías |
Si estableces la ubicación en global, no tendrás que especificar
las entradas de registro
se almacenan físicamente.
Puedes aplicar automáticamente una región de almacenamiento en particular a _Default.
y _Required buckets creados en una organización o carpeta.
Para obtener más información, consulta
Establece la configuración predeterminada para las organizaciones y carpetas.
Para obtener más información sobre la regionalidad de los datos y dónde puedes almacenar de registro, consulta Obtén información sobre las regiones de datos.
Política de la organización
Puedes crear un política de la organización para para garantizar que tu organización satisfaga tus necesidades relacionadas con el cumplimiento y las reglamentaciones. Usando una política de la organización, puedes especificar en qué regiones crear nuevos buckets de registros. También puedes impedir que tu organización cree buckets de registros nuevos en regiones específicas.
Cloud Logging no aplica la política de la organización que acabas de crear en buckets de registros existentes; solo aplica la política en buckets de registros nuevos.
Para obtener información sobre cómo crear una política de la organización basada en la ubicación, consulta Restringe las ubicaciones de los recursos.
Además, puedes configurar una ubicación de almacenamiento predeterminada para el
_Default y _Required buckets en una organización o una carpeta.
Si configuras una política de la organización
que restrinja dónde se pueden
debes asegurarte de que la ubicación de almacenamiento predeterminada que especifiques sea
coherente con esa restricción. Para obtener más información, consulta
Establece la configuración predeterminada para las organizaciones y carpetas.
Retención
Cloud Logging retiene registros de acuerdo con las reglas de retención que se aplican al registro el tipo de bucket en el que se guardan los registros. Para obtener información sobre los períodos de retención para diferentes tipos de registros, consulta Cuotas y límites
Puedes configurar Cloud Logging para retener los registros entre 1 día y 3,650 días. Las reglas de retención personalizadas se aplican a todos los registros en un bucket, sin importar el tipo de registro o si ese registro copiado desde otra ubicación.
Si quieres obtener más información sobre cómo configurar las reglas de retención para un bucket de registros, consulta Configura la retención personalizada.
Vistas de registro
Las vistas de registro te permiten otorgar a un usuario acceso solo a un subconjunto de las entradas de registro. se almacenan en un bucket de registros. Para obtener información sobre cómo configurar vistas de registro y cómo otorgar acceso a vistas de registro específicas, consulta Configura vistas de registro en un bucket de registros.
Para cada bucket de registros, Cloud Logging crea automáticamente el _AllLogs
en la que se muestran todos los registros almacenados en ese bucket. Cloud Logging también crea
Una vista para el bucket _Default llamada _Default La vista _Default de
El bucket _Default muestra todos los registros, excepto los de auditoría de acceso a los datos. El
Las vistas _AllLogs y _Default no se pueden editar, y no puedes borrar
la vista de registro _Default.
Las vistas de registro personalizadas te proporcionan una forma avanzada y detallada de controlar el acceso. a los datos de tus registros. Por ejemplo, imagina una situación en la que almacenar todos los registros de tu organización proyecto central de Google Cloud. Debido a que los buckets de registros pueden contener registros en varios proyectos de Google Cloud, es posible que desees controlar Proyectos de Google Cloud desde los que pueden ver los registros diferentes usuarios. Usa un registro personalizado vistas, puedes darle a un usuario acceso a los registros solo de un proyecto de Google Cloud, mientras le otorgas a otro usuario acceso a los registros de todos los proyectos de Google Cloud.
Uso de registros en el ecosistema de Google Cloud
En la siguiente sección, se proporciona información sobre cómo usar registros en el contexto en Google Cloud.
Métricas basadas en registros
Las métricas basadas en registros son métricas de Cloud Monitoring. que derivan del contenido de las entradas de registro. Por ejemplo, Cloud Logging recibe una entrada de registro para un proyecto de Google Cloud que coincida con los filtros de una de las métricas del proyecto de Google Cloud. esa entrada de registro se cuenta en los datos de la métrica.
Las métricas basadas en registros interactúan con el enrutamiento de manera diferente, dependiendo de si el sistema o tú las definen. Lo siguiente en las secciones anteriores se describen estas diferencias.
Métricas basadas en registros y filtros de exclusión
Los filtros de exclusión de receptores se aplican a las métricas basadas en registros definidas por el sistema, que cuentan solo los registros almacenados en buckets de registros.
Los filtros de exclusión de receptores no se aplican a las métricas basadas en registros definidas por el usuario. Incluso si excluyes los registros para que no se almacenen en ningún buckets de Logging, podrías ver esos registros contados en estas métricas.
Permiso de las métricas basadas en registros
Las métricas basadas en registros definidos por el sistema se aplican a nivel de proyecto de Google Cloud. Estas métricas las calcula el Enrutador de registros y se aplican a los registros solo en el proyecto de Google Cloud en el que se reciben.
Las métricas basadas en registros definidas por el usuario pueden aplicarse al proyecto de Google Cloud a nivel de un bucket de registros específico o al nivel de este:
- Las métricas a nivel de proyecto se calculan como métricas basadas en registros definidas por el sistema. Estas métricas basadas en registros definidas por el usuario se aplican solo a los registros en el proyecto de Google Cloud en el que se reciben.
Las métricas con alcance de bucket se aplican a los registros del bucket de registros en los que se reciben, independientemente del proyecto de Google Cloud en el que entradas de registro originadas.
Con las métricas basadas en registros con alcance de bucket, puedes crear métricas basadas en registros que pueda evaluar registros en los siguientes casos:
- Los registros que se enrutan de un proyecto a un bucket de otro proyecto.
- Los registros que se enrutan a un bucket a través de un receptor agregado.
Para obtener más información, consulta Descripción general de las métricas basadas en registros.
Busca registros en destinos compatibles
Para aprender sobre el formato de las entradas de registro enrutadas y cómo se organizados en destinos, consulta Visualiza registros en destinos de receptores.
Casos de uso habituales
A fin de abordar casos de uso comunes para enrutar y almacenar registros, consulta los siguientes instructivos y documentos:
Necesidades de cumplimiento
Si deseas conocer las prácticas recomendadas sobre el uso del enrutamiento para la administración de datos, consulta los siguientes vínculos: documentos:
Datos de registros: una guía paso a paso para superar desafíos comunes de cumplimiento
Administración de datos: principios para proteger y administrar los registros
Control de acceso con IAM
Para obtener información sobre cómo utilizas roles y permisos de Identity and Access Management (IAM) para controlar el acceso a los datos de Cloud Logging, consulta el Control de acceso con la IAM.
Precios
Cloud Logging no cobra por enrutar los registros a una
destino admitido; Sin embargo, es posible que el destino aplique cargos.
A excepción del bucket de registros _Required,
Cloud Logging cobra por transmitir registros a buckets de registros y
por más tiempo que el período de retención predeterminado del bucket de registros.
Cloud Logging no cobra por copiar registros ni por las consultas emitidas a través del desde la página Explorador de registros o a través de la página Análisis de registros.
Para obtener más información, consulta los siguientes documentos:
- Resumen de precios de Cloud Logging
Costos de destino:
- Cargos de generación de registros de flujo de VPC se aplican cuando envías y, luego, excluyes tus registros de flujo de la nube privada virtual de Cloud Logging.
¿Qué sigue?
Para ayudarte a enrutar y almacenar datos de Cloud Logging, consulta los siguientes vínculos: documentos:
Si quieres crear receptores para enrutar entradas de registro a destinos compatibles, consulta Enruta registros a destinos compatibles.
Para aprender a crear receptores agregados que puedan enrutar entradas de registro desde los recursos en organizaciones o carpetas, consulta Recopila y enruta registros a nivel de la organización y la carpeta a destinos compatibles.
Para aprender a otorgar acceso a un subconjunto de entradas de registro que se almacenan en un bucket de registros, consulta Configura vistas de registro en un bucket de registros.
- Error Reporting puede analizar entradas de registro y, además, informar sobre errores. Para obtener más información sobre este servicio, incluida información sobre cuando se pueden analizar entradas de registro, consulta Descripción general de Error Reporting.