Descripción general del enrutamiento y el almacenamiento

Organízate con las colecciones Guarda y clasifica el contenido según tus preferencias.

En este documento, se explica cómo Cloud Logging procesa las entradas de registro y se describen los componentes clave del enrutamiento y el almacenamiento de Logging. El enrutamiento se refiere al proceso que usa Cloud Logging para determinar qué hacer con una entrada de registro recién llegada. Puedes enrutar entradas de registro a destinos, como depósitos de Logging, que almacenan la entrada de registro, o a Pub/Sub. Si te suscribes al tema de Pub/Sub, puedes exportar la entrada de registro de Google Cloud y, luego, reenviarla a otro destino, como una plataforma de terceros.

En un nivel alto, así es como Cloud Logging enruta y almacena las entradas de registro:

Figura que ilustra cómo Cloud Logging enruta las entradas de registro.

Transfiere y enruta registros con el enrutador de registros

En las siguientes secciones, se explica cómo Logging transfiere y enruta a través del enrutador de registros mediante receptores.

Enrutador de registros

Se envía una entrada de registro al recurso de Google Cloud especificado en su campo logName durante su llamada entries.write.

Cloud Logging recibe entradas de registro a través de la API de Cloud Logging donde pasan por el enrutador de registros. Los receptores en el enrutador de registros verifican cada entrada de registro con el filtro de inclusión y los filtros de exclusión existentes que determinan a qué destinos, incluidos los depósitos de Cloud Logging, deben enviarse la entrada de registro. Puedes usar combinaciones de receptores para enrutar los registros a varios destinos.

Para enrutar los registros de manera confiable, el enrutador de registros también almacena los registros de forma temporal (no se muestra en la imagen), lo que evita las interrupciones temporales en cualquier receptor. Ten en cuenta que el almacenamiento temporal del enrutador de registros es distinto del almacenamiento a largo plazo que proporcionan los depósitos de Logging.

Se descartan las entradas de registro entrantes con marcas de tiempo que sean más largas que el período de retención de registros o que hayan transcurrido más de 24 horas.

Receptores

Los receptores controlan cómo Cloud Logging enruta los registros. Con los receptores, puedes enrutar algunos o todos tus registros a destinos compatibles. Estos son algunos de los motivos por los que podrías querer controlar cómo se enrutan tus registros:

  • Almacenar registros que es poco probable que se lean, pero que deben retenerse con fines de cumplimiento.
  • Para organizar tus registros en buckets en un formato que te resulte útil.
  • Para usar herramientas de análisis de macrodatos en tus registros
  • Para transmitir tus registros a otras aplicaciones, otros repositorios o a terceros Por ejemplo, si deseas exportar tus registros de Google Cloud de modo que puedas verlos en una plataforma de terceros, configura un receptor para enrutar las entradas de registro a Pub/Sub.

Los receptores pertenecen a un recurso determinado de Google Cloud: proyectos de Cloud, cuentas de facturación, carpetas y organizaciones. Cuando el recurso recibe una entrada de registro, enruta la entrada de registro según los receptores contenidos en ese recurso y, si está habilitado, cualquier receptor ancestral que pertenezca a la jerarquía de recursos. La entrada de registro se envía al destino asociado con cada receptor coincidente.

Cloud Logging proporciona dos receptores predefinidos para cada proyecto de Cloud, cuenta de facturación, carpeta y organización de Cloud: _Required y _Default. Todos los registros que se generan en un recurso se procesan de forma automática a través de estos dos receptores y, luego, se almacenan en los buckets _Required o _Default con el nombre correspondiente.

Los receptores actúan de forma independiente. Sin importar cómo los receptores predefinidos procesan tus entradas de registro, puedes crear tus propios receptores para enrutar algunos o todos los registros a varios destinos compatibles o excluirlos y no almacenarlos en Cloud Logging.

El comportamiento de enrutamiento de cada receptor se controla mediante la configuración del filtro de inclusión y los filtros de exclusión para ese receptor. Según la configuración del receptor, cada entrada de registro que recibe Cloud Logging pertenece a una o más de estas categorías:

  • Almacenada en Cloud Logging y no enrutada a otro lugar.

  • Almacenada en Cloud Logging y enrutada a un destino compatible.

  • No almacenada en Cloud Logging, pero sí enrutada a un destino compatible.

  • Ni almacenada en Cloud Logging ni enrutada a otro lugar.

Por lo general, creas receptores a nivel del proyecto de Cloud, pero, si deseas combinar y enrutar registros de los recursos que contiene una organización o una carpeta de Google Cloud, puedes crear receptores agregados.

No puedes enrutar las entradas de registro que Logging recibió antes de que se creara tu receptor porque el enrutamiento ocurre a medida que los registros pasan a través de la API de Logging, y las reglas de enrutamiento nuevas solo se aplican a los registros escritos después de que se crearon esas reglas. Si necesitas enrutar entradas de registro de forma retroactiva, consulta Copia registros.

Filtros de inclusión

Para cualquier receptor nuevo, si no especificas filtros, todos los registros coinciden y se enrutan al destino del receptor. Puedes configurar el receptor para que seleccione registros específicos mediante la configuración de un filtro de inclusión. También puedes configurar uno o más filtros de exclusión para excluir registros del destino del receptor.

Cuando configuras receptores, creas filtros de inclusión mediante el lenguaje de consulta de Logging. Los receptores también pueden contener varios filtros de exclusión.

Cada entrada de registro que recibe Logging se enruta en función de estas reglas de filtrado:

  • Los filtros de exclusión del receptor anulan a cualquiera de sus filtros de inclusión definidos. Si un registro coincide con algún filtro de exclusión en el receptor, no coincide con el receptor, independientemente de los filtros de inclusión definidos. La entrada de registro no se enruta al destino de ese receptor.

  • Si el receptor no contiene un filtro de inclusión, sucede lo siguiente:

    • Si la entrada de registro coincide con algún filtro de exclusión, no se enruta al destino del receptor.
    • Si la entrada de registro no coincide con ningún filtro de exclusión, se enruta al destino del receptor. Un filtro de inclusión vacío selecciona todos los registros.
  • Si el receptor contiene un filtro de inclusión, sucede lo siguiente:

    • Si la entrada de registro coincide con el filtro de inclusión, se enruta al destino del receptor.
    • Si la entrada de registro no coincide con el filtro de inclusión, no se enruta al destino del receptor.

Filtros de exclusión

Cuando creas un receptor, puedes configurar varios filtros de exclusión, lo que te permite excluir las entradas de registro coincidentes para que se enruten al destino del receptor o para que Cloud Logging las transfiera. Los filtros de exclusión se crean mediante el lenguaje de consulta de Logging.

Las entradas de registro se excluyen después de que las recibe la API de Logging, por lo que consumen la cuota de la API entries.write. No puedes reducir la cantidad de llamadas a la API entries.write si excluyes las entradas de registro.

Las entradas de registro excluidas no están disponibles en el explorador de registros ni en Cloud Debugger.

Las entradas de registro que no están enrutadas a, al menos, un bucket de registros, ya sea de forma explícita con filtros de exclusión o porque no coinciden con ningún receptor con un destino de almacenamiento de Logging, también se excluyen de Error Reporting. Por lo tanto, estos registros no están disponibles para ayudar a solucionar fallas.

Las métricas basadas en registros definidas por el usuario se calculan a partir de entradas de registro en registros incluidos y excluidos. Para obtener más información, consulta Supervisa tus registros.

Las entradas de registro que no se excluyan pueden generar cargos. Para obtener más información, consulta los precios de Cloud Logging.

Destinos admitidos

Puedes usar el enrutador de registros para enrutar ciertos registros a destinos compatibles en cualquier proyecto de Cloud. Logging admite los siguientes destinos de receptores:

  • Cloud Storage: archivos JSON almacenados en buckets de Cloud Storage proporciona almacenamiento económico a largo plazo.
  • BigQuery: tablas creadas en conjuntos de datos de BigQuery. Proporciona capacidades de análisis de macrodatos.
  • Pub/Sub: Mensajes con formato JSON que se entregan a temas de Pub/Sub. Admite integraciones de terceros, como Splunk, con Logging.
  • Cloud Logging: entradas de registro que se guardan en buckets de registro proporciona almacenamiento en Cloud Logging con períodos de retención personalizables.

Para obtener más información sobre el enrutamiento de registros a destinos compatibles, consulta Configura receptores.

Almacena, visualiza y administra registros

En la siguiente sección, se detalla cómo se almacenan los registros en Cloud Logging y cómo puedes verlos y administrarlos.

Buckets de registros

Cloud Logging usa depósitos de registro como contenedores en tus proyectos de Google Cloud, cuentas de facturación, carpetas y organizaciones para almacenar y organizar tus datos de registro. Los registros que almacenas en Cloud Logging se indexan, optimizan y entregan para que puedas analizarlos en tiempo real. Los depósitos de Cloud Logging son entidades de almacenamiento diferentes que los depósitos de Cloud Storage con nombres similares.

Para cada proyecto de Cloud, cuenta de facturación, carpeta y organización, Logging crea de forma automática dos buckets de registros: _Required y _Default. Logging crea receptores de forma automática como _Required y _Default, que, en la configuración predeterminada, enrutan los registros a los buckets con nombre correspondientes.

Puedes inhabilitar el receptor _Default, que enruta los registros al bucket de registros _Default. A fin de cambiar el comportamiento de los receptores _Default creados para cualquier proyecto o carpeta de Cloud nuevos creados en tu organización, puedes establecer la configuración predeterminada de tu organización.

No puedes cambiar las reglas de enrutamiento para el bucket _Required.

Además, puedes crear buckets definidos por el usuario para cualquier proyecto de Cloud.

Crea receptores para enrutar todos tus registros, o solo un subconjunto, a cualquier bucket de registros. Esta flexibilidad te permite elegir el proyecto de Cloud en el que se almacenan tus registros y qué otros registros se almacenan con ellos.

Para obtener más información, consulta Configura buckets de registros.

Bucket de registro _Required

Cloud Logging enruta de forma automática los siguientes tipos de registros al bucket _Required:

Cloud Logging retiene los registros en este bucket durante 400 días, no puedes cambiar este período de retención.

No puedes modificar o borrar el bucket _Required. No puedes inhabilitar el receptor _Required, que enruta los registros al bucket _Required.

Los precios de transferencia y los precios de almacenamiento no se aplican a los datos de registro almacenados en el bucket de registros _Required.

Bucket de registro _Default

El receptor _Default enruta toda la entrada de registro que el bucket _Required no transfiere al bucket _Default, a menos que inhabilites o modifiques el receptor _Default. A fin de obtener instrucciones para modificar los receptores, consulta Administra receptores.

No puedes borrar el bucket _Default.

Los registros almacenados en el bucket _Default se conservan durante 30 días, a menos que configures una retención personalizada para el bucket.

Los precios de Cloud Logging se aplican a los datos de registros almacenados en el bucket _Default.

Buckets de registro definidos por el usuario

También puedes crear depósitos de registros definidos por el usuario en cualquier proyecto de Cloud. Cuando aplicas receptores a tus bucket s de registro definidos por el usuario, puedes enrutar cualquier subconjunto de tus registros a cualquier bucket de registros, lo que te permite elegir en qué proyecto de Cloud se almacenan los registros y qué otros registros se almacenan con ellos.

Por ejemplo, para cualquier registro generado en el Proyecto A, puedes configurar un receptor para que enrute ese registro a los buckets definidos por el usuario en el Proyecto A o Proyecto-B.

Los precios de Cloud Logging se aplican a los datos de registro almacenados en este bucket, sin importar el tipo de registro.

Puedes configurar una retención personalizada para el bucket.

Para obtener información sobre cómo administrar los buckets de registros definidos por el usuario, incluida su eliminación o actualización, consulta Configura y administra buckets de registros.

Regionalización

Los depósitos de registro son recursos regionales. La infraestructura que almacena, indexa y busca tus registros se encuentra en una ubicación geográfica específica. Google administra esa infraestructura para que tus aplicaciones estén disponibles de forma redundante en las zonas dentro de esa región.

Cuando creas un bucket de registros o configuras una política regional a nivel de la organización, puedes elegir almacenar tus registros en cualquiera de las siguientes regiones:

América

Nombre de la región Descripción de la región
northamerica-northeast1 Montreal
northamerica-northeast2 Toronto
southamerica-east1 São Paulo
southamerica-west1 Santiago
us-central1 Iowa
us-east1 Carolina del Sur
us-east4 Virginia del Norte
us-west1 Oregón
us-west2 Los Ángeles
us-west3 Salt Lake City
us-west4 Las Vegas

Asia-Pacífico

Nombre de la región Descripción de la región
asia-east1 Taiwán
asia-east2 Hong Kong
asia-northeast1 Tokio
asia-northeast2 Osaka
asia-northeast3 Seúl
asia-south1 Bombay
asia-south2 Delhi
asia-southeast1 Singapur
asia-southeast2 Yakarta
australia-southeast1 Sídney
australia-southeast2 Melbourne

Europa

Nombre de la región Descripción de la región
europe-central2 Varsovia
europe-north1 Finlandia
europe-southwest1 Madrid
europe-west1 Bélgica
europe-west2 Londres
europe-west3 Fráncfort
europe-west4 Países Bajos
europe-west6 Zúrich
europe-west8 Milán
europe-west9 París

Oriente Medio

Nombre de la región Descripción de la región
me-west1 Tel Aviv

Además de estas regiones, puedes establecer la ubicación en global, lo que significa que no necesitas especificar la ubicación en la que se almacenan físicamente tus registros.

Si deseas aplicar de forma automática una región de almacenamiento en particular a los depósitos _Default y _Required creados en tu organización, puedes configurar una ubicación de recurso predeterminada.

Para obtener más información sobre la ubicación de los datos de registros, consulta Regionalidad de datos para Cloud Logging.

Política de la organización

Puedes crear una política de la organización para asegurarte de que tu organización cumpla con las necesidades regulatorias y de cumplimiento. Con una política de la organización, puedes especificar en qué regiones tu organización puede crear nuevos depósitos de registros. También puedes restringir la organización para que no cree depósitos de registros nuevos en regiones específicas.

Cloud Logging no aplica de manera forzosa la política de la organización recién creada en los depósitos de registro existentes; solo aplica la política en los depósitos de registro nuevos.

Para obtener información sobre cómo crear una política de la organización basada en la ubicación, consulta Restringe ubicaciones de recursos.

Además, puedes configurar una ubicación de recurso predeterminada para elegir qué región de almacenamiento aplicar a los depósitos _Default y _Required creados en tu organización.

Retención

Cloud Logging retiene registros según las reglas de retención que se aplican al tipo de bucket de registros en el que se conservan los registros.

Puedes configurar Cloud Logging para que retenga registros entre 1 y 3,650 días. Las reglas de retención personalizadas se aplican a todos los registros en un bucket, sin importar el tipo de registro o si ese registro se copió de otra ubicación.

A fin de obtener más información sobre cómo configurar reglas de retención para un bucket de registros, consulta Configura la retención personalizada.

Vistas de registro

Las vistas de registros te permiten controlar quién tiene acceso a los registros dentro de tus depósitos de registros.

Para cada bucket de registros, Cloud Logging crea automáticamente la vista _AllLogs, que muestra todos los registros almacenados en ese bucket. Cloud Logging también crea una vista para el bucket _Default con el nombre _Default. La vista _Default para el bucket _Default muestra todos los registros, excepto los registros de auditoría de acceso a los datos. Las vistas _AllLogs y _Default no se pueden editar y no puedes borrarlas.

Las vistas de registro personalizadas te proporcionan una forma avanzada y detallada de controlar el acceso a tus datos de registro. Por ejemplo, imagina una situación en la que almacenas todos los registros de la organización en un proyecto central de Cloud. Debido a que los depósitos de registros pueden contener registros de varios proyectos de Cloud, es posible que desees controlar los proyectos de Cloud desde los que los diferentes usuarios pueden ver los registros. Con las vistas de registro personalizadas, puedes otorgar a un usuario acceso a los registros solo desde un proyecto de Cloud único, mientras que otro usuario puede acceder a los registros de todos los proyectos de Cloud.

Para obtener información sobre la configuración de vistas de registros, consulta Administra el acceso a depósitos de registros.

Usa registros en el ecosistema de Google Cloud

En la siguiente sección, se proporciona información sobre el uso de los registros en Google Cloud en general.

Métricas basadas en registros

Las métricas basadas en registros son métricas de Cloud Monitoring que se derivan del contenido de las entradas de registro. Por ejemplo, si Cloud Logging recibe una entrada de registro para un proyecto de Cloud que coincide con los filtros de una de las métricas del proyecto de Cloud, esa entrada de registro se cuenta en los datos de métricas.

Las métricas basadas en registros interactúan con el enrutamiento de forma diferente, según si el sistema las define tú o las métricas basadas en registros. En las siguientes secciones, se describen estas diferencias.

Métricas basadas en registros y filtros de exclusión

Los filtros de exclusión de receptores se aplican a las métricas basadas en registros definidas por el sistema, que solo cuentan los registros que se incluyen en la transferencia del proyecto de Cloud.

Los filtros de exclusión de receptor no se aplican a las métricas basadas en registros definidas por el usuario. Incluso si excluyes los registros que transfiere la API de Cloud Logging y los registros no se almacenan en ningún bucket de Logging, podrías ver esos registros que se cuentan en estas métricas.

Alcance de las métricas basadas en registros

Las métricas basadas en registros definidas por el sistema se aplican a nivel de proyecto de Cloud. El enrutador de registros calcula estas métricas y se aplican a los registros solo en el proyecto de Cloud en el que se reciben.

Las métricas basadas en registros definidas por el usuario se pueden aplicar a nivel de proyecto de Cloud o a nivel de un bucket de registros específico:

  • Las métricas a nivel de proyecto se calculan como métricas definidas por el sistema basadas en registros. Estas métricas basadas en registros se aplican a los registros solo en el proyecto de Cloud en el que se reciben.
  • Vista previa: Las métricas a nivel de bucket se aplican a los registros en el bucket de registro en el que se reciben, independientemente del proyecto de Cloud en el que se originaron las entradas de registro.

    Con las métricas basadas en registros a nivel de bucket, puedes crear métricas basadas en registros que puedan evaluar registros en los siguientes casos:

    • Registros que se enrutan de un proyecto a un bucket en otro proyecto
    • Registros que se enrutan a un bucket a través de un receptor agregado

Para obtener más información, consulta Descripción general de las métricas basadas en registros.

Busca registros en destinos compatibles

Para obtener más información sobre el formato de las entradas de registro enrutadas y cómo se organizan los destinos en los destinos, consulta Visualiza registros en destinos de receptores.

Casos de uso habituales

A fin de abordar casos de uso comunes para enrutar y almacenar registros, consulta los siguientes instructivos y documentos:

Necesidades de cumplimiento

Si deseas conocer las prácticas recomendadas sobre el uso del enrutamiento para la administración de datos, consulta los siguientes documentos:

Control de acceso con IAM

Si deseas obtener información sobre cómo usar las funciones y los permisos de Identity and Access Management (IAM) para controlar el acceso a los datos de Cloud Logging, consulta Control de acceso con IAM

Precios

Para comprender los precios de transferencia y almacenamiento, consulta la información de precios de Cloud Logging.

Cloud Logging no cobra por el registro de rutas, pero es posible que se apliquen cargos de destino. Para obtener más detalles, revisa los detalles de precios del servicio correspondiente:

Ten en cuenta que si envías y, luego, excluyes tus registros de flujo de nube privada virtual de Cloud Logging, se aplicarán cargos de generación de registros de flujo de VPC, además de los cargos de destino.

¿Qué sigue?

Para ayudarte a enrutar y almacenar datos de Cloud Logging, consulta los siguientes documentos: