Descripción general del enrutamiento y el almacenamiento

En esta página, se explica cómo Cloud Logging procesa las entradas de registro y se describen los componentes clave del enrutamiento y el almacenamiento de Logging.

En un nivel alto, la forma en que Cloud Logging enruta y almacena las entradas de registro es la siguiente:

Figura que ilustra cómo Cloud Logging enruta las entradas de registro.

Transfiere y enruta registros con el enrutador de registros

En las siguientes secciones, se explica cómo Logging transfiere los registros y se enrutan a través del enrutador de registros mediante receptores.

Enrutador de registros

Se envía una entrada de registro al recurso de Google Cloud especificado en su campo logName durante su entries.write.

Cloud Logging recibe entradas de registro a través de la API de Cloud Logging en la que pasan por el enrutador de registros. Los receptores del enrutador de registros verifican cada entrada de registro con el filtro de inclusión y los filtros de exclusión existentes que determinan qué destinos. incluidos los depósitos de Cloud Logging, a la que se debe enviar la entrada de registro. Puedes usar combinaciones de receptores para enrutar los registros a varios destinos.

Para enrutar los registros de manera confiable, el enrutador de registros también los almacena temporalmente (no representados en la imagen), que se almacena en búfer contra interrupciones temporales en cualquier receptor. Ten en cuenta que el almacenamiento temporal del enrutador de registros es distinto del almacenamiento a largo plazo proporcionado por los depósitos de Logging.

Receptores

Los receptores controlan cómo Cloud Logging enruta los registros. Mediante el uso de receptores, puedes enrutar algunos o todos tus registros a los destinos compatibles. Estos son algunos de los motivos por los que recomendamos controlar el modo en que se enrutan los registros:

  • Almacenar registros que es poco probable que se lean, pero que se deben conservar para fines de cumplimiento
  • Para organizar tus registros en depósitos en un formato que te resulte útil.
  • Para usar herramientas de análisis de macrodatos en tus registros
  • Para transmitir tus registros a otras aplicaciones, otros repositorios o a terceros

Los receptores pertenecen a un determinado recurso de Google Cloud: proyectos de Cloud, cuentas de facturación, carpetas y organizaciones. Cuando el recurso recibe una entrada de registro, la enruta a través de la entrada de registro de acuerdo con los receptores incluidos en ese recurso y, si está habilitada, cualquier receptor ancestral que pertenezca a la jerarquía de recursos. , La entrada de registro se envía al destino asociado con cada receptor coincidente.

Cloud Logging proporciona dos receptores predefinidos para cada proyecto de Cloud, cuenta de facturación, carpeta y organización: _Required y _Default. Todos los registros que se generan en un recurso se procesan de forma automática a través de estos dos receptores y, luego, se almacenan en el nombre correspondiente._Required o_Default depósitos.

Los receptores actúan de manera independiente uno del otro. Sin importar cómo los receptores predefinidos procesan las entradas de registro, puedes crear tus propios receptores para enrutar algunos o todos los registros a varios destinos compatibles o excluirlos de que almacena Cloud Logging

El comportamiento de enrutamiento de cada receptor se controla mediante la configuración del filtro de inclusión y los filtros de exclusión de ese receptor. Según la configuración del receptor, cada entrada de registro que recibe Cloud Logging se ubica en una o más de estas categorías:

  • Almacenados en Cloud Logging y no enrutados a otro lugar.

  • Almacenados en Cloud Logging y enrutados a un destino admitido.

  • No se almacenó en Cloud Logging, pero se enruta a un destino compatible.

  • Ni almacenado en Cloud Logging ni enrutado a otro lugar.

Por lo general, creas receptores a nivel de proyecto de Cloud, pero si deseas combinar y enrutar registros de los recursos que contiene una organización o carpeta de Google Cloud, puedes crear. receptores agregados.

No puedes enrutar las entradas de registro que Logging recibió antes de que se creara el receptor porque el enrutamiento ocurre cuando los registros pasan a través de la API de Logging, y las reglas de enrutamiento nuevas solo se aplican a los registros escritos después de que se crean las reglas. , Si necesitas enrutar entradas de registro de forma retroactiva, consulta Copia registros.

Filtros de inclusión

En el caso de cualquier receptor nuevo, si no especificas filtros, todos los registros coinciden y se enrutan al destino del receptor. Puedes configurar el receptor para seleccionar registros específicos mediante la configuración de un filtro de inclusión. También puedes establecer uno o más filtros de exclusión para excluir los registros del destino del receptor.

Cuando configuras receptores, creas filtros de inclusión mediante el lenguaje de consulta de Logging. Los receptores también pueden contener varios filtros de exclusión.

Cada entrada de registro que recibe Logging se enruta en función de estas reglas de filtrado:

  • Los filtros de exclusión del receptor anulan cualquiera de sus filtros de inclusión definidos. Si un registro coincide con algún filtro de exclusión en el receptor, no coincide con el receptor, sin importar los filtros de inclusión definidos. La entrada de registro no se enruta al destino de ese receptor.

  • Si el receptor no contiene un filtro de inclusión, sucede lo siguiente:

    • Si la entrada de registro coincide con algún filtro de exclusión, no se enruta al destino del receptor.
    • Si la entrada de registro no coincide con ningún filtro de exclusión, se enruta al destino del receptor. Un filtro de inclusión vacío selecciona todos los registros.
  • Si el receptor contiene un filtro de inclusión, sucede lo siguiente:

    • Si la entrada de registro coincide con el filtro de inclusión, se enruta al destino del receptor.
    • Si la entrada de registro no coincide con el filtro de inclusión, no se enruta al destino del receptor.

Filtros de exclusión

Cuando creas un receptor, puedes configurar varios filtros de exclusión, lo que te permite excluir las entradas de registro coincidentes para que se enruten al destino del receptor o que Cloud Logging las transfiera. Puedes crear filtros de exclusión mediante el lenguaje de consulta de Logging.

Los registros se excluyen después de que los recibe la API de Logging. Por lo tanto, excluir registros no reduce la cantidad de llamadas a la API entries.write.

Las entradas de registro excluidas no están disponibles en el Explorador de registros o en Cloud Debugger.

También se excluyen de Error Reporting las entradas de registro que no se enrutan a al menos un bucket de registro, ya sea de forma explícita con filtros de exclusión o porque no coinciden con ningún receptor con un destino de almacenamiento de Logging.

Las métricas basadas en registros definidas por el usuario se calculan a partir de entradas de registro en los registros incluidos y excluidos. Para obtener más información, consulta Supervisa tus registros.

Destinos admitidos

Puedes usar el enrutador de registros para enrutar ciertos registros a destinos compatibles en cualquier proyecto de Cloud. Logging admite los siguientes destinos de receptor:

  • Cloud Storage: archivos JSON almacenados en depósitos de Cloud Storage ofrece almacenamiento económico a largo plazo.
  • BigQuery: tablas creadas en conjuntos de datos de BigQuery proporciona capacidades de análisis de macrodatos.
  • Pub/Sub: Mensajes con formato JSON entregados a temas de Pub/Sub Admite integraciones de terceros, como Splunk, con Logging.
  • Cloud Logging: entradas de registro almacenadas en depósitos de registro Proporciona almacenamiento en Cloud Logging con períodos de retención personalizables.

A fin de obtener más información sobre el enrutamiento de registros a destinos compatibles, consulta Configura receptores.

Almacena, visualiza y administra registros

En la siguiente sección, se detalla cómo se almacenan los registros en Cloud Logging y cómo puedes verlos y administrarlos.

Buckets de registros

Cloud Logging usa depósitos de registro como contenedores en tus proyectos de Google Cloud, cuentas de facturación, carpetas y organizaciones para almacenar y organizar los datos de registro. Los registros que almacenas en Cloud Logging se indexan, optimizan y entregan para que puedas analizarlos en tiempo real. Los depósitos de Cloud Logging son entidades de almacenamiento diferentes de los depósitos de Cloud Storage con nombres similares.

Para cada proyecto de Cloud, cuenta de facturación, carpeta y organización, Logging crea dos depósitos de registro de forma automática: _Required y _Default. Logging crea receptores de forma automática llamados _Required y _Default que, en la configuración predeterminada, enrutan los registros a los depósitos con nombre correspondientes.

Puedes inhabilitar los registros que se enrutan al depósito de registros _Default. No puedes cambiar las reglas de enrutamiento para el depósito _Required.

Además, puedes crear depósitos definidos por el usuario para cualquier proyecto de Cloud.

Puedes crear receptores para enrutar todos tus registros, o solo un subconjunto de ellos, a cualquier bucket de registros. Esta flexibilidad te permite elegir el proyecto de Cloud en el que se almacenan tus registros y qué otros registros se almacenan con ellos.

Para obtener más información, consulta Configura depósitos de registros.

Bucket de registro _Required

Cloud Logging enruta de forma automática los siguientes tipos de registros al bucket _Required:

Cloud Logging retiene los registros en este bucket durante 400 días. no puedes cambiar este período de retención.

No puedes modificar ni borrar el bucket _Required. No puedes inhabilitar el receptor _Required, que enruta los registros al bucket _Required.

Ni los precios de transferencia ni los precios de almacenamiento se aplican a los datos de registro almacenados en el bucket de registros _Required.

Bucket de registro _Default

El receptor _Default enruta cualquier entrada de registro que el bucket _Required no transfiere al bucket _Default, a menos que inhabilites o edites el receptor _Default. , A fin de obtener instrucciones sobre cómo modificar los receptores, consulta Administra receptores.

No puedes borrar el bucket _Default.

Los registros almacenados en el depósito _Default se conservan durante 30 días, a menos que configures la retención personalizada para el depósito.

Los precios de Cloud Logging se aplican a los datos de registro almacenados en el bucket _Default.

Buckets de registro definidos por el usuario

También puedes crear depósitos de registro definidos por el usuario en cualquier proyecto de Cloud. Si aplicas receptores en tus depósitos de registros definidos por el usuario, puedes enrutar cualquier subconjunto de los registros a cualquier bucket de registros, lo que te permite elegir en qué proyecto de Cloud se almacenan los registros y qué otros registros se almacenan. con ellos.

Por ejemplo, para cualquier registro generado en el Proyecto A, puedes configurar un receptor a fin de que enrute ese registro a los depósitos definidos por el usuario en el Proyecto A o el Proyecto B.

Los precios de Cloud Logging se aplican a los datos de registro almacenados en este bucket, sin importar el tipo de registro.

Puedes configurar la retención personalizada para el bucket.

Para obtener información sobre cómo administrar los depósitos de registros definidos por el usuario, incluido su eliminación o actualización, consulta Configura y administra depósitos de registros.

Regionalización

Los depósitos de registro son recursos regionales. La infraestructura que almacena, indexa y busca tus registros se encuentra en una ubicación geográfica específica. Google administra esa infraestructura para que tus aplicaciones estén disponibles de forma redundante en todas las zonas dentro de esa región.

Si deseas obtener más información sobre la ubicación de los datos de registros, consulta Regiones de datos para Cloud Logging.

Cuando creas tu bucket de registros, puedes elegir almacenar tus registros en cualquiera de las siguientes regiones:

Continente Regiones
Asia asia-east1
asia-east2
asia-northeast1
asia-northeast2
asia-northeast3
asia-south1
asia-south2
asia-southeast1
asia-southeast2
Australia australia-southeast1
australia-southeast2
Europa europe-central2
europe-north1
europe-west1
europe-west2
europe-west3
europe-west4
europe-west6
Norteamérica northamerica-northeast1
northamerica-northeast2
us-central1
us-east1
us-east4
us-west1
us-west2
us-west3
us-west4
Sudamérica southamerica-east1

Además de estas regiones, también puedes establecer la ubicación en global, lo que significa que no necesitas especificar dónde se almacenan tus registros de forma física.

Política de la organización

Puedes crear una política de la organización para asegurarte de que la organización cumpla con las necesidades normativas y de cumplimiento. Con una política de la organización, puedes especificar en qué regiones tu organización puede crear nuevos depósitos de registro. También puedes restringir la organización para que no cree depósitos de registro nuevos en regiones específicas.

Cloud Logging no aplica la política de la organización recién creada en el bucket de registro existente. Solo aplica la política en depósitos de registros nuevos.

Para obtener información sobre cómo crear una política de la organización basada en la ubicación, consulta Restringe las ubicaciones de recursos.

Retención

Cloud Logging retiene los registros según las reglas de retención que se aplican al tipo de bucket de registros en el que se guardan los registros.

Puedes configurar Cloud Logging para que retenga registros entre 1 y 3,650 días. Las reglas de retención personalizadas se aplican a todos los registros de un bucket, sin importar el tipo de registro o si se copió de otra ubicación.

Para obtener información sobre cómo establecer reglas de retención en un bucket de registros, consulta Configura la retención personalizada.

Vistas de registro

Las vistas de registro te permiten controlar quién tiene acceso a los registros de tus depósitos de registros.

Cloud Logging crea de forma automática la vista _AllLogs para cada bucket, que muestra todos los registros. Cloud Logging también crea una vista para el bucket _Default llamado _Default, que muestra todos los registros, excepto los registros de auditoría de acceso a los datos.

Debido a que los depósitos de registros pueden contener registros de varios proyectos de Cloud, es posible que desees controlar desde qué proyectos de Cloud pueden ver los registros diferentes usuarios. Puedes crear vistas de registro personalizadas, que te brindan un control de acceso más detallado para esos depósitos.

Para obtener más información, consulta Administra vistas de registros.

Usar registros en el ecosistema de Google Cloud

En la siguiente sección, se proporciona información sobre el uso de los registros en la versión más amplia de Google Cloud.

Métricas basadas en registros

Las métricas basadas en registros son métricas de Cloud Monitoring que se basan en el contenido de las entradas de registro. Si Cloud Logging recibe una entrada de registro para un proyecto de Cloud que coincide con el filtro de una de las métricas del proyecto de Cloud, esa entrada de registro se refleja en los datos de métrica.

Los filtros de exclusión de receptores no se aplican a las métricas basadas en registros. Incluso si excluyes los registros de la transferencia de la API de Cloud Logging y los registros no se almacenan en ningún depósito de registros, podrías ver esos registros en las métricas basadas en registros.

Las métricas basadas en registros se aplican a nivel de proyecto de Cloud. El enrutador de registros calcula estas métricas y se aplican a los registros transferidos y excluidos solo en el proyecto de Cloud en el que se reciben.

Para obtener más información, consulta Descripción general de las métricas basadas en registros.

Busca registros en destinos compatibles

Para obtener información sobre el formato de las entradas de registro enrutadas y cómo se organizan los registros en los destinos, consulta Visualiza registros en destinos de receptores.

Casos de uso habituales

Si deseas abordar casos de uso comunes para enrutar y almacenar registros, consulta los siguientes instructivos y documentos:

Necesidades de cumplimiento

Si deseas conocer las prácticas recomendadas para usar el enrutamiento de la administración de datos, consulta los siguientes documentos:

Control de acceso

Para obtener información sobre cómo se usa Identity and Access Management (IAM) funciones y permisos para controlar el acceso a los datos de Cloud Logging, consultaGuía de control de acceso ,

Precios

Para conocer los precios de transferencia y almacenamiento, consulta la información de precios de Cloud Logging.

Cloud Logging no cobra por el enrutamiento de registros, pero es posible que se apliquen cargos de destino. Para obtener detalles, revisa los detalles de precios del servicio correspondiente:

Ten en cuenta también que si envías y, luego, excluyes tus registros de flujo de nube privada virtual de Cloud Logging, se aplican cargos de generación de registro de flujo de VPC además de los cargos de destino.

¿Qué sigue?

Para ayudarte a enrutar y almacenar datos de Cloud Logging, consulta los siguientes documentos: