Patrones de diseño para exportar Stackdriver Logging

Esta serie de artículos explora las recomendaciones para las situaciones comunes de exportación de registros.

Stackdriver Logging proporciona un almacén de datos operativo para los registros y proporciona capacidades de exportación enriquecidas. Puedes exportar tus registros por varios motivos, como retener registros de almacenamiento a largo plazo (meses o años), cumplir con los requisitos de cumplimiento o ejecutar estadísticas de datos con las métricas extraídas de los registros. Stackdriver Logging puede exportar a Cloud Storage, BigQuery y Cloud Pub/Sub.

Exporta registros

Stackdriver Logging puede exportar todos los registros de una organización con exportaciones agregadas, o para un proyecto específico con la exportación de registros. Con los filtros de registro, puedes incluir o excluir proyectos específicos o recursos de la nube. Por ejemplo, podrías exportar todos los registros de Compute Engine, pero excluir los registros de alto volumen del balanceador de cargas de Cloud. Este enfoque te brinda la flexibilidad de exportar todos los registros o registros específicos.

Con las exportaciones agregadas, tu organización puede exportar registros de todos los proyectos o de una sola carpeta. Con esta funcionalidad, puedes aplicar el registro de la política de exportación en todos los proyectos de tu organización. Puedes usar los controles IAM a nivel de la organización para limitar el acceso de los usuarios a fin de solo modificar la configuración de exportación de registro.

Como alternativa a las exportaciones agregadas, la exportación de registros se habilita por proyecto y no para toda la organización. La exportación de registros es idéntica a las exportaciones agregadas.

Maneras de exportar

Hay tres maneras de exportar registros desde Stackdriver:

  • Para archivos: Archivos JSON almacenados en Cloud Storage.
  • Para BigQuery: Tablas de registro creadas en un conjunto de datos de BigQuery.
  • Para Cloud Pub/Sub: Mensajes JSON enviados a un tema de Cloud Pub/Sub.

Lo que se exporta

Exportar en Stackdriver Logging incluye dos tipos de registros principales:

Registros de servicios supervisados de Stackdriver
Estos registros incluyen los registros escritos de los servicios en tu infraestructura de nube y los registros de los servicios administrados (Compute Engine, Cloud SQL, Cloud Datastore, etc.) y otros servicios cubiertos en la lista de servicios supervisados. Otros registros incluidos son aquellos que entrega el Agente Stackdriver Logging como syslog, jenkins, mongodb y todos los demás tratados en la lista de agentes de registro. Puedes configurar el agente de Logging para reportar registros adicionales si defines la configuración Fluentd subyacente.
Cloud Audit Logs
Cloud Audit Logs mantiene dos tipos de registros de auditoría para cada proyecto y organización: actividad de administrador y acceso a datos. Los servicios de Google Cloud Platform (GCP) escriben entradas de registro de auditoría en estos registros para ayudarte a responder las preguntas “¿quién hizo qué, dónde y cuándo?" en tus proyectos de GCP. Los registros de actividad del administrador contienen entradas de registro para llamadas a la API y otras acciones administrativas que modifican la configuración o los metadatos de los recursos. Los registros de auditoría de acceso a los datos registran las llamadas a la API que crean, modifican o leen los datos proporcionados por el usuario. Ve la lista de servicios que producen registros de auditoría.

Formatos de registro

Dependiendo del tipo de registro, hay tres formatos distintos de carga útil de registro.

textPayload
Los contenidos se representan como una sola cadena. Los registros que informó el agente de registro de Stackdriver (incluido syslog) y los registros de Cloud SQL son ejemplos de registros que usan este formato.
protoPayload
Los contenidos se representan como un búfer de protocolo y varían según el contenido específico que se está registrando. Los registros de auditoría de actividad de administración y acceso a datos se exportan en este formato. Estos registros tienen diferentes estructuras de tablas JSON en BigQuery según el tipo de entrada exportada.
jsonPayload
Los contenidos se representan como un objeto JSON y varían según el contenido específico que se está registrando. Los registros de actividad de Compute Engine y el escalador automático de Compute Engine son ejemplos que usan este formato.

La documentación de esquemas y campos proporciona información detallada sobre la asignación de los formatos de registro a la tabla de BigQuery y las estructuras de archivos de exportación JSON. Considera el formato de carga útil de registro específico cuando escribas consultas en BigQuery export o cuando analices el archivo o los archivos JSON de Cloud Pub/Sub export. El formato detallado del registro se incluye en la definición de la API para LogEntry.

Cómo registrar situaciones de exportación

Los artículos de esta serie describen situaciones en las que podrías desear exportar registros. Cada situación detalla los requisitos, la configuración y el uso, y muestra cómo compartir las exportaciones.

¿Qué sigue?