Patrones de diseño para exportar datos de registro

En este artículo, se presenta una serie de artículos en los que se exploran los patrones de diseño y las prácticas recomendadas para situaciones comunes de exportación de registros.

Cloud Logging proporciona funciones de exportación enriquecidas y un almacén de datos operativo para registros. Puedes exportar tus registros por varios motivos, como retener registros de almacenamiento a largo plazo (meses o años) para cumplir con los requisitos de cumplimiento o ejecutar estadísticas de datos con las métricas extraídas de los registros. Cloud Logging puede exportar a Cloud Storage, BigQuery, Pub/Sub y Elasticsearch.

Exporta registros

Cloud Logging puede exportar todos los registros de una organización mediante receptores agregados, o de un proyecto específico de Google Cloud mediante la exportación de registros. Con los filtros de registro, puedes incluir o excluir proyectos específicos o recursos de la nube. Por ejemplo, podrías exportar todos los registros de Compute Engine, pero excluir los registros de volumen alto de Cloud Load Balancing. Este enfoque te brinda la flexibilidad de exportar todos los registros o los registros específicos.

Si usas los receptores agregados, la organización puede exportar registros de todos los proyectos o de una sola carpeta. Con esta funcionalidad, puedes aplicar la política de exportación de registros en todos los proyectos de la organización. Puedes usar los controles IAM a nivel de la organización para limitar el acceso de los usuarios a fin de solo modificar la configuración de exportación de registros.

Como alternativa a los receptores agregados, la exportación de registros se habilita por proyecto en lugar de para toda la organización. De otro modo, la exportación de registros es idéntica a los receptores agregados.

Maneras de exportar

Se pueden exportar registros desde Cloud Logging de las siguientes formas:

  • Para archivos: Archivos JSON almacenados en Cloud Storage
  • Para BigQuery: Tablas de registro que se crearon en un conjunto de datos de BigQuery
  • Para Pub/Sub: Mensajes JSON que se enviaron a un tema de Pub/Sub

Lo que se exporta

Para obtener más información sobre los tipos de registros disponibles en Cloud Logging, consulta Registros disponibles.

Formatos de registro

En función del tipo de registro, hay tres formatos distintos de carga útil de registro.

textPayload
Los contenidos se representan como una sola string. Los registros que informó el agente de Cloud Logging (incluido syslog) y los registros de Cloud SQL son ejemplos de registros que usan este formato.
protoPayload
Los contenidos se representan como un búfer de protocolo y varían según el contenido específico que se registra. Los registros de auditoría de actividad de administración y acceso a datos se exportan en este formato. Estos registros tienen diferentes estructuras de tablas y JSON en BigQuery según el tipo de entrada exportada.
jsonPayload
Los contenidos se representan como un objeto JSON y varían según el contenido específico que se registra. Los registros de actividad de Compute Engine y el escalador automático de Compute Engine son ejemplos que usan este formato.

En la documentación de esquemas y campos, se proporciona información detallada sobre la asignación de los formatos de registro a la tabla de BigQuery y las estructuras de archivos de exportación JSON. Considera el formato de carga útil de registro cuando escribes consultas en la exportación de BigQuery, o cuando analizas el archivo o los archivos de exportación JSON de Pub/Sub. El formato detallado del registro aparece en la definición de la API para LogEntry.

Situaciones de exportación de registros

En los artículos de esta serie, se describen situaciones en las que podrías desear exportar registros. En cada situación, se detallan los requisitos, la configuración y el uso, y se muestra cómo compartir las exportaciones.

Próximos pasos