En este documento, se describe cómo Cloud Logging divide las entradas de registro de auditoría de gran tamaño y se proporciona orientación sobre cómo volver a ensamblar estos registros de auditoría divididos.
Cuando una sola entrada de registro de auditoría supera el límite de tamaño, Cloud Logging divide esa entrada y distribuye los datos contenidos en la entrada de registro de auditoría original en varias entradas. Es posible que los usuarios quieran volver a ensamblar los registros de auditoría divididos, ya que las entradas individuales de registro divididos no contienen todos los campos del registro de auditoría original.
Reconoce las entradas de registro de auditoría divididas
Las entradas de registro divididas contienen información sobre la entrada original de la que se dividieron. Si una entrada de registro contiene un campo split
, entonces la entrada es el resultado de dividir una entrada de registro original más grande. El campo split
es un objeto LogSplit
que contiene la información necesaria para identificar las entradas de registro divididas relacionadas.
Cada entrada de registro de división contiene los siguientes campos:
split.uid
: Es un identificador único para el grupo de entradas de registro que se dividieron de una entrada de registro original común. El valor de este campo es el mismo para todas las entradas divididas de la entrada de registro original.split.index
: Es la posición de esta entrada en la serie de entradas divididas. La primera entrada de la división tiene el índice0
.split.index
también se adjunta al campoLogEntry.insertId
.split.totalSplits
: Es la cantidad de entradas de registro en las que se dividió la entrada de registro original. El valor de este campo es el mismo para todas las entradas separadas de la entrada de registro original.
Cómo se divide una entrada de registro
Cuando se divide una entrada de registro de auditoría de gran tamaño, los campos se distribuyen entre las entradas de registro divididas resultantes de la siguiente manera:
Todos los campos, excepto el
protoPayload
, se duplican en cada entrada de división.Los siguientes subcampos
protoPayload
se pueden dividir en varias entradas:protoPayload.metadata
protoPayload.request
protoPayload.response
Todos los demás subcampos
protoPayload
se incluyen en todas las entradas de la división.Para los subcampos
protoPayload.metadata
,protoPayload.request
yprotoPayload.response
, los siguientes tipos de campos se pueden dividir en varias entradas:
Si un campo es miembro de un campo divisor, pero no es uno de los tipos de campo divisor, solo está presente en uno de los registros.
Por ejemplo, un campo booleano en el subcampo protoPayload.request
solo puede aparecer en una entrada de registro dividida, pero un campo de string en el subcampo protoPayload.request
puede tener su contenido dividido en varias entradas de registro divididas.
Para ver un ejemplo de cómo se divide una entrada larga, consulta el ejemplo de división de una entrada de registro.
Campos repetidos con muchos valores
Cuando el valor del campo protoPayload.metadata
, protoPayload.request
o protoPayload.response
contiene una lista de valores repetidos, la lista puede dividirse y distribuirse en varias entradas de registro divididas.
Por ejemplo, la lista de valores ["foo", "bar", "baz"] podría dividirse en 2 listas: ["foo", "ba"] y ["", "r", "baz"]. La primera lista es la entrada con el split.index
de 0
y la segunda lista está en la entrada con split.index
de 1
. La segunda lista comienza con una string vacía para mantener las posiciones de los elementos en la lista e indicar que los elementos que se encuentran en las mismas posiciones en las diferentes listas deben unirse juntos. En el ejemplo, ba
es el segundo elemento de lista en la entrada 0
, y r
es el segundo elemento de lista en la entrada 1
, por lo que se vuelven a combinar en el orden bar
cuando se vuelve a ensamblar la lista original.
Campos grandes que no se repiten
Cuando se dividen los campos Struct
y string
grandes y no repetidos, estos se controlan de la siguiente manera:
Un campo
string
se divide a nivel de caracteres y no a nivel de bytes. Por lo tanto, los caracteres de varios bytes no se modifican.LogEntry.split.index
controla el orden del contenido de los campos divididos y no repetidos.
Vuelve a ensamblar la entrada de registro dividida
Para volver a ensamblar un conjunto de registros divididos, completa los siguientes pasos:
Ordena el conjunto de registros de auditoría divididos por
LogEntry.split.index
, en orden ascendente.Crea una copia del primer registro dividido, en el que
LogEntry.split.index == 0
. Esta copia es el comienzo del registro reensamblado.Para las entradas de registro restantes, itera por todos los campos divisibles de
protoPayload
y completa los siguientes pasos para cada campo:Si el campo ya existe en el registro reensamblado, agrega el contenido de ese campo al registro reensamblado.
Si el campo no existe en el registro reensamblado, copia ese campo en el registro reensamblado.
Cuando se divide, los campos repetidos conservan el índice de sus elementos, por lo que puedes aplicar estos pasos a nivel del elemento cuando vuelves a ensamblar un campo repetido.
Después de iterar a través de los campos divisibles, borra
LogEntry.split
del registro reensamblado.Quita el sufijo
.0
delLogEntry.insert_id
del registro reensamblado.
Consultas de muestra
Para encontrar todas las entradas de registro que se dividieron de la misma entrada de registro original, ejecuta la siguiente consulta en el Explorador de registros y reemplaza la variable UID por el valor deseado:
split.uid="UID"
Por ejemplo:
split.uid="abc123"
Para buscar todas las entradas de registro que forman parte de cualquier división, ejecuta la siguiente consulta:
split:*
Filtrar registros de auditoría divididos
Puedes excluir todos los registros de auditoría divididos de una consulta con el siguiente filtro:
split.totalSplits = 0
También puedes incluir solo la primera entrada de un registro de auditoría dividido y excluir el resto de las entradas mediante el siguiente filtro:
split.index = 0
Ejemplo de división de entrada de registro
En el siguiente ejemplo, se muestra una entrada de registro de auditoría antes de que se divida en cuatro entradas de registro nuevas. Las entradas nuevas muestran cómo se manejan los diferentes campos en la operación de división.
Entrada de registro de auditoría de gran tamaño antes de la división
{
"insertId": "567",
"logName": "projects/1234/logs/cloudaudit.googleapis.com%2Fdata_access",
"resource": {
"type": "audited_resource"
},
"protoPayload": {
"serviceName": "example.googleapis.com",
"methodName": "google.cloud.example.ExampleMethod",
"resourceName": "projects/1234/resources/123",
"status": {
"code": 0
},
"authenticationInfo": {
"principalEmail": "user@example_company.com"
},
"authorizationInfo": [
{
"resource": "example.googleapis.com/projects/1234/resources/123",
"permission": "examples.get",
"granted": "true"
}
],
"request" {
"boolField": true,
"numberField": 123,
"stringField": "Very long string that needs 2 log entries.",
"structField": {
"nestedNumberField": 1337,
"nestedStringField": "Another long string that needs 2 log entries.",
},
"listField" [
{"value": "short 1"},
{"value": "Yet another long string."},
{"value": "short 2"},
{"value": "short 3"},
]
}
}
}
Entrada de registro de auditoría de gran tamaño después de la división
La entrada de registro original se divide en las entradas siguientes. Ten en cuenta que cada entrada incluye el objeto split
con un uid
y un valor totalSplits
de 4
. Cada entrada tiene un valor split.index
de 0
, 1
, 2
o 3
, que indica el orden de las entradas de registro divididas.
Entrada de registro dividida, índice 0
Esta es la primera entrada de registro dividida, con un valor split.index
de 0
.
{
"insertId": "567.0",
"logName": "projects/1234/logs/cloudaudit.googleapis.com%2Fdata_access",
"resource": {
"type": "audited_resource"
},
"split": {
"uid": "789+2022-02-22T12:22:22.22+05:00",
"index": 0,
"totalSplits": 4,
},
"protoPayload": {
// The following fields are included in all split entries
"serviceName": "example.googleapis.com",
"methodName": "google.cloud.example.ExampleMethod",
"resourceName": "projects/1234/resources/123",
"status": {
"code": 0
},
"authenticationInfo": { // small size; included in all split entries
"principalEmail": "user@example_company.com"
},
// The following field is included in this split entry only.
"authorizationInfo": [
{
"resource": "spanner.googleapis.com/projects/1234/datasets/123",
"permission": "databases.read",
"granted": "true"
}
],
// The following field is split across all the split entries
"request" {
// boolField and numberField can only be in one split.
"boolField": true,
"numberField": 123,
// Split with the next LogEntry.
"stringField": "Very long string that ",
}
}
}
Entrada de registro dividida, índice 1
Esta es la siguiente entrada de registro dividida, con un valor split.index
de 1
.
{
"insertId": "567.1",
"logName": "projects/1234/logs/cloudaudit.googleapis.com%2Fdata_access",
"resource": {
"type": "audited_resource"
},
"split": {
"uid": "567+2022-02-22T12:22:22.22+05:00",
"index": 1,
"totalSplits": 4,
},
"protoPayload": {
"serviceName": "example.googleapis.com",
"methodName": "google.cloud.example.ExampleMethod",
"resourceName": "projects/1234/resources/123",
"status": {
"code": 0
},
"authenticationInfo": {
"principalEmail": "user@example_company.com"
},
"request" {
// boolField and numberField aren't present
// Continued from the previous entry.
"stringField": "needs 2 log entries.",
"structField": {
"nestedNumberField": 1337,
// Split with the next LogEntry.
"nestedStringField": "Another long string ",
}
}
}
}
Entrada de registro dividida, índice 2
Esta es la siguiente entrada de registro dividida, con un valor split.index
de 2
.
{
"insertId": "567.2",
"logName": "projects/1234/logs/cloudaudit.googleapis.com%2Fdata_access",
"resource": {
"type": "audited_resource"
},
"split": {
"uid": "567+2022-02-22T12:22:22.22+05:00",
"index": 2,
"totalSplits": 4,
},
"protoPayload": {
"serviceName": "example.googleapis.com",
"methodName": "google.cloud.example.ExampleMethod",
"resourceName": "projects/1234/resources/123",
"status": {
"code": 0
},
"authenticationInfo": {
"principalEmail": "user@example_company.com"
},
request {
"structField": {
// Continued from the previous entry.
"nestedStringField": "that needs 2 log entries.",
}
"listField" [
{"value": "short 1"},
{"value": "Yet another "}, // Split with the next LogEntry.
// Missing two values, split with the next LogEntry.
]
}
}
}
Entrada de registro dividida, índice 3
Esta es la entrada de registro final de la división, con un valor split.index
de 3
.
{
"insertId": "567.3",
"logName": "projects/1234/logs/cloudaudit.googleapis.com%2Fdata_access",
"resource": {
"type": "audited_resource"
},
"split": {
"uid": "567+2022-02-22T12:22:22.22+05:00",
"index": 3,
"totalSplits": 4,
},
"protoPayload": {
"serviceName": "example.googleapis.com",
"methodName": "google.cloud.example.ExampleMethod",
"resourceName": "projects/1234/resources/123",
"status": {
"code": 0
},
"authenticationInfo": {
"principalEmail": "user@example_company.com"
},
"request" {
"listField" [
{}, // Padding to ensure correct positioning of elements in split repeated fields.
{"value": "long string."}, // Continuation of the second repeated field.
{"value": "short 2"},
{"value": "short 3"},
]
}
}
}