Divide las entradas de registro de auditoría

En este documento, se describe cómo Cloud Logging divide las entradas de registro de auditoría de gran tamaño y se proporciona orientación para volver a ensamblar estos registros de auditoría divididos.

Cuando una sola entrada de registro de auditoría supera el límite de tamaño, Cloud Logging la divide y distribuye los datos contenidos en la entrada de registro de auditoría original en varias entradas. Es posible que los usuarios deseen volver a ensamblar los registros de auditoría divididos, ya que las entradas de registro divididas individuales no contienen todos los campos del registro de auditoría original.

Cómo reconocer entradas de registro de auditoría divididas

Las entradas de registro divididas contienen información sobre la entrada original de la que se dividieron. Si una entrada de registro contiene un campo split, la entrada es el resultado de dividir una entrada de registro original más grande. El campo split es un objeto LogSplit que contiene la información necesaria para identificar entradas de registro divididas relacionadas.

Cada entrada de registro dividida contiene los siguientes campos:

• split.uid: Es un identificador único para el grupo de entradas de registro que se dividieron de una entrada de registro original común. El valor de este campo es el mismo para todas las entradas divididas de la entrada de registro original.

• split.index: Es la posición de esta entrada en la serie de entradas divididas. La primera entrada de la división tiene el índice 0. split.index también se agrega al campo LogEntry.insertId.

  Nota: El campo split.index no se muestra en el Explorador de registros cuando el valor de index es 0. Si bien el Explorador de registros no muestra este campo, Cloud Logging sí establece y procesa correctamente el valor de este campo.

• split.totalSplits: Es la cantidad de entradas de registro en las que se dividió la entrada de registro original. El valor de este campo es el mismo para todas las entradas que se dividieron de la entrada de registro original.

Cómo se divide una entrada de registro

Cuando se divide una entrada de registro de auditoría de gran tamaño, los campos se distribuyen entre las entradas de registro divididas resultantes de la siguiente manera:

• Todos los campos, excepto el campo protoPayload, se duplican en cada entrada dividida.

• Los siguientes subcampos de protoPayload se pueden dividir en varias entradas:

  • protoPayload.metadata
  • protoPayload.request
  • protoPayload.response

• Todos los demás subcampos de protoPayload se incluyen en todas las entradas divididas.

• Para los subcampos protoPayload.metadata, protoPayload.request y protoPayload.response, los siguientes tipos de campos se pueden dividir en varias entradas:

  • Struct
  • Value
  • ListValue
  • string
  • Cualquier campo repetido, independientemente del tipo

Si un campo es miembro de un campo divisble, pero no es uno de los tipos de campo divisble, solo está presente en uno de los registros divididos.

Por ejemplo, un campo booleano en el subcampo protoPayload.request solo puede aparecer en una entrada de registro dividida, pero un campo de cadena en el subcampo protoPayload.request puede tener su contenido dividido en varias entradas de registro divididas.

Para ver un ejemplo de cómo se divide una entrada larga, consulta Ejemplo de división de entrada de registro registro.

Campos repetidos con muchos valores

Cuando el valor del campo protoPayload.metadata, protoPayload.request o protoPayload.response contiene una lista de valores repetidos, es posible que la lista se divida y se distribuya en varias entradas de registro divididas.

Por ejemplo, la lista de valores ["foo", "bar", "baz"] podría dividirse en 2 listas: ["foo", "ba"] y ["", "r", "baz"]. La primera lista es la entrada con el split.index de 0, y la segunda lista está en la entrada con el split.index de 1. La segunda lista comienza con una cadena vacía para mantener las posiciones de los elementos en la lista y para indicar que los elementos en las mismas posiciones de las diferentes listas deben unirse. En el ejemplo, ba es el segundo elemento de la lista en la entrada 0 y r es el segundo elemento de la lista en la entrada 1, por lo que se vuelven a combinar en el orden bar cuando se vuelve a ensamblar la lista original.

Campos grandes no repetidos

Cuando se dividen campos Struct y string grandes y no repetidos, estos campos se manejan de la siguiente manera:

• Un campo string se divide a nivel de caracteres y no a nivel de bytes. Por lo tanto, los caracteres de varios bytes no se alteran.

• LogEntry.split.index controla el orden del contenido de los campos divididos y no repetidos.

Cómo volver a ensamblar una entrada de registro dividida

Para volver a ensamblar un conjunto de registros divididos, completa los siguientes pasos:

1. Ordena el conjunto de registros de auditoría divididos por LogEntry.split.index de forma ascendente.

2. Crea una copia del primer registro dividido, donde LogEntry.split.index == 0. Esta copia es el comienzo del registro vuelto a ensamblar.

3. Para las entradas de registro restantes, itera por todos los campos que se pueden dividir de protoPayload y completa los siguientes pasos para cada campo:

   1. Si el campo ya existe en el registro vuelto a ensamblar, agrega el contenido de ese campo al registro vuelto a ensamblar.

   2. Si el campo no existe en el registro reconstruido, cópialo en el registro reconstruido.

      Cuando se dividen, los campos repetidos conservan el índice de sus elementos, por lo que puedes aplicar estos pasos a nivel del elemento cuando vuelvas a ensamblar un campo repetido.

4. Después de iterar por los campos que se pueden dividir, borra LogEntry.split del registro vuelto a ensamblar.

5. Quita el sufijo .0 del LogEntry.insert_id del registro vuelto a ensamblar.

Consultas de muestra

Para encontrar todas las entradas de registro que se dividieron de la misma entrada de registro original, ejecuta la siguiente consulta en el Explorador de registros y reemplaza la variable UID por el valor deseado:

split.uid="UID"

Por ejemplo:

split.uid="abc123"

Para encontrar todas las entradas de registro que forman parte de cualquier división, ejecuta la siguiente consulta:

split:*

Cómo filtrar los registros de auditoría divididos

Puedes excluir todos los registros de auditoría divididos de una consulta con el siguiente filtro:

split.totalSplits = 0

También puedes incluir solo la primera entrada de un registro de auditoría dividido y excluir el resto de las entradas con el siguiente filtro:

split.index = 0

Ejemplo de división de una entrada de registro

En el siguiente ejemplo, se muestra una entrada de registro de auditoría antes de que se divida en cuatro entradas de registro nuevas. Las entradas nuevas muestran cómo se manejan los diferentes campos en la operación de división.

Entrada de registro de auditoría de gran tamaño antes de la división

{
  "insertId": "567",
  "logName": "projects/1234/logs/cloudaudit.googleapis.com%2Fdata_access",
  "resource": {
    "type": "audited_resource"
  },
  "protoPayload": {
    "serviceName": "example.googleapis.com",
    "methodName": "google.cloud.example.ExampleMethod",
    "resourceName": "projects/1234/resources/123",
    "status": {
      "code": 0
    },
    "authenticationInfo": {
      "principalEmail": "user@example_company.com"
    },
    "authorizationInfo": [
      {
        "resource": "example.googleapis.com/projects/1234/resources/123",
        "permission": "examples.get",
        "granted": "true"
      }
    ],
    "request" {
      "boolField": true,
      "numberField": 123,
      "stringField": "Very long string that needs 2 log entries.",
      "structField": {
        "nestedNumberField": 1337,
        "nestedStringField": "Another long string that needs 2 log entries.",
      },
      "listField" [
        {"value": "short 1"},
        {"value": "Yet another long string."},
        {"value": "short 2"},
        {"value": "short 3"},
      ]
    }
  }
}

Entrada de registro de auditoría de gran tamaño después de la división

La entrada de registro original se divide en las siguientes entradas. Ten en cuenta que cada entrada incluye el objeto split con un uid y un valor totalSplits de 4. Cada entrada tiene un valor split.index de 0, 1, 2 o 3, que indica el orden de las entradas de registro divididas.

Entrada de registro dividida, índice 0

Esta es la primera entrada de registro dividida, con un valor split.index de 0.

{
  "insertId": "567.0",
  "logName": "projects/1234/logs/cloudaudit.googleapis.com%2Fdata_access",
  "resource": {
    "type": "audited_resource"
  },
  "split": { 
    "uid": "789+2022-02-22T12:22:22.22+05:00",
    "index": 0,
    "totalSplits": 4,
  },
  "protoPayload": {
    // The following fields are included in all split entries
    "serviceName": "example.googleapis.com",
    "methodName": "google.cloud.example.ExampleMethod",
    "resourceName": "projects/1234/resources/123",
    "status": {
      "code": 0
    },
    "authenticationInfo": {  // small size; included in all split entries
      "principalEmail": "user@example_company.com"
    },
   // The following field is included in this split entry only.
   "authorizationInfo": [
      {
        "resource": "spanner.googleapis.com/projects/1234/datasets/123",
        "permission": "databases.read",
        "granted": "true"
      }
    ],
    // The following field is split across all the split entries
    "request" { 
      // boolField and numberField can only be in one split.
      "boolField": true,
      "numberField": 123,
      // Split with the next LogEntry.
      "stringField": "Very long string that ",
    }
  }
}

Entrada de registro dividida, índice 1

Esta es la siguiente entrada de registro de división, con un valor split.index de 1.

{
  "insertId": "567.1",
  "logName": "projects/1234/logs/cloudaudit.googleapis.com%2Fdata_access",
  "resource": {
    "type": "audited_resource"
  },
  "split": { 
    "uid": "567+2022-02-22T12:22:22.22+05:00",
    "index": 1,
    "totalSplits": 4,
  },
  "protoPayload": { 
    "serviceName": "example.googleapis.com",
    "methodName": "google.cloud.example.ExampleMethod",
    "resourceName": "projects/1234/resources/123",
    "status": {
      "code": 0
    },
    "authenticationInfo": {
      "principalEmail": "user@example_company.com"
    },
    "request" { 
      // boolField and numberField aren't present
      // Continued from the previous entry.
      "stringField": "needs 2 log entries.",
      "structField": { 
        "nestedNumberField": 1337,
        // Split with the next LogEntry.
        "nestedStringField": "Another long string ",
      }
    }
  }
}

Entrada de registro dividida, índice 2

Esta es la siguiente entrada de registro de división, con un valor split.index de 2.

{
  "insertId": "567.2",
  "logName": "projects/1234/logs/cloudaudit.googleapis.com%2Fdata_access",
  "resource": {
    "type": "audited_resource"
  },
  "split": { 
    "uid": "567+2022-02-22T12:22:22.22+05:00",
    "index": 2,
    "totalSplits": 4,
  },
  "protoPayload": { 
    "serviceName": "example.googleapis.com",
    "methodName": "google.cloud.example.ExampleMethod",
    "resourceName": "projects/1234/resources/123",
    "status": {
      "code": 0
    },
    "authenticationInfo": {
      "principalEmail": "user@example_company.com"
    },
    request { 
      "structField": { 
        // Continued from the previous entry.
        "nestedStringField": "that needs 2 log entries.",
      }
      "listField" [ 
         {"value": "short 1"},
         {"value": "Yet another "}, // Split with the next LogEntry.
        // Missing two values, split with the next LogEntry.
      ]
    }
  }
}

Entrada de registro dividida, índice 3

Esta es la entrada de registro de división final, con un valor split.index de 3.

{
  "insertId": "567.3",
  "logName": "projects/1234/logs/cloudaudit.googleapis.com%2Fdata_access",
  "resource": {
    "type": "audited_resource"
  },
  "split": { 
    "uid": "567+2022-02-22T12:22:22.22+05:00",
    "index": 3,
    "totalSplits": 4,
  },
  "protoPayload": { 
    "serviceName": "example.googleapis.com",
    "methodName": "google.cloud.example.ExampleMethod",
    "resourceName": "projects/1234/resources/123",
    "status": {
      "code": 0
    },
    "authenticationInfo": {
      "principalEmail": "user@example_company.com"
    },
    "request" { 
      "listField" [ 
        {}, // Padding to ensure correct positioning of elements in split repeated fields.
         {"value": "long string."}, // Continuation of the second repeated field.
         {"value": "short 2"},
         {"value": "short 3"},
      ]
    }
  }
}