Cómo intercalar y enrutar los registros a nivel de la organización a destinos compatibles

En este documento, se describe cómo crear receptores agregados. Para obtener información sobre cómo administrar receptores existentes, consulta Enruta registros a destinos compatibles: administra los receptores.

Descripción general

Los receptores agregados combinan y enrutan las entradas de registro de los recursos de Google Cloud que contiene una organización o carpeta. Por ejemplo, puedes agregar y enrutar las entradas de registro de auditoría desde todas las carpetas que contiene una organización a un bucket de Cloud Storage.

Sin la función de receptor agregado, los receptores se limitan a exportar entradas de registro desde el recurso exacto en el que se creó el receptor, como un proyecto, una organización, una carpeta o una cuenta de facturación de Google Cloud.

Puedes crear receptores agregados para las carpetas y organizaciones de Google Cloud. Debido a que ni los proyectos de Google Cloud ni las cuentas de facturación contienen recursos secundarios, no puedes crear receptores agregados para esos.

Destinos admitidos

Puedes usar receptores agregados para enrutar los registros dentro de las mismas organizaciones y carpetas, o entre ellas, a los siguientes destinos:

  • Buckets de registros de Cloud Logging: Proporciona almacenamiento en Cloud Logging. Un bucket de registros puede almacenar registros que reciben varios proyectos de Google Cloud. Puedes combinar tus datos de Cloud Logging con otros datos si actualizas un bucket de registros para usar el Análisis de registros y, luego, creas un conjunto de datos de BigQuery vinculado. Para obtener información sobre cómo ver los registros almacenados en buckets de registros, visita Descripción general de consultas y vistas de registros y Visualiza los registros enrutados a buckets de Cloud Logging.
  • Proyectos de Google Cloud: Enruta las entradas de registro a un proyecto de Google Cloud diferente. Cuando enrutas los registros a un proyecto de Google Cloud diferente, el enrutador de registros del proyecto de destino recibe los registros y los procesa. Los receptores en el proyecto de destino determinan cómo se enrutan las entradas de registro recibidas. Error Reporting no puede analizar las entradas de registro que se enrutan a un proyecto de Google Cloud diferente.
  • Temas de Pub/Sub: Proporciona compatibilidad con integraciones de terceros, como Splunk. Las entradas de registro se formatean en JSON y, luego, se enrutan a un tema de Pub/Sub. Para obtener información sobre cómo ver los registros enrutados a Pub/Sub, consulta Visualiza los registros enrutados a Pub/Sub.
  • Conjuntos de datos de BigQuery: Proporciona almacenamiento de entradas de registro en conjuntos de datos de BigQuery. Puedes usar capacidades de análisis de macrodatos en los registros almacenados. Para combinar tus datos de Cloud Logging con otras fuentes de datos, te recomendamos que actualices tus buckets de registros a fin de usar el análisis de registros y, luego, crees un conjunto de datos de BigQuery vinculado. Para obtener información acerca de cómo ver los registros enrutados a BigQuery, consulta Visualiza los registros enrutados a BigQuery.
  • Buckets de Cloud Storage: Proporciona almacenamiento de datos de registro en Cloud Storage. Las entradas de registro se almacenan como archivos JSON. Para obtener información sobre cómo ver los registros enrutados a Cloud Storage, consulta Visualiza los registros enrutados a Cloud Storage.

Antes de comenzar

Antes de crear un receptor, asegúrate de lo siguiente:

  • Tienes una organización o carpeta de Google Cloud con registros que puedes ver en el Explorador de registros.

  • Tienes una de las siguientes funciones de IAM para la organización o carpeta de Google Cloud desde la que enrutas los registros.

    • Propietario (roles/owner)
    • Administrador de Logging (roles/logging.admin)
    • Escritor de configuración de registros (roles/logging.configWriter)

    Los permisos contenidos en estos roles te permiten crear, borrar o modificar receptores. Para obtener información sobre cómo configurar las funciones de IAM, consulta la Guía de control de acceso de Logging.

  • Tienes un recurso en un destino admitido o tienes la capacidad de crear uno.

    El destino de enrutamiento debe crearse antes que el receptor mediante la CLI de Google Cloud, la consola de Google Cloud o las APIs de Google Cloud. Puedes crear el destino en cualquier proyecto de Google Cloud de cualquier organización, pero debes asegurarte de que la cuenta de servicio del receptor tenga permisos para escribir en el destino.

Crea un receptor agregado

Para usar receptores agregados, crea un receptor en una organización o carpeta de Google Cloud y establece el parámetro includeChildren del receptor en True. Cuando configuras el parámetro includeChildren, el receptor puede enrutar las entradas de registro de la organización o carpeta, además de (de forma recurrente) desde cualquier carpeta, cuenta de facturación o proyecto de Google Cloud que contenga.

Para especificar entradas de registro que deseas enrutar a tu destino, configura los filtros de inclusión y exclusión del receptor.

Puedes crear hasta 200 receptores por organización o carpeta.

A fin de crear un receptor agregado para tu organización o carpeta, haz lo siguiente:

Consola

  1. En el panel de navegación de la consola de Google Cloud, selecciona Logging y, luego, Enrutador de registros:

    Ir a Enrutador de registros

  2. Selecciona una organización o carpeta existente.

  3. Selecciona Crear receptor.

  4. En el panel Detalles del receptor, ingresa los siguientes detalles:

    • Nombre del receptor: proporciona un identificador para el receptor; ten en cuenta que después de crear el receptor, no puedes cambiarle el nombre, pero puedes borrarlo y crear uno nuevo.

    • Descripción del receptor (opcional): Describe el propósito o el caso de uso del receptor.

  5. En el panel Destino del receptor, selecciona el servicio y el destino del receptor:

    • Selecciona el servicio del receptor: Selecciona el servicio al que deseas que se enruten los registros.

    Según el servicio que elijas, puedes elegir entre los siguientes destinos:

    • Bucket de Cloud Logging: selecciona o crea un bucket de Logging. Si creas un bucket de registros, debe estar a nivel de proyecto. No puedes crear un bucket de registros a nivel de organización o de carpeta.
    • Tabla de BigQuery: selecciona o crea el conjunto de datos particular para recibir los registros enrutados. También tienes la opción de usar tablas particionadas.
    • Bucket de Cloud Storage: Selecciona o crea el bucket de Cloud Storage en particular para recibir los registros enrutados.
    • Tema de Pub/Sub: selecciona o crea el tema específico para recibir los registros enrutados.
    • Splunk: Selecciona el tema de Pub/Sub para tu servicio de Splunk.

      Por ejemplo, si el destino del receptor es un conjunto de datos de BigQuery, el destino del receptor sería el siguiente:

      bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID
      
  6. En el panel Elige registros para incluirlos en el receptor, haz lo siguiente:

    1. Selecciona Incluir registros transferidos por este recurso y todos los recursos secundarios para crear un receptor agregado.

    2. En el campo Crear filtro de inclusión, ingresa una expresión de filtro que coincida con las entradas de registro que deseas incluir. Si no configuras un filtro, todos los registros del recurso seleccionado se enrutan al destino.

      Por ejemplo, es posible que desees compilar un filtro para enrutar todos los registros de auditoría de acceso a los datos a un solo bucket de Logging. Este filtro se verá de la siguiente manera:

      LOG_ID("cloudaudit.googleapis.com/data_access") OR LOG_ID("externalaudit.googleapis.com/data_access")
      

      Ten en cuenta que la longitud de un filtro no puede superar los 20,000 caracteres.

    3. Para verificar que ingresaste el filtro correcto, selecciona Obtener vista previa de los registros. Esto abrirá el Explorador de registros en una pestaña nueva con el filtro prepropagado.

  7. En el panel Elige registros para excluir del receptor, haz lo siguiente (opcional):

    1. En el campo Nombre del filtro de exclusión, ingresa un nombre.

    2. En el campo Crear un filtro de exclusión, ingresa una expresión de filtro que coincida con las entradas de registro que deseas excluir. También puedes usar la función sample para seleccionar una parte de las entradas de registro que deseas excluir.

      Por ejemplo, para evitar que los registros de un proyecto específico se enruten al destino, agrega el siguiente filtro de exclusión:

      logName:projects/PROJECT_ID
      

      Para excluir registros de varios proyectos, usa el operador lógico OR para unir las cláusulas logName.

    Puedes crear hasta 50 filtros de exclusión por receptor. Ten en cuenta que la longitud de un filtro no puede superar los 20,000 caracteres.

  8. Selecciona Crear receptor.

API

Para crear un receptor, usa organizations.sinks.create o folders.sinks.create en la API de Logging. Prepara los argumentos para el método de la siguiente manera:

  1. Establece el parámetro parent para que sea la organización o carpeta de Google Cloud en la que se crea el receptor. El superior debe ser uno de los siguientes:

    • organizations/ORGANIZATION_ID
    • folders/FOLDER_ID
  2. En el objeto LogSink en el cuerpo de la solicitud del método, haz lo siguiente:

  3. Llama a organizations.sinks.create o folders.sinks.create para crear el receptor.

  4. Recupera el nombre de la cuenta de servicio del campo writer_identity que muestra la respuesta de la API.

  5. Otorga permiso a esa cuenta de servicio para escribir en el destino del receptor.

    Si no tienes permiso para realizar ese cambio en el destino del receptor, envía el nombre de la cuenta de servicio a alguien que pueda realizarlo por ti.

    Si quieres obtener más información sobre cómo otorgar permisos a cuentas de servicio para recursos, consulta la sección Configura permisos de destino.

gcloud

Para crear un receptor, usa el comando logging sinks create.

  1. Proporciona el nombre del receptor, el destino del receptor, el filtro y el ID de la organización o carpeta desde la que enrutas los registros:

    gcloud logging sinks create SINK_NAME \
      SINK_DESTINATION  --include-children \
      --folder=FOLDER_ID --log-filter="LOG_FILTER"
    

    Por ejemplo, si creas un receptor agregado a nivel de carpeta y cuyo destino es un conjunto de datos de BigQuery, tu comando podría verse de la siguiente manera:

    gcloud logging sinks create SINK_NAME \
      bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID --include-children \
      --folder=FOLDER_ID --log-filter="logName:activity"
    

    Notas:

    • Para crear un receptor a nivel de la organización, reemplaza --folder=FOLDER_ID por --organization=ORGANIZATION_ID.

    • Para que el receptor incluya todos los recursos dentro de la organización, se debe establecer la marca --include-children, incluso cuando la marca --organizationse pasa a create. Cuando se establece como false (la opción predeterminada), un receptor solo exporta los registros del recurso de host.

    • A fin de ver algunos ejemplos útiles, consulta Crea filtros para receptores agregados.

  2. Recupera el nombre de la cuenta de servicio usado para crear el receptor del resultado del comando.

  3. Otorga permiso a esa cuenta de servicio para escribir en el destino del receptor.

    Si no tienes permiso para realizar ese cambio en el destino del receptor, envía el nombre de la cuenta de servicio a alguien que pueda realizarlo por ti.

    Si quieres obtener más información sobre cómo otorgar permisos a cuentas de servicio para recursos, consulta la sección Configura permisos de destino.

Los cambios realizados en un receptor pueden tardar unos minutos en aplicarse.

Crea filtros para los receptores agregados

Como cualquier receptor, tu receptor agregado tiene un filtro que selecciona entradas de registro individuales. Si quieres ver ejemplos de filtros que puedes usar para crear tu receptor agregado, consulta Ejemplos de consultas con el Explorador de registros.

A continuación, se presentan algunos ejemplos de comparaciones de consultas que son útiles cuando se usa la función de receptores agregados. Algunos ejemplos usan la siguiente notación:

  • : es el operador de la substring. No sustituyas el operador =.
  • ...… representa cualquier comparación de filtro adicional.
  • Las variables se indican con texto de color. Reemplázalas por valores válidos.

Ten en cuenta que la longitud de un filtro no puede superar los 20,000 caracteres.

Para obtener más detalles sobre la sintaxis de filtros, consulta Lenguaje de consulta de Logging.

Selecciona la fuente del archivo de registro

En el caso de un receptor agregado, para cada recurso secundario de la organización o carpeta, los filtros de inclusión y exclusión del receptor se aplican a cada entrada de registro que se envía al recurso secundario. Se enruta una entrada de registro que coincide con el filtro de inclusión y que no está excluida.

Si deseas que tu receptor enrute los registros de todos los recursos secundarios, no especifiques un proyecto, una carpeta o una organización en los filtros de inclusión y exclusión del receptor. Por ejemplo, supongamos que configuras un receptor agregado para una organización con el siguiente filtro:

resource.type="gce_instance"

Con el filtro anterior, el receptor agregado enruta al destino los registros con un tipo de recurso de instancias de Compute Engine que se escriben en cualquier elemento secundario de esa organización.

Sin embargo, puede haber situaciones en las que quieras usar un receptor agregado para enrutar registros solo desde recursos secundarios específicos. Por ejemplo, por motivos de cumplimiento, es posible que desees almacenar registros de auditoría de carpetas o proyectos específicos en su propio bucket de Cloud Storage. En estas situaciones, configura tu filtro de inclusión para especificar cada recurso secundario cuyos registros deseas enrutar. Si deseas enrutar registros de una carpeta y todos los proyectos dentro de ella, el filtro debe mostrar la carpeta y cada uno de los proyectos que contiene esa carpeta y también unir las declaraciones con una cláusula OR.

Los siguientes filtros restringen los registros a carpetas, organizaciones o proyectos específicos de Google Cloud:

logName:"projects/PROJECT_ID/logs/" AND ... 
logName:("projects/PROJECT_A_ID/logs/" OR "projects/PROJECT_B_ID/logs/") AND ... 
logName:"folders/FOLDER_ID/logs/" AND ... 
logName:"organizations/ORGANIZATION_ID/logs/" AND ... 

Por ejemplo, para enrutar solo los registros escritos a instancias de Compute Engine que se escribieron en la carpeta my-folder, usa el siguiente filtro:

logName:"folders/my-folder/logs/" AND resource.type="gce_instance"

Con el filtro anterior, los registros escritos en cualquier recurso que no sea my-folder, incluidos los registros escritos en proyectos de Google Cloud que son elementos secundarios de my-folder, no se enrutan al destino.

Selecciona el recurso supervisado

Si quieres enrutar registros solo desde un recurso supervisado específico en un proyecto de Google Cloud, usa varias comparaciones para especificar el recurso con exactitud:

logName:"projects/PROJECT_ID/logs" AND
resource.type=RESOURCE_TYPE AND
resource.labels.instance_id=INSTANCE_ID

Para obtener una lista de tipos de recursos, consulta Tipos de recursos supervisados.

Selecciona una muestra de entradas de registro

Para enrutar una muestra aleatoria de entradas de registro, agrega la función integrada sample. Por ejemplo, para enrutar solo el diez por ciento de las entradas de registro que coinciden con tu filtro actual, usa esta adición:

sample(insertId, 0.10) AND ...

Para obtener más información, consulta la función sample.

Para obtener más información sobre los filtros de Cloud Logging, consulta Lenguaje de consulta de Logging.

Establece permisos de destino

En esta sección, se describe cómo otorgar a Logging los permisos de Identity and Access Management para escribir los registros en el destino de tu receptor. Para obtener la lista completa de las funciones y los permisos de Logging, consulta Control de acceso.

Cuando creas o actualizas un receptor que enruta los registros a cualquier destino que no sea un bucket de registros en el proyecto actual, se requiere una cuenta de servicio para ese receptor. Logging crea y administra automáticamente la cuenta de servicio por ti:

  • A partir del 22 de mayo de 2023, cuando creas un receptor y no existe una cuenta de servicio para el recurso subyacente, Logging crea la cuenta de servicio. Logging usa la misma cuenta de servicio para todos los receptores del recurso subyacente. Los recursos pueden ser un proyecto de Google Cloud, una organización, una carpeta o una cuenta de facturación.
  • Antes del 22 de mayo de 2023, Logging creó una cuenta de servicio para cada receptor. A partir del 22 de mayo de 2023, Logging usa una cuenta de servicio compartida para todos los receptores del recurso subyacente.

La identidad de escritor de un receptor es el identificador de la cuenta de servicio asociada con ese receptor. Todos los receptores tienen una identidad de escritor, a menos que escriban en un bucket de registros del proyecto actual de Google Cloud.

Para enrutar registros a un recurso protegido por un perímetro de servicio, debes agregar la cuenta de servicio para ese receptor a un nivel de acceso y, luego, asignarla al perímetro de servicio de destino. Esto no es necesario para los receptores no agregados. Para obtener más detalles, consulta Controles del servicio de VPC: Cloud Logging.

A fin de establecer permisos para que tu receptor se enrute hacia su destino, haz lo siguiente:

Consola

  1. Para obtener información sobre la cuenta de servicio de tu receptor, haz lo siguiente:

    1. En el panel de navegación de la consola de Google Cloud, selecciona Logging y, luego, Enrutador de registros:

      Ir a Enrutador de registros

    2. Selecciona Menú y, luego, Ver detalles del receptor.

      En el panel Detalles del receptor, el campo writerIdentity contiene la identidad de la cuenta de servicio. La string serviceAccount: forma parte de la identidad de la cuenta de servicio. Por ejemplo:

      serviceAccount:service-123456789012@gcp-sa-logging.iam.gserviceaccount.com
      
  2. En el proyecto de destino, otorga a la identidad de escritor la función necesaria para que la cuenta de servicio escriba en el destino. Para otorgar un rol a una principal, debes tener el rol de propietario (roles/owner):

    • Para los destinos de Cloud Storage, agrega la identidad de escritor del receptor como principal mediante IAM y, luego, otórgale el rol de creador de objetos de almacenamiento (roles/storage.objectCreator).
    • Para los destinos de BigQuery, agrega la identidad de escritor del receptor como principal mediante la IAM y, luego, otórgale el rol de editor de datos de BigQuery (roles/bigquery.dataEditor).
    • Para los destinos de Pub/Sub, incluido Splunk, agrega la identidad de escritor del receptor como principal mediante la IAM y, luego, otórgale el rol de publicador de Pub/Sub (roles/pubsub.publisher).
    • Para los destinos de buckets de Logging en diferentes proyectos de Google Cloud, agrega la identidad de escritor del receptor como un principal mediante la IAM y, luego, otórgale el rol de escritor del bucket de registros (roles/logging.bucketWriter).
    • Para los destinos de los proyectos de Google Cloud, agrega la identidad de escritor del receptor como principal mediante IAM y, luego, otórgale el rol de escritor de registros (roles/logging.logWriter). En particular, una principal necesita el permiso logging.logEntries.route.
    Si no tienes acceso de Propietario al destino del receptor, pídele a un propietario del proyecto que agregue la identidad de escritor como principal.

API

  1. Para obtener información sobre la cuenta de servicio de tu receptor, llama al método de la API organizations.sinks.get o folders.sinks.get.

    El campo writerIdentity contiene la identidad de la cuenta de servicio. La string serviceAccount: forma parte de la identidad de la cuenta de servicio. Por ejemplo:

    serviceAccount:service-123456789012@gcp-sa-logging.iam.gserviceaccount.com
    
  2. En el proyecto de destino, otorga a la identidad de escritor la función necesaria para que la cuenta de servicio escriba en el destino. Para otorgar un rol a una principal, debes tener el rol de propietario (roles/owner):

    • Para los destinos de Cloud Storage, agrega la identidad de escritor del receptor como principal mediante IAM y, luego, otórgale el rol de creador de objetos de almacenamiento (roles/storage.objectCreator).
    • Para los destinos de BigQuery, agrega la identidad de escritor del receptor como principal mediante la IAM y, luego, otórgale el rol de editor de datos de BigQuery (roles/bigquery.dataEditor).
    • Para los destinos de Pub/Sub, incluido Splunk, agrega la identidad de escritor del receptor como principal mediante la IAM y, luego, otórgale el rol de publicador de Pub/Sub (roles/pubsub.publisher).
    • Para los destinos de buckets de Logging en diferentes proyectos de Google Cloud, agrega la identidad de escritor del receptor como un principal mediante la IAM y, luego, otórgale el rol de escritor del bucket de registros (roles/logging.bucketWriter).
    • Para los destinos de los proyectos de Google Cloud, agrega la identidad de escritor del receptor como principal mediante IAM y, luego, otórgale el rol de escritor de registros (roles/logging.logWriter). En particular, una principal necesita el permiso logging.logEntries.route.
    Si no tienes acceso de Propietario al destino del receptor, pídele a un propietario del proyecto que agregue la identidad de escritor como principal.

gcloud

  1. Para obtener información sobre la cuenta de servicio de tu receptor, ejecuta el siguiente comando:

    gcloud logging sinks describe SINK_NAME
    

    El campo writerIdentity contiene la identidad de la cuenta de servicio. La string serviceAccount: forma parte de la identidad de la cuenta de servicio. Por ejemplo:

    serviceAccount:service-123456789012@gcp-sa-logging.iam.gserviceaccount.com
    
  2. En el proyecto de destino, otorga a la identidad de escritor la función necesaria para que la cuenta de servicio escriba en el destino. Para otorgar un rol a una principal, debes tener el rol de propietario (roles/owner):

    • Para los destinos de Cloud Storage, agrega la identidad de escritor del receptor como principal mediante IAM y, luego, otórgale el rol de creador de objetos de almacenamiento (roles/storage.objectCreator).
    • Para los destinos de BigQuery, agrega la identidad de escritor del receptor como principal mediante la IAM y, luego, otórgale el rol de editor de datos de BigQuery (roles/bigquery.dataEditor).
    • Para los destinos de Pub/Sub, incluido Splunk, agrega la identidad de escritor del receptor como principal mediante la IAM y, luego, otórgale el rol de publicador de Pub/Sub (roles/pubsub.publisher).
    • Para los destinos de buckets de Logging en diferentes proyectos de Google Cloud, agrega la identidad de escritor del receptor como un principal mediante la IAM y, luego, otórgale el rol de escritor del bucket de registros (roles/logging.bucketWriter).
    • Para los destinos de los proyectos de Google Cloud, agrega la identidad de escritor del receptor como principal mediante IAM y, luego, otórgale el rol de escritor de registros (roles/logging.logWriter). En particular, una principal necesita el permiso logging.logEntries.route.
    Si no tienes acceso de Propietario al destino del receptor, pídele a un propietario del proyecto que agregue la identidad de escritor como principal.

¿Qué sigue?