Supervisa el uso de Data Boost

En esta página, se describe cómo usar la auditoría de Cloud Monitoring y Spanner para supervisar y analizar el uso de Data Boost de Spanner.

Cloud Monitoring ofrece la capacidad de hacer un seguimiento del uso total a lo largo del tiempo y de y desglosarlo por usuario. Los registros de auditoría de Spanner permiten análisis de uso flexible, que incluye proporcionar métricas por usuario o ID de trabajo de BigQuery.

Usa Cloud Monitoring para hacer un seguimiento del uso de Data Boost

Sigue estos pasos para hacer un seguimiento del uso general de Data Boost:

  1. En la consola de Google Cloud, ve a Monitoring.
    Ir a Monitoring
  2. Si el Explorador de métricas aparece en el menú de navegación, selecciónalo. De lo contrario, haz clic en Recursos y selecciona Explorador de métricas.
  3. En la parte superior de la página, selecciona un intervalo de tiempo.
  4. En la lista desplegable Métrica, en Filtrar por recurso o métrica name, ingresa spanner y presiona Enter para acotar la búsqueda.

  5. En la lista Métrica, selecciona Instancia de Cloud Spanner > Instancia > Unidad de procesamiento en segundo lugar y, luego, haz clic en Aplicar.

    Esto crea un gráfico de líneas del uso agregado de Data Boost en todas las instancias de Spanner.

  6. Para ver el uso de una instancia en particular, sigue estos pasos:

    1. Haz clic en + AGREGAR FILTRO para crear un filtro.
    2. En la lista desplegable Etiqueta 1, selecciona instance_id.
    3. En el campo de texto Valor 1, ingresa o selecciona el ID de la instancia a de visualización de los datos.

  7. Para ver un desglose del uso por parte de todas las instancias, sigue estos pasos:

    1. Para eliminar cualquier filtro, haz clic en el ícono de la papelera junto a Filtros. .
    2. En Agrupar por, en la lista desplegable Etiquetas, selecciona instance_id. y, luego, selecciona Suma en la lista Función de agrupación.

  8. Para desglosar el uso por principal, en Agrupar por, selecciona credential_id en la lista credential_id y credential_id en la Lista Funciones de agrupación.

En el siguiente ejemplo, se muestran los segundos de unidad de procesamiento por principal.

segundos de PU por usuario

Usa registros de auditoría para analizar el uso de Data Boost

Los registros de auditoría de Spanner permiten un análisis más flexible Uso de Data Boost. Además de la capacidad de desglosar el uso en el tiempo por instancia o principal, como con Cloud Monitoring Los registros de auditoría de Spanner, si están habilitados y disponibles, permiten el desglose de uso en el tiempo por base de datos o ID de trabajo de BigQuery.

Habilitar los registros de auditoría puede generar cargos adicionales. Para obtener información sobre Los precios de Logging, consulta Precios de Google Cloud Observability: Cloud Logging.

Habilita los registros de auditoría del uso de Data Boost

Debes habilitar los registros de auditoría de acceso a los datos de Spanner antes de poder recopilar datos de uso para Data Boost. Para hacerlo, sigue estos pasos:

  1. Sigue las instrucciones que se indican en Configura registros de auditoría de acceso a los datos con la consola de Google Cloud.
  2. Habilita el tipo de registro Lectura de datos para el servicio de la API de Spanner.
  3. Para obtener el uso de Data Boost por texto de SQL del trabajo de BigQuery, asegurarse de que los registros de auditoría de BigQuery también estén habilitados.

Ver el uso por principal

Para consultar los registros de auditoría y ver el uso de Data Boost por usuario, sigue estos pasos:

  1. Ve al Explorador de registros en la consola de Google Cloud.

    Ir al Explorador de registros

  2. En el menú de navegación, haz clic en Análisis de registros.

  3. Para mostrar el uso por usuario y base de datos durante los últimos 7 días, ejecuta el siguiente comando: para cada búsqueda. Para cambiar el período durante el que se muestra el uso, modifica el Expresión timestamp en la cláusula WHERE.

    SELECT
  SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage,
  REGEXP_EXTRACT(
    proto_payload.audit_log.resource_name,
    'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database,
  proto_payload.audit_log.authentication_info.principal_email AS principal_email
FROM `PROJECT_NAME.global._Default._AllLogs`
WHERE
  timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND resource.type = 'spanner_instance' AND operation.last IS NULL
  AND JSON_VALUE(labels.data_boost_usage) != ''
GROUP BY database, principal_email;

    Reemplaza PROJECT_NAME por el nombre del proyecto.

En el siguiente ejemplo, se muestra el uso de 4 principales en unidades de procesamiento.

Uso de Data Boost por usuario a partir de registros de auditoría

Ver el uso por ID de trabajo de BigQuery

Para consultar los registros de auditoría a fin de ver el uso de Data Boost desglosado por la base de datos, el usuario y el ID de trabajo de BigQuery, sigue estos pasos:

  1. Ve al Explorador de registros en la consola de Google Cloud.

    Ir al Explorador de registros

  2. En el menú de navegación, haz clic en Análisis de registros.

  3. Ejecute la siguiente consulta:

    SELECT
  SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage,
  REGEXP_EXTRACT(
    proto_payload.audit_log.resource_name,
    'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database,
  proto_payload.audit_log.authentication_info.principal_email AS principal_email,
  IFNULL(JSON_VALUE(labels.data_boost_workload_id), 'not from BQ') AS job_id
FROM `PROJECT_NAME.global._Default._AllLogs`
WHERE
  timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND resource.type = 'spanner_instance' AND operation.last IS NULL
  AND JSON_VALUE(labels.data_boost_usage) != ''
GROUP BY database, principal_email, job_id;

    Reemplaza PROJECT_NAME por el nombre del proyecto.

En el siguiente ejemplo, se muestra el uso por ID de trabajo de BigQuery.

Uso de Data Boost por ID de trabajo

Ver el uso por texto de SQL de BigQuery

Para ver el uso de Data Boost en varios trabajos de BigQuery agregados por el texto de SQL de esos trabajos, sigue estos pasos:

  1. Ve al Explorador de registros en la consola de Google Cloud.

    Ir al Explorador de registros

  2. En el menú de navegación, haz clic en Análisis de registros.

  3. Ejecute la siguiente consulta:

    SELECT
  SUM(
    CAST(
      JSON_VALUE(db.labels.data_boost_usage)
      AS INT64)) AS usage,
  JSON_VALUE(
    bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query)
    AS bq_query
FROM
  `PROJECT_NAME.global._Default._AllLogs` db,
  `PROJECT_NAME.global._Default._AllLogs` bq
WHERE
  db.timestamp > TIMESTAMP_SUB(
    CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND db.resource.type = 'spanner_instance'
  AND JSON_VALUE(db.labels.data_boost_usage) != ''
  AND db.operation.last IS NULL
  AND bq.timestamp > TIMESTAMP_SUB(
    CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND bq.proto_payload.audit_log.method_name
    = 'google.cloud.bigquery.v2.JobService.InsertJob'
  AND bq.resource.type = 'bigquery_project'
  AND JSON_VALUE(
    bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query)
    IS NOT NULL
  AND JSON_VALUE(db.labels.data_boost_workload_id)
    = REGEXP_EXTRACT(bq.proto_payload.audit_log.resource_name, '[^/]*$')
GROUP BY bq_query
ORDER BY usage DESC

    Reemplaza PROJECT_NAME por el nombre del proyecto.

En el siguiente ejemplo, se muestra el uso de Data Boost por texto de SQL.

Uso de Data Boost por texto de SQL

Crea una alerta de Data Boost

Para crear una alerta que se emita cuando el uso de Data Boost supere un umbral predefinido, consulta Configura una alerta para el uso de Data Boost.

¿Qué sigue?