En esta página, se describe cómo usar los registros de auditoría de Cloud Monitoring y Spanner para supervisar y analizar el uso de Data Boost de Spanner.
Cloud Monitoring proporciona la capacidad de hacer un seguimiento del uso total a lo largo del tiempo y desglosar ese uso por usuario. Los registros de auditoría de Spanner permiten realizar un análisis de uso más flexible, que incluye proporcionar métricas por usuario o por ID de trabajo de BigQuery.
Usa Cloud Monitoring para hacer un seguimiento del uso de Data Boost
Sigue estos pasos para hacer un seguimiento del uso general de Data Boost:
- En la consola de Google Cloud, ve a Monitoring.
Ir a Monitoring - Si el Explorador de métricas aparece en el menú de navegación, selecciónalo. De lo contrario, haz clic en Recursos y, luego, selecciona Explorador de métricas.
- En la parte superior de la página, selecciona un intervalo de tiempo.
- En la lista desplegable Métrica, en el campo Filtrar por nombre de recurso o métrica, ingresa
spanner
y presionaEnter
para limitar la búsqueda. En la lista Métrica, selecciona Instancia de Cloud Spanner > Instancia > Unidad de procesamiento en segundo lugar y, luego, haz clic en Aplicar.
Esto crea un gráfico de líneas del uso agregado de Data Boost en todas las instancias de Spanner.
Para ver el uso de una instancia en particular, sigue estos pasos:
- Haz clic en + AGREGAR FILTRO para crear un filtro.
- En la lista desplegable Etiqueta 1, selecciona instance_id.
- En el campo de texto Valor 1, ingresa o selecciona el ID de la instancia para la que se mostrará el uso.
Para ver un desglose del uso de todas las instancias, sigue estos pasos:
- Borra cualquier filtro. Para ello, haz clic en el ícono de la papelera junto a los campos Filtros.
- En Agrupar por, en la lista desplegable Etiquetas, selecciona instance_id y, luego, Suma en la lista Función de agrupación.
Para desglosar el uso por principal, en Agrupar por, selecciona credential_id en la lista Etiquetas y Suma en la lista Función de agrupación.
En el siguiente ejemplo, se muestran los segundos de unidad de procesamiento por principal.
Usa registros de auditoría para analizar el uso de Data Boost
Los registros de auditoría de Spanner permiten realizar un análisis más flexible del uso de Data Boost. Además de la capacidad de desglosar el uso a lo largo del tiempo por instancia o principal como con Cloud Monitoring, los registros de auditoría de Spanner, si están habilitados y disponibles, permiten desglosar el uso a lo largo del tiempo por base de datos o ID de trabajo de BigQuery.
Habilitar los registros de auditoría puede generar cargos adicionales. Para obtener información sobre los precios de Logging, consulta Precios de observabilidad de Google Cloud: Cloud Logging.
Habilita los registros de auditoría de uso de Data Boost
Debes habilitar los registros de auditoría de acceso a los datos de Spanner antes de recopilar datos de uso para Data Boost. Para hacerlo, sigue estos pasos:
- Sigue las instrucciones en Configura registros de auditoría de acceso a los datos con la consola de Google Cloud.
- Habilita el tipo de registro Lectura de datos para el servicio de la API de Spanner.
- Para obtener el uso de Data Boost por el texto de SQL del trabajo de BigQuery, asegúrate de que los registros de auditoría para BigQuery también estén habilitados.
Ver el uso por principal
Si quieres consultar los registros de auditoría para ver el uso de Data Boost por usuario, sigue estos pasos:
Ve al Explorador de registros en la consola de Google Cloud.
En el menú de navegación, haz clic en Análisis de registros.
Para mostrar el uso por usuario y base de datos en los últimos 7 días, ejecuta la siguiente consulta. Para cambiar el período para el que se muestra el uso, modifica la expresión
timestamp
en la cláusulaWHERE
.SELECT SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage, REGEXP_EXTRACT( proto_payload.audit_log.resource_name, 'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database, proto_payload.audit_log.authentication_info.principal_email AS principal_email FROM `PROJECT_NAME.global._Default._AllLogs` WHERE timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY) AND resource.type = 'spanner_instance' AND operation.last IS NULL AND JSON_VALUE(labels.data_boost_usage) != '' GROUP BY database, principal_email;
Reemplaza
PROJECT_NAME
por el nombre del proyecto.
En el siguiente ejemplo, se muestra el uso en unidades de procesamiento de 4 principales.
Ver uso por ID de trabajo de BigQuery
Si deseas consultar los registros de auditoría para ver el uso de Data Boost desglosado por base de datos, usuario e ID de trabajo de BigQuery, sigue estos pasos:
Ve al Explorador de registros en la consola de Google Cloud.
En el menú de navegación, haz clic en Análisis de registros.
Ejecuta la siguiente consulta:
SELECT SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage, REGEXP_EXTRACT( proto_payload.audit_log.resource_name, 'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database, proto_payload.audit_log.authentication_info.principal_email AS principal_email, IFNULL(JSON_VALUE(labels.data_boost_workload_id), 'not from BQ') AS job_id FROM `PROJECT_NAME.global._Default._AllLogs` WHERE timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY) AND resource.type = 'spanner_instance' AND operation.last IS NULL AND JSON_VALUE(labels.data_boost_usage) != '' GROUP BY database, principal_email, job_id;
Reemplaza
PROJECT_NAME
por el nombre del proyecto.
En el siguiente ejemplo, se muestra el uso por ID de trabajo de BigQuery.
Ver el uso por texto de BigQuery SQL
Para ver el uso de Data Boost de varios trabajos de BigQuery agregados por el texto de SQL de esos trabajos, sigue estos pasos:
Ve al Explorador de registros en la consola de Google Cloud.
En el menú de navegación, haz clic en Análisis de registros.
Ejecuta la siguiente consulta:
SELECT SUM( CAST( JSON_VALUE(db.labels.data_boost_usage) AS INT64)) AS usage, JSON_VALUE( bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query) AS bq_query FROM `PROJECT_NAME.global._Default._AllLogs` db, `PROJECT_NAME.global._Default._AllLogs` bq WHERE db.timestamp > TIMESTAMP_SUB( CURRENT_TIMESTAMP(), INTERVAL 7 DAY) AND db.resource.type = 'spanner_instance' AND JSON_VALUE(db.labels.data_boost_usage) != '' AND db.operation.last IS NULL AND bq.timestamp > TIMESTAMP_SUB( CURRENT_TIMESTAMP(), INTERVAL 7 DAY) AND bq.proto_payload.audit_log.method_name = 'google.cloud.bigquery.v2.JobService.InsertJob' AND bq.resource.type = 'bigquery_project' AND JSON_VALUE( bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query) IS NOT NULL AND JSON_VALUE(db.labels.data_boost_workload_id) = REGEXP_EXTRACT(bq.proto_payload.audit_log.resource_name, '[^/]*$') GROUP BY bq_query ORDER BY usage DESC
Reemplaza
PROJECT_NAME
por el nombre del proyecto.
En el siguiente ejemplo, se muestra el uso de Data Boost por texto de SQL.
Crea una alerta de Data Boost
Para crear una alerta que se emita cuando el uso de Data Boost supera un umbral predefinido, consulta Configura una alerta de uso de Data Boost.
¿Qué sigue?
- Obtén información sobre Data Boost en la Descripción general de Data Boost.