Cloud Spanner proporciona tablas integradas que almacenan estadísticas sobre transacciones. Puedes obtener estadísticas de estas tablas SPANNER_SYS.READ_STATS*
mediante instrucciones de SQL.
Cuándo usar estadísticas de lectura
Las estadísticas de lectura proporcionan estadísticas sobre la forma en que una aplicación usa la base de datos y son útiles para investigar problemas de rendimiento. Por ejemplo, puedes verificar qué formas de lectura se ejecutan en una base de datos, con qué frecuencia se ejecutan y explicar las características de rendimiento de estas formas de lectura. Puedes usar las estadísticas de lectura de la base de datos para identificar las formas de lectura que generan un uso de CPU elevado. En un nivel alto, las estadísticas de lectura te ayudarán a comprender el comportamiento del tráfico que ingresa a una base de datos en términos del uso de recursos.
Limitaciones
Esta herramienta es la más adecuada para analizar transmisiones de lecturas similares que representan la mayor parte del uso de CPU. No es útil para buscar lecturas que se ejecutaron solo una vez.
El uso de CPU al que se le realiza un seguimiento en estas estadísticas representa el uso de la CPU del servidor de Cloud Spanner, excepto el uso de CPU de carga previa y algunas otras sobrecargas.
Las estadísticas se recopilan en función del mejor esfuerzo. Como resultado, es posible que se omitan las estadísticas si hay problemas con los sistemas subyacentes. Por ejemplo, si hay problemas de red internos, es posible que se omitan algunas estadísticas.
Disponibilidad
Los datos SPANNER_SYS
solo están disponibles a través de interfaces de SQL; por ejemplo:
La página Consulta de una base de datos en la consola
El comando
gcloud spanner databases execute-sql
La API de
executeQuery
Otros métodos de lectura única que proporciona Cloud Spanner no son compatibles con SPANNER_SYS
.
Uso de CPU agrupado por forma de lectura
En las siguientes tablas, se realiza un seguimiento de las formas de lectura con el mayor uso de CPU durante un período específico:
SPANNER_SYS.READ_STATS_TOP_MINUTE
: Lee las estadísticas de formas agregadas en intervalos de 1 minuto.SPANNER_SYS.READ_STATS_TOP_10MINUTE
: Lee las estadísticas de formas agregadas en intervalos de 10 minutos.SPANNER_SYS.READ_STATS_TOP_HOUR
: Lee las estadísticas de formas agregadas en intervalos de 1 hora.
Estas tablas tienen las siguientes propiedades:
Cada tabla contiene datos de intervalos de tiempo no superpuestos de la longitud que se especifica en el nombre de la tabla.
Los intervalos se basan en tiempos de reloj. Los intervalos de 1 minuto terminan en el minuto, los intervalos de 10 minutos finalizan cada 10 minutos a partir de la hora y los intervalos de 1 hora finalizan en la hora. Después de cada intervalo, Cloud Spanner recopila datos de todos los servidores y los pone a disposición en las tablas SPANNER_SYS poco después.
Por ejemplo, a las 11:59:30 a.m., los intervalos más recientes disponibles para las consultas de SQL son los siguientes:
- 1 minuto: de 11:58:00 a 11:58:59 a.m.
- 10 minutos: de 11:40:00 a 11:49:59 a.m.
- 1 hora: de 10:00:00 a 10:59:59 a.m.
Cloud Spanner agrupa las estadísticas por forma de lectura.
FPRINT
(huella digital) se calcula en función de las columnas involucradas en las lecturas.Cada fila contiene estadísticas de todas las ejecuciones de una consulta de SQL en particular en las que Cloud Spanner captura estadísticas durante el intervalo especificado.
Si Cloud Spanner no puede almacenar información sobre cada forma de lectura distinta que se ejecuta durante el intervalo, el sistema prioriza las formas de lectura con el mayor uso de CPU durante el intervalo especificado.
Esquema de la tabla
Nombre de la columna | Tipo | Descripción |
---|---|---|
INTERVAL_END |
TIMESTAMP |
Fin del intervalo en el que se produjeron las ejecuciones de consultas incluidas |
REQUEST_TAG |
STRING |
La etiqueta de solicitud opcional para esta operación de lectura. Para obtener más información sobre el uso de etiquetas, consulta Solución de problemas con etiquetas de solicitud. Las estadísticas de varias lecturas que tienen la misma string de etiqueta se agrupan en una sola fila con la "REQUEST_TAG" que coincide con ella. |
READ_COLUMNS |
ARRAY<STRING> |
El conjunto de columnas que se leyeron. Estas están en orden alfabético. |
FPRINT |
INT64 |
El hash del valor REQUEST_TAG si está presente. De lo contrario, es el hash del valor READ_COLUMNS . |
EXECUTION_COUNT |
INT64 |
Cantidad de veces que Cloud Spanner ejecutó la forma de lectura durante el intervalo. |
AVG_ROWS |
FLOAT64 |
Promedio de filas que mostró la consulta. |
AVG_BYTES |
FLOAT64 |
Promedio de bytes de datos que mostró la lectura, sin incluir la sobrecarga de codificación de transmisión. |
AVG_CPU_SECONDS |
FLOAT64 |
Promedio de segundos de CPU del servidor de Cloud Spanner en el que se ejecutan la lectura, sin incluir el uso previo de CPU y otras sobrecargas. |
AVG_LOCKING_DELAY_SECONDS |
FLOAT64 |
Promedio de segundos de espera debido al bloqueo. |
AVG_CLIENT_WAIT_SECONDS |
FLOAT64 |
Cantidad promedio de segundos de espera porque el cliente no consume datos tan rápido como Cloud Spanner podría generarlos. |
AVG_LEADER_REFRESH_DELAY_SECONDS |
FLOAT64 |
Es la cantidad promedio de segundos de espera para confirmar con el líder de Paxos que se observaron todas las escrituras. |
Consultas de ejemplo
En esta sección, se incluyen varias instrucciones de SQL de ejemplo que recuperan estadísticas de consultas. Puedes ejecutar estas instrucciones de SQL con las bibliotecas cliente, la herramienta de línea de comandos de gcloud
o la consola.
Enumera las estadísticas básicas de cada forma leída en un período de tiempo determinado
La siguiente consulta muestra los datos sin procesar de las formas de lectura principales en los intervalos de tiempo más recientes de 1 minuto.
SELECT fprint,
read_columns,
execution_count,
avg_cpu_seconds,
avg_rows,
avg_bytes,
avg_locking_delay_seconds,
avg_client_wait_seconds
FROM spanner_sys.read_stats_top_minute
ORDER BY interval_end DESC LIMIT 3;
Resultado de la consulta
fprint | read_columns | execution_count | avg_cpu_seconds | avg_rows | avg_bytes | avg_locking_delay_seconds | avg_client_wait_seconds |
---|---|---|---|---|---|---|---|
125062082139 |
["Singers.id", "Singers.name"] |
8514387 |
0.000661355290396507 |
310.79 |
205 |
8.3232564943763752e-06 |
0 |
151238888745 |
["Singers.singerinfo"] |
3341542 |
6.5992827184280315e-05 |
12784 |
54 |
4.6859741349028595e-07 |
0 |
14105484 |
["Albums.id", "Albums.title"] |
9306619 |
0.00017855774721667873 |
1165.4 |
2964.71875 |
1.4328191393074178e-06 |
0 |
Enumera las formas de lectura, ordenadas por uso de CPU total más alto
La siguiente consulta muestra las formas de lectura con el uso de CPU más alto en la última hora:
SELECT read_columns,
execution_count,
avg_cpu_seconds,
execution_count * avg_cpu_seconds AS total_cpu
FROM spanner_sys.read_stats_top_hour
WHERE interval_end =
(SELECT MAX(interval_end)
FROM spanner_sys.read_stats_top_hour)
ORDER BY total_cpu DESC LIMIT 3;
Resultado de la consulta
read_columns | execution_count | avg_cpu_seconds | total_cpu |
---|---|---|---|
["Singers.id", "Singers.name"] |
1647 |
0.00023380297430622681 |
0.2579 |
["Albums.id", "Albums.title"] |
720 |
0.00016738889440282034 |
0.221314999999999 |
["Singers.singerinfo""] |
3223 |
0.00037764625882302246 |
0.188053 |
Estadísticas agregadas
SPANNER_SYS
también contiene tablas para almacenar estadísticas de lectura agregadas que captura Cloud Spanner en un período específico:
SPANNER_SYS.READ_STATS_TOTAL_MINUTE
: Estadísticas agregadas para todas las formas de lectura durante intervalos de 1 minuto.SPANNER_SYS.READ_STATS_TOTAL_10MINUTE
: Estadísticas agregadas para todas las formas de lectura durante intervalos de 10 minutos.SPANNER_SYS.READ_STATS_TOTAL_HOUR
: Agrega estadísticas para todas las formas de lectura durante intervalos de 1 hora.
Las tablas conjuntas de estadísticas tienen las siguientes propiedades:
Cada tabla contiene datos de intervalos de tiempo no superpuestos de la longitud que se especifica en el nombre de la tabla.
Los intervalos se basan en tiempos de reloj. Los intervalos de 1 minuto finalizan en el minuto, los intervalos de 10 minutos finalizan cada 10 minutos a partir de la hora y los intervalos de 1 hora finalizan en la hora.
Por ejemplo, a las 11:59:30 a.m., los intervalos más recientes disponibles para las consultas de SQL en las estadísticas de lectura agregadas son los siguientes:
- 1 minuto: de 11:58:00 a 11:58:59 a.m.
- 10 minutos: de 11:40:00 a 11:49:59 a.m.
- 1 hora: de 10:00:00 a 10:59:59 a.m.
Cada fila contiene estadísticas de todas las formas de lectura que se ejecutan en la base de datos durante el intervalo especificado combinadas. Solo hay una fila por intervalo de tiempo.
Las estadísticas capturadas en las tablas
SPANNER_SYS.READ_STATS_TOTAL_*
pueden incluir formas de lectura que Cloud Spanner no capturó en las tablasSPANNER_SYS.READ_STATS_TOP_*
.Algunas columnas de estas tablas se exponen como métricas en Cloud Monitoring. Las métricas expuestas son las siguientes:
- Recuento de filas mostradas
- Recuento de la ejecución de lectura
- Tiempo de CPU leído
- Demoras de bloqueo
- Tiempo de espera del cliente
- Demora en la actualización de los líderes
- Recuento de bytes mostrados
Para obtener más información, consulta Métricas de Cloud Spanner.
Esquema de la tabla
Nombre de la columna | Tipo | Descripción |
---|---|---|
INTERVAL_END |
TIMESTAMP |
Fin del intervalo de tiempo en el que ocurrieron las ejecuciones de formas de lectura incluidas. |
EXECUTION_COUNT |
INT64 |
Cantidad de veces que Cloud Spanner ejecutó la forma de lectura durante el intervalo. |
AVG_ROWS |
FLOAT64 |
Cantidad promedio de filas que mostraron las lecturas. |
AVG_BYTES |
FLOAT64 |
Promedio de bytes de datos que mostró la consulta, sin incluir la sobrecarga de codificación de transmisión. |
AVG_CPU_SECONDS |
FLOAT64 |
Promedio de segundos de CPU del servidor de Cloud Spanner en el que se ejecutan la lectura, sin incluir el uso previo de CPU y otras sobrecargas. |
AVG_LOCKING_DELAY_SECONDS |
FLOAT64 |
Promedio de segundos de espera debido al bloqueo. |
AVG_CLIENT_WAIT_SECONDS |
FLOAT64 |
Promedio de segundos de espera debido a la limitación. |
AVG_LEADER_REFRESH_DELAY_SECONDS |
FLOAT64 |
Cantidad promedio de segundos dedicados a coordinar las lecturas en las instancias en configuraciones multirregionales. |
Consultas de ejemplo
En esta sección, se incluyen varias instrucciones de SQL de ejemplo que recuperan estadísticas de consultas. Puedes ejecutar estas instrucciones de SQL con las bibliotecas cliente, la herramienta de línea de comandos de gcloud
o la consola.
Conoce el uso de CPU total en todas las formas de lectura
En la siguiente consulta, se muestra la cantidad de horas de CPU que consumen las formas de lectura en la hora más reciente:
SELECT (avg_cpu_seconds * execution_count / 60 / 60)
AS total_cpu_hours
FROM spanner_sys.read_stats_total_hour
WHERE interval_end =
(SELECT MAX(interval_end)
FROM spanner_sys.read_stats_total_hour);
Resultado de la consulta
total_cpu_hours |
---|
0.00026186111111111115 |
Encuentra el recuento total de ejecuciones en un período determinado
La siguiente consulta muestra la cantidad total de formas de lectura ejecutadas en el intervalo completo de 1 minuto más reciente:
SELECT interval_end,
execution_count
FROM spanner_sys.read_stats_total_minute
WHERE interval_end =
(SELECT MAX(interval_end)
FROM spanner_sys.read_stats_total_minute);
Resultado de la consulta
interval_end | execution_count |
---|---|
2020-05-28 11:02:00-07:00 |
12861966 |
Retención de datos
Como mínimo, Cloud Spanner conserva los datos para cada tabla durante los siguientes períodos:
SPANNER_SYS.READ_STATS_TOP_MINUTE
ySPANNER_SYS.READ_STATS_TOTAL_MINUTE
: Intervalos que abarcan las 6 horas anteriores.SPANNER_SYS.READ_STATS_TOP_10MINUTE
ySPANNER_SYS.READ_STATS_TOTAL_10MINUTE
: Intervalos que abarcan los 4 días anteriores.SPANNER_SYS.READ_STATS_TOP_HOUR
ySPANNER_SYS.READ_STATS_TOTAL_HOUR
: Intervalos que abarcan los 30 días anteriores.
Solución de problemas del uso alto de CPU con estadísticas de lectura
Las estadísticas de lectura de Cloud Spanner son útiles en los casos en que necesitas investigar el uso de la CPU en tu base de datos de Cloud Spanner o cuando intentas comprender las formas de lectura con mucha carga de CPU en tu base de datos. La inspección de formas de lectura que usan una cantidad significativa de recursos de base de datos brinda a los usuarios de Cloud Spanner una forma potencial de reducir los costos operativos y, posiblemente, mejorar las latencias generales del sistema. Mediante los siguientes pasos, te mostraremos cómo usar las estadísticas de lectura para investigar el uso de la CPU en tu base de datos.
Selecciona un período de tiempo para investigar
Para comenzar la investigación, busca un momento en el que la aplicación comience a experimentar un uso alto de CPU. Por ejemplo, supongamos que el problema comenzó alrededor de las 5:20 p.m. del 28 de mayo de 2020.
Recopila estadísticas de transacciones para el período seleccionado
Después de seleccionar un período para comenzar nuestra investigación, veremos las estadísticas recopiladas en la tabla READ_STATS_TOTAL_10MINUTE
alrededor de ese momento.
Los resultados de esta consulta pueden proporcionarnos pistas sobre cómo cambiaron las estadísticas de CPU y otras operaciones de lectura durante ese período. La siguiente consulta muestra las estadísticas de lectura agregadas de 4:30 pm
a 7:30 pm
(inclusive).
SELECT
interval_end,
ROUND(avg_cpu_seconds,4) as avg_cpu_seconds,
execution_count,
avg_locking_delay_seconds
FROM SPANNER_SYS.READ_STATS_TOTAL_10MINUTE
WHERE
interval_end >= "2020-05-28T16:30:00"
AND interval_end <= "2020-05-28T19:30:00"
ORDER BY interval_end;
Tomemos los siguientes datos como ejemplo del resultado que obtenemos a partir de nuestra consulta.
interval_end | avg_cpu_seconds | execution_count | avg_locking_delay_seconds |
---|---|---|---|
2020-05-28 16:40:00-07:00 | 0.0004 | 11111421 | 8.3232564943763752e-06 |
2020-05-28 16:50:00-07:00 | 0.0002 | 8815637 | 8.98734051776406e-05 |
2020-05-28 17:00:00-07:00 | 0.0001 | 8260215 | 6.039129247846453e-06 |
2020-05-28 17:10:00-07:00 | 0.0001 | 8514387 | 9.0535466616680686e-07 |
2020-05-28 17:20:00-07:00 | 0.0006 | 13715466 | 2.6801485272173765e-06 |
2020-05-28 17:30:00-07:00 | 0.0007 | 12861966 | 4.6859741349028595e-07 |
2020-05-28 17:40:00-07:00 | 0.0007 | 3755954 | 2.7131391918005383e-06 |
2020-05-28 17:50:00-07:00 | 0.0006 | 4248137 | 1.4328191393074178e-06 |
2020-05-28 18:00:00-07:00 | 0.0006 | 3986198 | 2.6973481999639748e-06 |
2020-05-28 18:10:00-07:00 | 0.0006 | 3510249 | 3.7577083563017905e-06 |
2020-05-28 18:20:00-07:00 | 0.0004 | 3341542 | 4.0940589703795433e-07 |
2020-05-28 18:30:00-07:00 | 0.0002 | 8695147 | 1.9914494947583975e-05 |
2020-05-28 18:40:00-07:00 | 0.0003 | 11679702 | 1.8331461539001595e-05 |
2020-05-28 18:50:00-07:00 | 0.0003 | 9306619 | 1.2527332321222135e-05 |
2020-05-28 19:00:00-07:00 | 0.0002 | 8520508 | 6.2268448078447915e-06 |
2020-05-28 19:10:00-07:00 | 0.0006 | 13715466 | 2.6801485272173765e-06 |
2020-05-28 19:20:00-07:00 | 0.0005 | 11947323 | 3.3029114639321295e-05 |
2020-05-28 19:30:00-07:00 | 0.0002 | 8514387 | 9.0535466616680686e-07 |
Aquí vemos que el tiempo promedio de CPU (avg_cpu_seconds
) es mayor en los intervalos destacados. El interval_end
con el valor 2020-05-28 19:20:00 tiene un tiempo de CPU más alto, por lo que elegiremos ese intervalo para investigar más en el siguiente paso.
Averigua qué formas de lectura están causando un uso elevado de la CPU
Si profundizamos un poco más, ahora consultamos la tabla READ_STATS_TOP_10MINUTE
para ver el intervalo elegido en el paso anterior. Los resultados de esta consulta pueden ayudar a indicar qué formas de lectura causan un alto uso de la CPU.
SELECT
read_columns,
ROUND(avg_cpu_seconds,4) as avg_cpu_seconds,
execution_count,
avg_rows
FROM SPANNER_SYS.READ_STATS_TOP_10MINUTE
WHERE
interval_end = "2020-05-28T19:20:00"
ORDER BY avg_cpu_seconds DESC LIMIT 3;
Los siguientes datos como ejemplo del resultado que obtenemos a partir de nuestra consulta muestran información sobre las tres formas de lectura principales clasificadas por avg_cpu_seconds
. Observa el uso de ROUND
en nuestra consulta para restringir el resultado de avg_cpu_seconds
a 4 decimales.
read_columns | avg_cpu_seconds | execution_count | avg_rows |
---|---|---|---|
[TestHigherLatency._exists,TestHigherLatency.lang_status,TestHigherLatency.score,globalTagAffinity.shares] 1 |
0.4192 | 1182 | 11650.42216582 |
[TestHigherLatency._exists,TestHigherLatency.lang_status,TestHigherLatency.likes,globalTagAffinity.score] |
0.0852 | 4 | 12784 |
[TestHigherLatency._exists,TestHigherLatency.lang_status,TestHigherLatency.score,globalTagAffinity.ugcCount] |
0.0697 | 1140 | 310.7921052631 |
1 _exists
es un campo interno que se usa para verificar si una fila determinada existe o no.
Una de las razones del uso alto de CPU es que comienzas a ejecutar algunas formas de lectura con mayor frecuencia (execution_count
). Es posible que aumente la cantidad promedio de filas que mostró la lectura (avg_rows
). Si ninguna de esas propiedades de la forma de lectura revela algo interesante, puedes examinar otras propiedades, como avg_locking_delay_seconds
, avg_client_wait_seconds
o avg_bytes
.
Aplicar prácticas recomendadas para reducir el uso elevado de CPU
Una vez que hayas completado los pasos anteriores, considera si proporcionar cualquiera de estas prácticas recomendadas ayudará a tu situación.
La cantidad de veces que Cloud Spanner ejecutó formas de lectura durante el intervalo es un buen ejemplo de una métrica que necesita una base de referencia para indicar si una medición es razonable o es un indicio de un problema. Después de establecer una base de referencia para la métrica, podrás detectar e investigar la causa de cualquier variación inesperada del comportamiento normal.
Si el uso de CPU es relativamente constante en la mayoría de los casos, pero de repente muestra un aumento que se puede correlacionar con un aumento repentino similar en las solicitudes de los usuarios o el comportamiento de la aplicación, podría ser un indicador de que todo funciona como debería.
Prueba la siguiente consulta para encontrar las formas de lectura principales clasificadas por la cantidad de veces que Cloud Spanner hizo una ejecución para cada forma de lectura:
SELECT interval_end, read_columns, execution_count FROM SPANNER_SYS.READ_STATS_TOP_MINUTE ORDER BY execution_count DESC LIMIT 10;
Si buscas las latencias de lectura más bajas posibles, en especial cuando usas parámetros de configuración de instancias multirregión, usa lecturas inactivas en lugar de lecturas sólidas para reducir o quitar el
AVG_LEADER_REFRESH_DELAY_SECONDS
componente de la latencia de lectura.Si solo realizas operaciones de lectura y puedes expresar tu lectura con un único método de lectura, debes usar ese método. Las lecturas únicas no se bloquean, a diferencia de las transacciones de lectura y escritura, por lo que debes usar transacciones de solo lectura en lugar de transacciones de lectura y escritura más costosas cuando no escribes datos.
¿Qué sigue?
- Obtén más información sobre otras herramientas de introspección.
- Aprende sobre qué otra información Cloud Spanner almacena para cada base de datos en las tablas de esquema de información de la base de datos.
- Obtén más información sobre las prácticas recomendadas de SQL para Cloud Spanner.
- Obtén más información sobre cómo investigar el uso de CPU elevado.