Estadísticas más antiguas de las consultas activas

Las consultas activas más antiguas, también conocidas como consultas de mayor duración, son una lista de las consultas activas actualmente en tu base de datos, ordenadas por cuánto tiempo han estado en ejecución. Obtener estadísticas sobre estas consultas puede ayudar a identificar las causas de la latencia del sistema y el alto uso de CPU a medida que ocurren.

Spanner proporciona una tabla integrada,SPANNER_SYS.OLDEST_ACTIVE_QUERIES, que enumera las consultas en ejecución, incluidas las que contienen declaraciones DML, ordenadas por hora de inicio, en orden ascendente. No incluye las consultas de flujos de cambios.

Si actualmente hay una gran cantidad de consultas en ejecución, los resultados pueden limitarse a un subconjunto de consultas totales debido a las restricciones de memoria que aplica el sistema a la recopilación de estos datos. Por lo tanto, Spanner proporciona una tabla adicional, SPANNER_SYS.ACTIVE_QUERIES_SUMMARY, que muestra estadísticas de resumen de todas las consultas activas (excepto las consultas de flujos de cambios). Puedes recuperar información de ambas tablas integradas mediante instrucciones de SQL.

En este artículo, describiremos ambas tablas, mostraremos algunas consultas de ejemplo que usan estas tablas y, por último, demostraremos cómo usarlas para ayudar a mitigar los problemas causados por las consultas activas.

Disponibilidad

Los datos SPANNER_SYS solo están disponibles a través de interfaces de SQL; por ejemplo:

Otros métodos de lectura única que proporciona Spanner no son compatibles con SPANNER_SYS.

OLDEST_ACTIVE_QUERIES

SPANNER_SYS.OLDEST_ACTIVE_QUERIES muestra una lista de consultas activas ordenadas por la hora de inicio. Si en este momento hay una gran cantidad de consultas en ejecución, es posible que los resultados se limiten a un subconjunto de consultas totales debido a las restricciones de memoria que Spanner aplica a la recopilación de estos datos. Para ver las estadísticas de resumen de todas las consultas activas, consulta ACTIVE_QUERIES_SUMMARY.

Esquema de la tabla

Nombre de la columna Tipo Descripción
START_TIME TIMESTAMP Hora de inicio de la consulta.
TEXT_FINGERPRINT INT64 La huella digital es un hash de las operaciones involucradas en la transacción.
TEXT STRING El texto de la declaración de consulta.
TEXT_TRUNCATED BOOL Verdadero si el texto de la consulta del campo TEXT está truncado. De lo contrario, es falso.
SESSION_ID STRING El ID de la sesión que ejecuta la consulta. Si borras el ID de sesión, se cancelará la consulta.

Consultas de ejemplo

Puedes ejecutar las siguientes instrucciones de SQL de ejemplo con las bibliotecas cliente, Google Cloud CLI o la consola de Google Cloud.

Enumera las consultas en ejecución más antiguas

La siguiente consulta muestra una lista de las consultas en ejecución más antiguas ordenadas por su hora de inicio.

SELECT start_time,
       text_fingerprint,
       text,
       text_truncated,
       session_id
FROM spanner_sys.oldest_active_queries
ORDER BY start_time ASC;
start_time text_fingerprint text text_truncated session_id
2020-07-18T07:52:28.225877Z -3426560921851907385 SELECT a.SingerId, a.AlbumId, a.TrackId, b.SingerId as b_id, b.AlbumId as b_albumid, b.TrackId as b_trackId FROM Songs as a CROSS JOIN Songs as b; Falso ACjbPvYsucrtcffHrRK6aObeIjZf12tSUwOsim-g1WC3IhqF4epzICCQR3GCHw
2020-07-18T07:54:08.622081Z -9206690983832919848 SELECT a.SingerId, a.AlbumId, a.TrackId, a.SongName, s.FirstName, s.LastName FROM Songs as a JOIN Singers as s ON s.SingerId = a.SingerId WHERE STARTS_WITH(s.FirstName, 'FirstName') LIMIT 1000000; Falso ACjbPvaF3yKiNfxXFod2LPoFaXjKR759Bw1o34206vv0t7eOrD3wxZhu8U6ohQ
2020-07-18T07:54:08.631744Z -105437553161169030 SELECT a.SingerId, a.AlbumId, a.TrackId, a.SongName, s.FirstName, s.LastName FROM Songs as a JOIN Singers as s ON s.SingerId = a.SingerId WHERE a.SingerId > 7 LIMIT 1000000; Falso ACjbPvanq3MesDNT98t64KdKAz3TlDZoCC-zgW-FJn91cJHuczQ_cOFN_Hdflw
2020-07-18T07:54:08.720011Z -9206690983832919848 SELECT a.SingerId, a.AlbumId, a.TrackId, a.SongName, s.FirstName, s.LastName FROM Songs as a JOIN Singers as s ON s.SingerId = a.SingerId WHERE STARTS_WITH(s.FirstName, 'FirstName') LIMIT 1000000; Falso ACjbPvYIE2QHkhnmMXuAGpB4inK7yMnQjmYgQ9FoygKNaB5KCXu7Sf7f9aghYw
2020-07-18T07:54:08.731006Z 6561582859583559006 SELECT a.SingerId, a.AlbumId, a.TrackId, a.SongName, s.FirstName, s.LastName FROM Songs as a JOIN Singers as s ON s.SingerId = a.SingerId WHERE a.SingerId > 10 LIMIT 1000000; Falso ACjbPvYNZ06N2YyvwV0YMlSRBNDtXBqZEK-iAAyPFnFcTmshPvzWkhr034ud7w

Enumera las 2 consultas en ejecución más antiguas

Una ligera variación en la consulta anterior; este ejemplo muestra las 2 consultas más antiguas en ejecución ordenadas por la hora de inicio de la consulta.

SELECT start_time,
       text_fingerprint,
       text,
       text_truncated,
       session_id
FROM spanner_sys.oldest_active_queries
ORDER BY start_time ASC LIMIT 2;
Resultado de la consulta
start_time text_fingerprint text text_truncated session_id
2020-07-18T07:52:28.225877Z -3426560921851907385 SELECT a.SingerId, a.AlbumId, a.TrackId, b.SingerId as b_id, b.AlbumId as b_albumid, b.TrackId as b_trackId FROM Songs as a CROSS JOIN Songs as b; Falso ACjbPvYsucrtcffHrRK6aObeIjZf12tSUwOsim-g1WC3IhqF4epzICCQR3GCHw
2020-07-18T07:54:08.622081Z -9206690983832919848 SELECT a.SingerId, a.AlbumId, a.TrackId, a.SongName, s.FirstName, s.LastName FROM Songs as a JOIN Singers as s ON s.SingerId = a.SingerId WHERE STARTS_WITH(s.FirstName, 'FirstName') LIMIT 1000000; Falso ACjbPvaF3yKiNfxXFod2LPoFaXjKR759Bw1o34206vv0t7eOrD3wxZhu8U6ohQ

ACTIVE_QUERIES_SUMMARY

Como su nombre lo indica, la tabla integrada, SPANNER_SYS.ACTIVE_QUERIES_SUMMARY, muestra estadísticas de resumen de todas las consultas activas. Como se muestra en el siguiente esquema, las consultas se agrupan por antigüedad en tres buckets o contadores: más de un segundo, más de 10 segundos y más de 100 segundos.

Esquema de la tabla

Nombre de la columna Tipo Descripción
ACTIVE_COUNT INT64 La cantidad total de consultas en ejecución.
OLDEST_START_TIME TIMESTAMP Un límite superior en la hora de inicio de la consulta en ejecución más antigua.
COUNT_OLDER_THAN_1S INT64 La cantidad de consultas de más de 1 segundo.
COUNT_OLDER_THAN_10S INT64 La cantidad de consultas de más de 10 segundos.
COUNT_OLDER_THAN_100S INT64 La cantidad de consultas de más de 100 segundos.

Se puede contar una consulta en más de uno de estos buckets. Por ejemplo, si una consulta se ejecutó por 12 segundos, se contará en COUNT_OLDER_THAN_1S y COUNT_OLDER_THAN_10S porque cumple con ambos criterios.

Consultas de ejemplo

Puedes ejecutar las siguientes instrucciones de SQL de ejemplo con las bibliotecas cliente, gcloud spanner o la consola de Google Cloud.

Recupera un resumen de las consultas activas

La siguiente consulta muestra las estadísticas de resumen sobre la ejecución de consultas.

SELECT active_count,
       oldest_start_time,
       count_older_than_1s,
       count_older_than_10s,
       count_older_than_100s
FROM spanner_sys.active_queries_summary;
Resultado de la consulta
active_count oldest_start_time count_older_than_1s count_older_than_10s count_older_than_100s
22 2020-07-18T07:52:28.225877Z 21 21 1

Limitaciones

Si bien el objetivo es brindarte las estadísticas más completas posibles, hay algunas circunstancias en las que las consultas no se incluyen en los datos que se muestran en estas tablas.

  • Las consultas DML (UPDATE/INSERT/DELETE) no se incluyen si están en la fase Apply mutations.

  • No se incluye una consulta si está en proceso de reinicio debido a un error transitorio.

  • No se incluyen las consultas provenientes de servidores sobrecargados o que no responden.

  • No se puede usar OLDEST_ACTIVE_QUERIES en una transacción de lectura y escritura. Incluso en una transacción de solo lectura, ignora la marca de tiempo de la transacción y siempre muestra los datos actuales a partir de su ejecución. En casos excepcionales, puede mostrar un error ABORTED con resultados parciales. En ese caso, descarta los resultados parciales y vuelve a intentar la consulta.

Usa datos de consultas activas para solucionar problemas de uso de CPU

Las estadísticas de consulta y estadísticas de transacciones proporcionan información útil cuando solucionas problemas de latencia en una base de datos de Spanner. Estas herramientas proporcionan información sobre las consultas que ya se completaron. Sin embargo, a veces es necesario saber qué se está ejecutando en ese momento en el sistema. Por ejemplo, considera una situación en la que el uso de CPU es bastante alto y deseas responder las siguientes preguntas.

  • ¿Cuántas consultas se están ejecutando en este momento?
  • ¿Qué son estas consultas?
  • ¿Cuántas consultas se están ejecutando durante un tiempo prolongado, es decir, más de 100 segundos?
  • ¿En qué sesión se está ejecutando la consulta?

Con las respuestas a las preguntas anteriores, puedes decidir realizar la siguiente acción.

  • Borra la sesión que ejecuta la consulta para obtener una resolución inmediata.
  • Agrega un índice para mejorar el rendimiento de las consultas.
  • Reduce la frecuencia de la consulta si está asociada con una tarea periódica en segundo plano.
  • Identifica el usuario o el componente que emite la consulta que puede no estar autorizado para ejecutar la consulta.

En esta explicación, examinamos nuestras consultas activas y determinamos qué acción realizar, si corresponde.

Recupera un resumen de las consultas activas en ese momento

En nuestra situación de ejemplo, notamos un uso de CPU más alto de lo normal, por lo que decidimos ejecutar la siguiente consulta para mostrar un resumen de las consultas activas.

SELECT active_count,
       oldest_start_time,
       count_older_than_1s,
       count_older_than_10s,
       count_older_than_100s
FROM spanner_sys.active_queries_summary;

La consulta arroja los siguientes resultados.

active_count oldest_start_time count_older_than_1s count_older_than_10s count_older_than_100s
22 2020-07-18T07:52:28.225877Z 21 21 1

Resulta que, actualmente, tenemos una consulta que se ejecuta durante más de 100 segundos. Esto es inusual en nuestra base de datos, por lo que queremos investigar más a fondo.

Recupera una lista de consultas activas

En el paso anterior, determinamos que una consulta se ejecuta durante más de 100 segundos. Para investigar más a fondo, ejecutamos la siguiente consulta con el fin de mostrar más información sobre las 5 consultas en ejecución más antiguas.

SELECT start_time,
       text_fingerprint,
       text,
       text_truncated,
       session_id
FROM spanner_sys.oldest_active_queries
ORDER BY start_time ASC LIMIT 5;

En este ejemplo, ejecutamos la consulta el sábado 18 de julio de 2020 aproximadamente a las 12:54:18 a.m. (PDT) y obtenemos los siguientes resultados. (Es posible que debas desplazarte horizontalmente para ver el resultado completo).

start_time text_fingerprint text text_truncated session_id
2020-07-18T07:52:28.225877Z -3426560921851907385 SELECT a.SingerId, a.AlbumId, a.TrackId, b.SingerId as b_id, b.AlbumId as b_albumid, b.TrackId as b_trackId FROM Songs as a CROSS JOIN Songs as b; False ACjbPvYsucrtcffHrRK6aObeIjZf12tSUwOsim-g1WC3IhqF4epzICCQR3GCHw
2020-07-18T07:54:08.622081Z -9206690983832919848 SELECT a.SingerId, a.AlbumId, a.TrackId, a.SongName, s.FirstName, s.LastName FROM Songs as a JOIN Singers as s ON s.SingerId = a.SingerId WHERE STARTS_WITH(s.FirstName, 'FirstName') LIMIT 1000000; Falso ACjbPvaF3yKiNfxXFod2LPoFaXjKR759Bw1o34206vv0t7eOrD3wxZhu8U6ohQ
2020-07-18T07:54:08.631744Z -105437553161169030 SELECT a.SingerId, a.AlbumId, a.TrackId, a.SongName, s.FirstName, s.LastName FROM Songs as a JOIN Singers as s ON s.SingerId = a.SingerId WHERE a.SingerId > 7 LIMIT 1000000; Falso ACjbPvanq3MesDNT98t64KdKAz3TlDZoCC-zgW-FJn91cJHuczQ_cOFN_Hdflw
2020-07-18T07:54:08.720011Z -9206690983832919848 SELECT a.SingerId, a.AlbumId, a.TrackId, a.SongName, s.FirstName, s.LastName FROM Songs as a JOIN Singers as s ON s.SingerId = a.SingerId WHERE STARTS_WITH(s.FirstName, 'FirstName') LIMIT 1000000; Falso ACjbPvYIE2QHkhnmMXuAGpB4inK7yMnQjmYgQ9FoygKNaB5KCXu7Sf7f9aghYw
2020-07-18T07:54:08.731006Z 6561582859583559006 SELECT a.SingerId, a.AlbumId, a.TrackId, a.SongName, s.FirstName, s.LastName FROM Songs as a JOIN Singers as s ON s.SingerId = a.SingerId WHERE a.SingerId > 10 LIMIT 1000000; Falso ACjbPvYNZ06N2YyvwV0YMlSRBNDtXBqZEK-iAAyPFnFcTmshPvzWkhr034ud7w

La consulta más antigua (huella digital = -3426560921851907385) está destacada en la tabla. Es un CROSS JOIN costoso. Decidimos tomar medidas.

Cancela una consulta costosa

Encontramos una consulta que ejecutaba un CROSS JOIN costoso, por lo que decidimos cancelar la consulta. Los resultados de la consulta en el paso anterior incluyeron un session_id, que es el ID de la sesión que ejecuta la consulta. Por lo tanto, podemos ejecutar el siguiente comando gcloud spanner databases sessions delete para borrar la sesión con ese ID, que, a su vez, cancela la consulta.

gcloud spanner databases sessions delete\
   ACjbPvYsucrtcffHrRK6aObeIjZf12tSUwOsim-g1WC3IhqF4epzICCQR3GCHw \
    --database=singer_db --instance=test-instance

En esta explicación, se muestra cómo usar SPANNER_SYS.OLDEST_ACTIVE_QUERIES y SPANNER_SYS.ACTIVE_QUERIES_SUMMARY para analizar nuestras consultas en ejecución y tomar medidas en caso de que sea necesario para cualquier consulta que contribuya a un uso elevado de CPU. Por supuesto, siempre es más económico evitar las operaciones costosas y diseñar el esquema adecuado para tus casos prácticos. Para obtener más información sobre cómo crear instrucciones de SQL que se ejecuten de manera eficiente, consulta las Prácticas recomendadas de SQL.

¿Qué sigue?