En esta página, se describe cómo supervisar el uso del motor de columnas.
Verifica el uso del motor de columnas con EXPLAIN
Puedes verificar el uso del motor de columnas con la sentencia EXPLAIN para observar los nuevos operadores de columnas que aparecen en el plan de consulta generado de una consulta.
Cliente psql
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
l_discount, l_tax
FROM lineitem
WHERE l_shipdate <= date '1992-08-06'
;
QUERY PLAN
-----------------------------------------------------------------------------
Append (actual rows=3941797 loops=1)
Buffers: shared hit=9
-> Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
Filter: (l_shipdate <= '1992-08-06'::date)
Rows Removed by Columnar Filter: 56054083
Columnar cache search mode: columnar filter only
Buffers: shared hit=9
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '1992-08-06'::date)
Custom Scan (columnar scan)indica que se está incluyendo el análisis del motor de columnas en el plan de consultas.Rows Removed by Columnar Filterenumera la cantidad de filas filtradas por la ejecución vectorizada de columnas.Columnar cache search modepuede sercolumnar filter only,nativeorow store scan. El planificador elige el modo de búsqueda automáticamente en función de la capacidad de evaluación de costos y de transferencia.
Cuando el planificador elige el modo native, envía algunos de los operadores
columnares al análisis:
Rows Aggregated by Columnar Scanenumera la cantidad de filas que se agregan.Rows Sorted by Columnar Scanenumera la cantidad de filas que están ordenadas.Rows Limited by Columnar Scanenumera la cantidad limitada de filas que se analizaron.
Con las uniones, los operadores de análisis de columnas también pueden usar el modo Late Materialization.
Cliente psql
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_shipmode, o_orderpriority
FROM orders, lineitem
WHERE o_orderkey = l_orderkey
AND l_shipmode in ('AIR', 'FOB')
AND l_receiptdate >= date '1995-01-01'
;
QUERY PLAN
-----------------------------------------------------------------------------
Hash Join (actual rows=9865288 loops=1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Buffers: temp read=127738 written=127738
-> Append (actual rows=9865288 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
Rows Removed by Columnar Filter: 50130592
Columnar cache search mode: native
-> Index Scan using idx_lineitem_orderkey_fkidx on lineitem
(never executed)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
-> Hash (actual rows=15000000 loops=1)
Buckets: 1048576 Batches: 32 Memory Usage: 37006kB
Buffers: temp written=83357
-> Append (actual rows=15000000 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=15000000
loops=1)
Rows Removed by Columnar Filter: 0
Columnar projection mode: late materialization
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Columnar projection mode puede ser late materialization.
Los operadores de columnas eligen este modo automáticamente cuando el planificador optimiza la proyección aplazando la materialización de algunos valores de columna.
Usa la opción COLUMNAR_ENGINE para EXPLAIN
El comando EXPLAIN admite la opción COLUMNAR_ENGINE. Cuando se especifica, el comando imprime mensajes Columnar Check en el plan EXPLAIN para mostrar qué podría haber llevado al planificador o al ejecutor a tomar ciertas decisiones relacionadas con el motor de columnas para el plan. El comando también imprime detalles adicionales específicos del motor de columnas. El mensaje está asociado con el nodo de análisis no columna. Por lo general, indica la primera causa que impide que se elija un análisis de columnas para un análisis. Algunos ejemplos de causas son the table is too small, a needed column of the table is not in the CE store o a needed column has a CE unsupported data type.
El siguiente resultado de ejemplo del comando imprime un mensaje Columnar Check:
Cliente psql
EXPLAIN (COLUMNAR_ENGINE, COSTS OFF)
SELECT * FROM sample_small_table
WHERE col1 > 10000;
QUERY PLAN
--------------------------------------
Seq Scan on sample_small_table
Filter: (col1 > 10000)
Columnar Check: table is too small
Según el mensaje, el usuario puede hacer una de las siguientes acciones:
- Soluciona la causa específica y, luego, vuelve a ejecutar el comando para confirmar el plan de columnas.
- Itera sobre el mismo proceso. Puede haber más de una causa, y la cláusula solo intenta enumerar la primera.
En el siguiente ejemplo, se muestran detalles adicionales que se imprimen y que son específicos del motor de columnas:
Cliente psql
EXPLAIN (ANALYZE, COLUMNAR_ENGINE, COSTS OFF, TIMING OFF, SUMMARY OFF, VERBOSE) SELECT SUM(c1) FROM counter_table WHERE c2 > 0 and c2 < 80000;
QUERY PLAN
---------------------------------------------------------------------------------------------
Aggregate (actual rows=1 loops=1)
Output: sum(c1)
-> Append (actual rows=79999 loops=1)
-> Custom Scan (columnar scan) on public.counter_table (actual rows=79999 loops=1)
Output: c1
Filter: ((counter_table.c2 > 0) AND (counter_table.c2 < 80000))
Rows Removed by Columnar Filter: 1
Rows Aggregated by Columnar Scan: 79999
Bytes fetched from storage cache: 1392655
Columnar cache search mode: native
-> Seq Scan on public.counter_table (never executed)
Output: c1
Filter: ((counter_table.c2 > 0) AND (counter_table.c2 < 80000))
(13 rows)
Consulta información sobre las tablas con columnas en el almacén de columnas
Puedes consultar la vista g_columnar_relations para ver información sobre las tablas o las vistas materializadas con columnas en el almacén de columnas.
Cliente psql
SELECT * FROM g_columnar_relations; ┌─[ RECORD 1 ]────────┬───────────────────┐ │ relation_name │ tbl_parallel_test │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 581431259 │ │ columnar_unit_count │ 3 │ │ invalid_block_count │ 0 │ │ total_block_count │ 8337 │ ├─[ RECORD 2 ]────────┼───────────────────┤ │ relation_name │ lineitem │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 423224944 │ │ columnar_unit_count │ 29 │ │ invalid_block_count │ 0 │ │ total_block_count │ 115662 │ ├─[ RECORD 3 ]────────┼───────────────────┤
Cómo ver información sobre las columnas en el almacén de columnas
Para ver información sobre las columnas del almacén de columnas, consulta la vista g_columnar_columns, incluido el tamaño de esas columnas y el último tiempo de acceso.
Cliente psql
SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;
Consulta las estadísticas de ejecución del motor de columnas para las consultas recientes
Puedes ver las estadísticas de ejecución del motor de columnas para las consultas recientes con la vista g_columnar_stat_statements. Esta vista agrega estadísticas del motor de columnas a la vista pg_stat_statements que proporciona la extensión pg_stat_statements. Para
usar esta vista, primero debes habilitar la extensión pg_stat_statements.
Cliente psql
- Habilita la extensión
pg_stat_statements:CREATE EXTENSION pg_stat_statements;
- Realiza las consultas cuyas estadísticas deseas ver.
Puedes hacerlo de forma manual o dejar que transcurra suficiente tiempo para que tus aplicaciones realicen estas consultas con
pg_stat_statementshabilitado. - Consulta las vistas
g_columnar_stat_statementsypg_stat_statements. Ten en cuenta que la siguiente consulta recupera todas las estadísticas de ejecución de columnas, incluidas las que se recopilaron antes de crear la extensiónpg_stat_statements. El valor nulo deuseridindica que las estadísticas se recopilaron antes de que se creara la extensiónpg_stat_statements.SELECT * FROM pg_stat_statements(TRUE) AS pg_stats FULL JOIN g_columnar_stat_statements AS g_stats ON pg_stats.userid = g_stats.user_id AND pg_stats.dbid = g_stats.db_id AND pg_stats.queryid = g_stats.query_id WHERE columnar_unit_read > 0; ┌─[ RECORD 1 ]────────┬─────────────────────────────── │ userid │ 10 │ │ dbid │ 33004 │ │ queryid │ 6779068104316758833 │ │ query │ SELECT l_returnflag, ↵│ │ │ l_linestatus, ↵│ │ │ l_quantity, ↵│ │ │ l_extendedprice, ↵│ │ │ l_discount, ↵│ │ │ l_tax ↵│ │ │FROM lineitem ↵│ │ │WHERE l_shipdate <= date $1│ │ calls │ 1 │ │ total_time │ 299.969983 │ │ min_time │ 299.969983 │ │ max_time │ 299.969983 │ │ mean_time │ 299.969983 │ │ stddev_time │ 0 │ │ rows │ 392164 │ │ shared_blks_hit │ 0 │ │ shared_blks_read │ 0 │ │ shared_blks_dirtied │ 0 │ │ shared_blks_written │ 0 │ │ local_blks_hit │ 0 │ │ local_blks_read │ 0 │ │ local_blks_dirtied │ 0 │ │ local_blks_written │ 0 │ │ temp_blks_read │ 0 │ │ temp_blks_written │ 0 │ │ blk_read_time │ 0 │ │ blk_write_time │ 0 │ │ user_id │ 10 │ │ db_id │ 33004 │ │ query_id │ 6779068104316758833 │ │ columnar_unit_read │ 29 │ │ page_read │ 115662 │ │ rows_filtered │ 0 │ │ columnar_scan_time │ 0 │ └─────────────────────┴───────────────────────────────┘
Cómo ver el uso de memoria de la tienda de columnas
Para ver la cantidad de RAM sin usar disponible para el motor de columnas, puedes consultar la función google_columnar_engine_memory_available(). El número entero resultante muestra la memoria disponible en megabytes (MB).
SELECT google_columnar_engine_memory_available();