Valide a utilização do motor de colunas através do EXPLAIN
Para observar os novos operadores de colunas que aparecem no plano de consulta gerado de uma consulta, pode verificar a utilização do motor de colunas através da declaração EXPLAIN.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
l_discount, l_tax
FROM lineitem
WHERE l_shipdate <= date '1992-08-06'
;
QUERY PLAN
-----------------------------------------------------------------------------
Append (actual rows=3941797 loops=1)
Buffers: shared hit=9
-> Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
Filter: (l_shipdate <= '1992-08-06'::date)
Rows Removed by Columnar Filter: 56054083
Columnar cache search mode: columnar filter only
Buffers: shared hit=9
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '1992-08-06'::date)
Custom Scan (columnar scan)indica que a análise de columnar-engine está incluída no plano de consulta.Rows Removed by Columnar Filterindica o número de linhas filtradas pela execução vetorizada em colunas.Columnar cache search modepode sercolumnar filter only,nativeourow store scan. O planeador escolhe o modo de pesquisa automaticamente com base na capacidade de avaliação de custos e de redução.
Quando o planeador escolhe o modo native, envia alguns dos operadores
colunares para a análise:
Rows Aggregated by Columnar Scanindica o número de linhas que são agregadas.Rows Sorted by Columnar Scanapresenta o número de linhas que estão ordenadas.Rows Limited by Columnar Scanapresenta o número limitado de linhas que foram analisadas.
Com as junções, os operadores de análise de colunas também podem usar o modo Late Materialization.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_shipmode, o_orderpriority
FROM orders, lineitem
WHERE o_orderkey = l_orderkey
AND l_shipmode in ('AIR', 'FOB')
AND l_receiptdate >= date '1995-01-01'
;
QUERY PLAN
-----------------------------------------------------------------------------
Hash Join (actual rows=9865288 loops=1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Buffers: temp read=127738 written=127738
-> Append (actual rows=9865288 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
Rows Removed by Columnar Filter: 50130592
Columnar cache search mode: native
-> Index Scan using idx_lineitem_orderkey_fkidx on lineitem
(never executed)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
-> Hash (actual rows=15000000 loops=1)
Buckets: 1048576 Batches: 32 Memory Usage: 37006kB
Buffers: temp written=83357
-> Append (actual rows=15000000 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=15000000
loops=1)
Rows Removed by Columnar Filter: 0
Columnar projection mode: late materialization
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Columnar projection mode pode ser late materialization.
Os operadores de colunas escolhem este modo automaticamente quando o planeador otimiza a projeção adiando a materialização de alguns valores de colunas.
Veja a utilização da junção vetorizada do motor colunar
Pode validar o novo operador de junção vetorizado usando a declaração EXPLAIN para observar o novo operador Vectorized Hash Join que aparece no plano de consulta gerado de uma consulta.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_quantity, l_extendedprice, l_discount, l_tax
FROM lineitem, orders
WHERE l_shipdate <= date '2022-08-06'
AND l_orderkey = o_orderkey
AND o_orderdate <= date '2025-03-07';
QUERY PLAN
---------------------------------------------------------------------------------------
Vectorized Hash Join (actual rows=3934686 loops=1)
Vectorized partitioning, Partitions: 16 (Disk usage: 208MB)
(Peak Memory Usage: 27MB, Threads: 1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Rows Removed by Bloom Filter: 0
Buffers: temp read=26728 written=26728
-> Append (actual rows=3934686 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=3934686 loops=1)
Filter: (l_shipdate <= '2022-08-06'::date)
Rows Removed by Columnar Filter: 56051366
Columnar cache search mode: native
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '2022-08-06'::date)
-> Vectorized Hash (actual rows=7245824 loops=1)
Build bloom filter, Memory Usage: 1024kB
-> Append (actual rows=7245824 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=7245824 loops=1)
Filter: (o_orderdate <= '2025-03-07'::date)
Rows Removed by Columnar Filter: 7754176
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Filter: (o_orderdate <= '2025-03-07'::date)
Vectorized Hash Joinindica que a junção entre as duas relações usou a junção hash vetorizada.Vectorized partitioning, Partitions:apresenta o número de partições em que os dados foram divididos.
Veja informações sobre tabelas com colunas no arquivo de colunas
Pode ver informações sobre as tabelas ou as vistas materializadas com colunas
no arquivo de colunas consultando a vista g_columnar_relations.
SELECT * FROM g_columnar_relations; ┌─[ RECORD 1 ]────────┬───────────────────┐ │ relation_name │ tbl_parallel_test │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 581431259 │ │ columnar_unit_count │ 3 │ │ invalid_block_count │ 0 │ │ total_block_count │ 8337 │ ├─[ RECORD 2 ]────────┼───────────────────┤ │ relation_name │ lineitem │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 423224944 │ │ columnar_unit_count │ 29 │ │ invalid_block_count │ 0 │ │ total_block_count │ 115662 │ ├─[ RECORD 3 ]────────┼───────────────────┤
Veja informações sobre as colunas na loja de colunas
Pode ver informações sobre as colunas no arquivo de colunas consultando a vista g_columnar_columns, incluindo o tamanho dessas colunas e a hora do último acesso.
SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;
Veja estatísticas de execução do motor colunar para consultas recentes
Pode ver estatísticas de execução do motor em formato de coluna para consultas recentes através da vista g_columnar_stat_statements. Esta vista adiciona estatísticas do motor em colunas à vista fornecida pela extensão pg_stat_statements.pg_stat_statements Para usar esta vista, primeiro tem de ativar a extensão pg_stat_statements.
- Ative a extensão
pg_stat_statements:CREATE EXTENSION pg_stat_statements;
- Execute as consultas cujas estatísticas quer ver.
Pode fazê-lo manualmente ou deixar passar tempo suficiente para que as suas aplicações executem estas consultas com a opção
pg_stat_statementsativada. - Consulte as visualizações
g_columnar_stat_statementsepg_stat_statements. Tenha em atenção que a seguinte consulta obtém todas as estatísticas de execução de colunas, incluindo as que foram recolhidas antes de a extensãopg_stat_statementster sido criada. O valor de10useridindica que as estatísticas foram recolhidas antes de a extensãopg_stat_statementsser criada.SELECT * FROM pg_stat_statements(TRUE) AS pg_stats FULL JOIN g_columnar_stat_statements AS g_stats ON pg_stats.userid = g_stats.user_id AND pg_stats.dbid = g_stats.db_id AND pg_stats.queryid = g_stats.query_id WHERE columnar_unit_read > 0; ┌─[ RECORD 1 ]────────┬─────────────────────────────── │ userid │ 10 │ │ dbid │ 33004 │ │ queryid │ 6779068104316758833 │ │ query │ SELECT l_returnflag, ↵│ │ │ l_linestatus, ↵│ │ │ l_quantity, ↵│ │ │ l_extendedprice, ↵│ │ │ l_discount, ↵│ │ │ l_tax ↵│ │ │FROM lineitem ↵│ │ │WHERE l_shipdate <= date $1│ │ calls │ 1 │ │ total_time │ 299.969983 │ │ min_time │ 299.969983 │ │ max_time │ 299.969983 │ │ mean_time │ 299.969983 │ │ stddev_time │ 0 │ │ rows │ 392164 │ │ shared_blks_hit │ 0 │ │ shared_blks_read │ 0 │ │ shared_blks_dirtied │ 0 │ │ shared_blks_written │ 0 │ │ local_blks_hit │ 0 │ │ local_blks_read │ 0 │ │ local_blks_dirtied │ 0 │ │ local_blks_written │ 0 │ │ temp_blks_read │ 0 │ │ temp_blks_written │ 0 │ │ blk_read_time │ 0 │ │ blk_write_time │ 0 │ │ user_id │ 10 │ │ db_id │ 33004 │ │ query_id │ 6779068104316758833 │ │ columnar_unit_read │ 29 │ │ page_read │ 115662 │ │ rows_filtered │ 0 │ │ columnar_scan_time │ 0 │ └─────────────────────┴───────────────────────────────┘
Veja a utilização de memória do armazenamento de colunas
Para ver a quantidade de RAM não utilizada disponível para o motor de colunas, pode consultar a função google_columnar_engine_memory_available. O número inteiro de saída mostra a memória disponível em megabytes (MB).
SELECT google_columnar_engine_memory_available();
Veja a cache de armazenamento do motor de colunas
Para ver e monitorizar dados sobre a cache de armazenamento do motor de colunas, pode usar os seguintes comandos:
| Comando | Descrição |
|---|---|
SELECT google_columnar_engine_storage_cache_used(); |
Devolve o tamanho da cache de armazenamento do motor colunar usado. |
SELECT google_columnar_engine_storage_cache_available(); |
Devolve o tamanho da cache de armazenamento do motor colunar não usado. |
SHOW google_columnar_engine.storage_cache_size; |
Devolve o valor total da dimensão configurada da cache de armazenamento para o motor de colunas. |