Questa pagina descrive come monitorare l'utilizzo del motore colonnare.
Verifica l'utilizzo del motore colonnare utilizzando EXPLAIN
Puoi verificare l'utilizzo del motore colonnare utilizzando l'istruzione EXPLAIN per osservare i nuovi operatori colonnari visualizzati nel piano di query generato da una query.
Client psql
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
l_discount, l_tax
FROM lineitem
WHERE l_shipdate <= date '1992-08-06'
;
QUERY PLAN
-----------------------------------------------------------------------------
Append (actual rows=3941797 loops=1)
Buffers: shared hit=9
-> Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
Filter: (l_shipdate <= '1992-08-06'::date)
Rows Removed by Columnar Filter: 56054083
Columnar cache search mode: columnar filter only
Buffers: shared hit=9
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '1992-08-06'::date)
Custom Scan (columnar scan)indica che la scansione del motore colonnare è inclusa nel piano di query.Rows Removed by Columnar Filterelenca il numero di righe eliminate dall'esecuzione vettorizzata colonnare.Columnar cache search modepuò esserecolumnar filter only,nativeorow store scan. Il pianificatore sceglie automaticamente la modalità di ricerca in base alla funzionalità di valutazione del costo e del pushdown.
Quando lo strumento di pianificazione sceglie la modalità native, trasmette alcuni degli operatori colonnari alla scansione:
Rows Aggregated by Columnar Scanelenca il numero di righe aggregate.Rows Sorted by Columnar Scanelenca il numero di righe che sono ordinate.Rows Limited by Columnar Scanelenca il numero limitato di righe sottoposte a scansione.
Con le unioni, gli operatori di scansione colonnare possono utilizzare anche la modalità Late Materialization.
Client psql
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_shipmode, o_orderpriority
FROM orders, lineitem
WHERE o_orderkey = l_orderkey
AND l_shipmode in ('AIR', 'FOB')
AND l_receiptdate >= date '1995-01-01'
;
QUERY PLAN
-----------------------------------------------------------------------------
Hash Join (actual rows=9865288 loops=1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Buffers: temp read=127738 written=127738
-> Append (actual rows=9865288 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
Rows Removed by Columnar Filter: 50130592
Columnar cache search mode: native
-> Index Scan using idx_lineitem_orderkey_fkidx on lineitem
(never executed)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
-> Hash (actual rows=15000000 loops=1)
Buckets: 1048576 Batches: 32 Memory Usage: 37006kB
Buffers: temp written=83357
-> Append (actual rows=15000000 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=15000000
loops=1)
Rows Removed by Columnar Filter: 0
Columnar projection mode: late materialization
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Columnar projection mode può essere late materialization.
Gli operatori colonnari scelgono questa modalità automaticamente quando il pianificatore ottimizza la proiezione posticipando la materializzazione di alcuni valori di colonna.
Utilizza l'opzione COLUMNAR_ENGINE per EXPLAIN
Il comando EXPLAIN supporta l'opzione COLUMNAR_ENGINE. Se specificato, il comando stampa messaggi Columnar Check nel piano EXPLAIN per mostrare cosa potrebbe aver indotto il pianificatore o l'esecutore a fare determinate scelte relative al motore colonnare per il piano. Il comando stampa anche dettagli aggiuntivi specifici dell'engine colonnare. Il messaggio è associato al nodo di scansione non colonnare. In genere indica la prima causa che impedisce la scelta di una scansione colonnare per una scansione. Alcuni esempi di cause sono the table is too small, a needed column of the table is not in the CE store o a needed column has a CE unsupported data type.
L'esempio seguente di output del comando stampa un messaggio Columnar Check:
Client psql
EXPLAIN (COLUMNAR_ENGINE, COSTS OFF)
SELECT * FROM sample_small_table
WHERE col1 > 10000;
QUERY PLAN
--------------------------------------
Seq Scan on sample_small_table
Filter: (col1 > 10000)
Columnar Check: table is too small
A seconda del messaggio, l'utente può eseguire una delle seguenti azioni:
- Risolvi il problema specifico e poi esegui di nuovo il comando per confermare il piano a colonne.
- Esegui l'iterazione sullo stesso processo. Può esserci più di una causa e la clausola tenta di elencare solo la prima.
L'esempio seguente mostra la stampa di ulteriori dettagli specifici del motore a colonne:
Client psql
EXPLAIN (ANALYZE, COLUMNAR_ENGINE, COSTS OFF, TIMING OFF, SUMMARY OFF, VERBOSE) SELECT SUM(c1) FROM counter_table WHERE c2 > 0 and c2 < 80000;
QUERY PLAN
---------------------------------------------------------------------------------------------
Aggregate (actual rows=1 loops=1)
Output: sum(c1)
-> Append (actual rows=79999 loops=1)
-> Custom Scan (columnar scan) on public.counter_table (actual rows=79999 loops=1)
Output: c1
Filter: ((counter_table.c2 > 0) AND (counter_table.c2 < 80000))
Rows Removed by Columnar Filter: 1
Rows Aggregated by Columnar Scan: 79999
Bytes fetched from storage cache: 1392655
Columnar cache search mode: native
-> Seq Scan on public.counter_table (never executed)
Output: c1
Filter: ((counter_table.c2 > 0) AND (counter_table.c2 < 80000))
(13 rows)
Visualizzare informazioni sulle tabelle con colonne nel magazzino delle colonne
Puoi visualizzare informazioni sulle tabelle o sulle visualizzazioni con colonne nel magazzino delle colonne eseguendo una query sulla visualizzazione g_columnar_relations.
Client psql
SELECT * FROM g_columnar_relations; ┌─[ RECORD 1 ]────────┬───────────────────┐ │ relation_name │ tbl_parallel_test │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 581431259 │ │ columnar_unit_count │ 3 │ │ invalid_block_count │ 0 │ │ total_block_count │ 8337 │ ├─[ RECORD 2 ]────────┼───────────────────┤ │ relation_name │ lineitem │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 423224944 │ │ columnar_unit_count │ 29 │ │ invalid_block_count │ 0 │ │ total_block_count │ 115662 │ ├─[ RECORD 3 ]────────┼───────────────────┤
Visualizzare le informazioni sulle colonne nell'archivio colonne
Puoi visualizzare le informazioni sulle colonne nel magazzino delle colonne eseguendo query sulla vista g_columnar_columns, incluse le dimensioni delle colonne e la data e l'ora dell'ultimo accesso.
Client psql
SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;
Visualizza le statistiche di esecuzione del motore colonnare per le query recenti
Puoi visualizzare le statistiche di esecuzione del motore a colonne per le query recenti utilizzando la visualizzazione g_columnar_stat_statements. Questa visualizzazione aggiunge le statistiche del motore colonnare alla visualizzazione pg_stat_statements fornita dall'estensione pg_stat_statements. Per utilizzare questa visualizzazione, devi prima attivare l'estensione pg_stat_statements.
Client psql
- Attiva l'estensione
pg_stat_statements:CREATE EXTENSION pg_stat_statements;
- Esegui le query di cui vuoi visualizzare le statistiche.
Puoi farlo manualmente oppure puoi attendere il tempo necessario affinché le tue applicazioni eseguano queste query con
pg_stat_statementsabilitato. - Esegui query sulle visualizzazioni
g_columnar_stat_statementsepg_stat_statements. Tieni presente che la seguente query recupera tutte le statistiche di esecuzione colonnare, incluse quelle raccolte prima della creazione dell'estensionepg_stat_statements. Il valore nullouseridindica che le statistiche sono state raccolte prima della creazione dell'estensionepg_stat_statements.SELECT * FROM pg_stat_statements(TRUE) AS pg_stats FULL JOIN g_columnar_stat_statements AS g_stats ON pg_stats.userid = g_stats.user_id AND pg_stats.dbid = g_stats.db_id AND pg_stats.queryid = g_stats.query_id WHERE columnar_unit_read > 0; ┌─[ RECORD 1 ]────────┬─────────────────────────────── │ userid │ 10 │ │ dbid │ 33004 │ │ queryid │ 6779068104316758833 │ │ query │ SELECT l_returnflag, ↵│ │ │ l_linestatus, ↵│ │ │ l_quantity, ↵│ │ │ l_extendedprice, ↵│ │ │ l_discount, ↵│ │ │ l_tax ↵│ │ │FROM lineitem ↵│ │ │WHERE l_shipdate <= date $1│ │ calls │ 1 │ │ total_time │ 299.969983 │ │ min_time │ 299.969983 │ │ max_time │ 299.969983 │ │ mean_time │ 299.969983 │ │ stddev_time │ 0 │ │ rows │ 392164 │ │ shared_blks_hit │ 0 │ │ shared_blks_read │ 0 │ │ shared_blks_dirtied │ 0 │ │ shared_blks_written │ 0 │ │ local_blks_hit │ 0 │ │ local_blks_read │ 0 │ │ local_blks_dirtied │ 0 │ │ local_blks_written │ 0 │ │ temp_blks_read │ 0 │ │ temp_blks_written │ 0 │ │ blk_read_time │ 0 │ │ blk_write_time │ 0 │ │ user_id │ 10 │ │ db_id │ 33004 │ │ query_id │ 6779068104316758833 │ │ columnar_unit_read │ 29 │ │ page_read │ 115662 │ │ rows_filtered │ 0 │ │ columnar_scan_time │ 0 │ └─────────────────────┴───────────────────────────────┘
Visualizza l'utilizzo della memoria della colonna
Per visualizzare la quantità di RAM non utilizzata a disposizione del motore a colonne, puoi eseguire una query sulla funzione google_columnar_engine_memory_available(). L'intero
risultato mostra la memoria disponibile in megabyte (MB).
SELECT google_columnar_engine_memory_available();