Auf dieser Seite wird beschrieben, wie Sie die Auslastung der spaltenorientierten Engine überwachen.
Verwendung der spaltenorientierten Engine mit EXPLAIN
prüfen
Wenn Sie die neuen spaltenbasierten Operatoren sehen möchten, die im generierten Abfrageplan einer Abfrage erscheinen, können Sie die Verwendung der spaltenbasierten Engine mithilfe der EXPLAIN
-Anweisung prüfen.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF) SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice, l_discount, l_tax FROM lineitem WHERE l_shipdate <= date '1992-08-06' ; QUERY PLAN ----------------------------------------------------------------------------- Append (actual rows=3941797 loops=1) Buffers: shared hit=9 -> Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1) Filter: (l_shipdate <= '1992-08-06'::date) Rows Removed by Columnar Filter: 56054083 Columnar cache search mode: columnar filter only Buffers: shared hit=9 -> Seq Scan on lineitem (never executed) Filter: (l_shipdate <= '1992-08-06'::date)
Custom Scan (columnar scan)
gibt an, dass der Abfrageplan einen Scan mit der spaltenorientierten Engine enthält.- In
Rows Removed by Columnar Filter
wird die Anzahl der Zeilen aufgeführt, die durch die spaltenorientierte vektorielle Ausführung herausgefiltert wurden. Columnar cache search mode
kanncolumnar filter only
,native
oderrow store scan
sein. Der Suchmodus wird vom Planner automatisch basierend auf den Kosten und der Pushdown-Bewertung ausgewählt.
Wenn der Planer den Modus native
auswählt, werden einige der spaltenbasierten Operatoren an den Scan übergeben:
Rows Aggregated by Columnar Scan
enthält die Anzahl der Zeilen, die zusammengefasst werden.- Unter
Rows Sorted by Columnar Scan
wird die Anzahl der sortierten Zeilen aufgeführt. - Unter
Rows Limited by Columnar Scan
wird die begrenzte Anzahl der gescannten Zeilen aufgeführt.
Bei Joins können spaltenbasierte Scanoperatoren auch den Modus Late Materialization
verwenden.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF) SELECT l_shipmode, o_orderpriority FROM orders, lineitem WHERE o_orderkey = l_orderkey AND l_shipmode in ('AIR', 'FOB') AND l_receiptdate >= date '1995-01-01' ; QUERY PLAN ----------------------------------------------------------------------------- Hash Join (actual rows=9865288 loops=1) Hash Cond: (lineitem.l_orderkey = orders.o_orderkey) Buffers: temp read=127738 written=127738 -> Append (actual rows=9865288 loops=1) -> Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1) Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND (l_receiptdate >= '1995-01-01'::date)) Rows Removed by Columnar Filter: 50130592 Columnar cache search mode: native -> Index Scan using idx_lineitem_orderkey_fkidx on lineitem (never executed) Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND (l_receiptdate >= '1995-01-01'::date)) -> Hash (actual rows=15000000 loops=1) Buckets: 1048576 Batches: 32 Memory Usage: 37006kB Buffers: temp written=83357 -> Append (actual rows=15000000 loops=1) -> Custom Scan (columnar scan) on orders (actual rows=15000000 loops=1) Rows Removed by Columnar Filter: 0 Columnar projection mode: late materialization Columnar cache search mode: native -> Seq Scan on orders (never executed)
Columnar projection mode
kann late materialization
sein.
Spaltenoperatoren wählen diesen Modus automatisch aus, wenn der Planer die Projektion optimiert, indem die Materialisierung einiger Spaltenwerte verschoben wird.
Informationen zu Tabellen mit Spalten im Spaltenspeicher aufrufen
Wenn Sie Informationen zu den Tabellen oder den materialisierten Ansichten mit Spalten im Tabellenspeicher aufrufen möchten, können Sie die Ansicht g_columnar_relations
abfragen.
SELECT * FROM g_columnar_relations; ┌─[ RECORD 1 ]────────┬───────────────────┐ │ relation_name │ tbl_parallel_test │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 581431259 │ │ columnar_unit_count │ 3 │ │ invalid_block_count │ 0 │ │ total_block_count │ 8337 │ ├─[ RECORD 2 ]────────┼───────────────────┤ │ relation_name │ lineitem │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 423224944 │ │ columnar_unit_count │ 29 │ │ invalid_block_count │ 0 │ │ total_block_count │ 115662 │ ├─[ RECORD 3 ]────────┼───────────────────┤
Informationen zu den Spalten im Spaltenspeicher aufrufen
Sie können Informationen zu den Spalten im Spaltenspeicher abrufen, indem Sie die Ansicht g_columnar_columns
abfragen. Dazu gehören die Größe der Spalten und die Zeit des letzten Zugriffs.
SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;
Ausführungsstatistiken der spaltenbasierten Engine für letzte Abfragen aufrufen
In der Ansicht g_columnar_stat_statements
finden Sie Statistiken zur Ausführung der spaltenorientierten Engine für die letzten Abfragen. In dieser Ansicht werden der pg_stat_statements
-Ansicht, die von der pg_stat_statements
-Erweiterung bereitgestellt wird, spaltenbasierte Engine-Statistiken hinzugefügt. Wenn Sie diese Ansicht verwenden möchten, müssen Sie zuerst die pg_stat_statements
-Erweiterung aktivieren.
- Aktivieren Sie die
pg_stat_statements
-Erweiterung:CREATE EXTENSION pg_stat_statements;
- Führen Sie die Abfragen aus, deren Statistiken Sie sehen möchten.
Sie können dies manuell tun oder warten, bis Ihre Anwendungen diese Abfragen mit aktivierter
pg_stat_statements
ausführen. - Fragen Sie die Ansichten
g_columnar_stat_statements
undpg_stat_statements
ab. Hinweis: Mit der folgenden Abfrage werden alle Ausführungsstatistiken für Spalten abgerufen, einschließlich derer, die vor der Erstellung der Erweiterungpg_stat_statements
erfasst wurden. Der Wert10
vonuserid
gibt an, dass die Statistiken erfasst wurden, bevor die Erweiterungpg_stat_statements
erstellt wurde.SELECT * FROM pg_stat_statements(TRUE) AS pg_stats FULL JOIN g_columnar_stat_statements AS g_stats ON pg_stats.userid = g_stats.user_id AND pg_stats.dbid = g_stats.db_id AND pg_stats.queryid = g_stats.query_id WHERE columnar_unit_read > 0; ┌─[ RECORD 1 ]────────┬─────────────────────────────── │ userid │ 10 │ │ dbid │ 33004 │ │ queryid │ 6779068104316758833 │ │ query │ SELECT l_returnflag, ↵│ │ │ l_linestatus, ↵│ │ │ l_quantity, ↵│ │ │ l_extendedprice, ↵│ │ │ l_discount, ↵│ │ │ l_tax ↵│ │ │FROM lineitem ↵│ │ │WHERE l_shipdate <= date $1│ │ calls │ 1 │ │ total_time │ 299.969983 │ │ min_time │ 299.969983 │ │ max_time │ 299.969983 │ │ mean_time │ 299.969983 │ │ stddev_time │ 0 │ │ rows │ 392164 │ │ shared_blks_hit │ 0 │ │ shared_blks_read │ 0 │ │ shared_blks_dirtied │ 0 │ │ shared_blks_written │ 0 │ │ local_blks_hit │ 0 │ │ local_blks_read │ 0 │ │ local_blks_dirtied │ 0 │ │ local_blks_written │ 0 │ │ temp_blks_read │ 0 │ │ temp_blks_written │ 0 │ │ blk_read_time │ 0 │ │ blk_write_time │ 0 │ │ user_id │ 10 │ │ db_id │ 33004 │ │ query_id │ 6779068104316758833 │ │ columnar_unit_read │ 29 │ │ page_read │ 115662 │ │ rows_filtered │ 0 │ │ columnar_scan_time │ 0 │ └─────────────────────┴───────────────────────────────┘
Arbeitsspeichernutzung der Spalte ansehen
Um die Menge des nicht verwendeten RAM zu sehen, der für das Säulenmodul verfügbar ist, können Sie die Funktion google_columnar_engine_memory_available
abfragen. Die Ganzzahl in der Ausgabe gibt den verfügbaren Arbeitsspeicher in Megabyte (MB) an.
SELECT google_columnar_engine_memory_available();
Speichercache der spaltenbasierten Engine ansehen
Sie können die folgenden Funktionen aufrufen, um Daten zum Speichercache der spaltenorientierten Engine aufzurufen und zu überwachen:
Funktion | Beschreibung |
---|---|
google_columnar_engine_storage_cache_used |
Gibt die Größe des verwendeten Speichercaches der spaltenbasierten Engine zurück. |
google_columnar_engine_storage_cache_available |
Gibt die Größe des nicht verwendeten Speichercaches der spaltenbasierten Engine zurück. |
google_columnar_engine_storage_cache_total |
Gibt die Gesamtmenge der konfigurierten Größe des Speichercaches für die spaltenbasierte Engine zurück. |
Im Folgenden wird gezeigt, wie Sie eine SQL-Funktion abfragen, um Daten zum Speichercache der spaltenorientierten Engine aufzurufen und zu überwachen:
SELECT SQL_FUNCTION;
Ersetzen Sie SQL_FUNCTION
durch den Namen der Speichercachefunktion der spaltenorientierten Engine, die Sie aus der vorherigen Tabelle verwenden möchten.