이 페이지에서는 열 엔진의 사용률을 모니터링하는 방법을 설명합니다.
EXPLAIN를 사용하여 열 형식 엔진 사용 확인
쿼리의 생성된 쿼리 계획에 표시되는 새 열형 연산자를 관찰하려면 EXPLAIN 문을 사용하여 열형 엔진의 사용을 확인하면 됩니다.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
l_discount, l_tax
FROM lineitem
WHERE l_shipdate <= date '1992-08-06'
;
QUERY PLAN
-----------------------------------------------------------------------------
Append (actual rows=3941797 loops=1)
Buffers: shared hit=9
-> Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
Filter: (l_shipdate <= '1992-08-06'::date)
Rows Removed by Columnar Filter: 56054083
Columnar cache search mode: columnar filter only
Buffers: shared hit=9
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '1992-08-06'::date)
Custom Scan (columnar scan)는 열 엔진 스캔이 쿼리 계획에 포함되어 있음을 나타냅니다.Rows Removed by Columnar Filter에는 열 벡터화 실행으로 필터링된 행 수가 나열됩니다.Columnar cache search mode는columnar filter only,native또는row store scan일 수 있습니다. 플래너는 비용 및 푸시다운 평가 기능을 기반으로 검색 모드를 자동으로 선택합니다.
계획자가 native 모드를 선택하면 일부 열 연산자를 스캔으로 푸시합니다.
Rows Aggregated by Columnar Scan에는 집계된 행 수가 표시됩니다.Rows Sorted by Columnar Scan에는 정렬된 행 수가 표시됩니다.Rows Limited by Columnar Scan에는 스캔된 행의 제한된 수가 표시됩니다.
조인을 사용하면 열 스캔 연산자도 Late Materialization 모드를 사용할 수 있습니다.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_shipmode, o_orderpriority
FROM orders, lineitem
WHERE o_orderkey = l_orderkey
AND l_shipmode in ('AIR', 'FOB')
AND l_receiptdate >= date '1995-01-01'
;
QUERY PLAN
-----------------------------------------------------------------------------
Hash Join (actual rows=9865288 loops=1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Buffers: temp read=127738 written=127738
-> Append (actual rows=9865288 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
Rows Removed by Columnar Filter: 50130592
Columnar cache search mode: native
-> Index Scan using idx_lineitem_orderkey_fkidx on lineitem
(never executed)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
-> Hash (actual rows=15000000 loops=1)
Buckets: 1048576 Batches: 32 Memory Usage: 37006kB
Buffers: temp written=83357
-> Append (actual rows=15000000 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=15000000
loops=1)
Rows Removed by Columnar Filter: 0
Columnar projection mode: late materialization
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Columnar projection mode은 late materialization일 수 있습니다.
열형 연산자는 계획자가 일부 열 값의 구체화를 지연하여 프로젝션을 최적화할 때 이 모드를 자동으로 선택합니다.
열 스토어의 열이 있는 테이블에 대한 정보 보기
g_columnar_relations 뷰를 쿼리하여 열 스토어의 테이블 또는 열이 있는 구체화된 뷰에 대한 정보를 볼 수 있습니다.
SELECT * FROM g_columnar_relations; ┌─[ RECORD 1 ]────────┬───────────────────┐ │ relation_name │ tbl_parallel_test │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 581431259 │ │ columnar_unit_count │ 3 │ │ invalid_block_count │ 0 │ │ total_block_count │ 8337 │ ├─[ RECORD 2 ]────────┼───────────────────┤ │ relation_name │ lineitem │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 423224944 │ │ columnar_unit_count │ 29 │ │ invalid_block_count │ 0 │ │ total_block_count │ 115662 │ ├─[ RECORD 3 ]────────┼───────────────────┤
열 스토어의 열에 대한 정보 보기
g_columnar_columns 뷰를 쿼리하여 열 크기 및 마지막 액세스 시간 등 열 스토어의 열에 관한 정보를 볼 수 있습니다.
SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;
최근 쿼리의 열 기반 엔진 실행 통계 보기
g_columnar_stat_statements 뷰를 사용하여 최근 쿼리의 열 형식 엔진 실행 통계를 볼 수 있습니다. 이 뷰는 pg_stat_statements 확장 프로그램에서 제공하는 pg_stat_statements 뷰에 열 형식의 엔진 통계를 추가합니다. 이 뷰를 사용하려면 먼저 pg_stat_statements 확장 프로그램을 사용 설정해야 합니다.
pg_stat_statements확장 프로그램을 사용 설정합니다.CREATE EXTENSION pg_stat_statements;
- 통계를 확인할 쿼리를 실행합니다.
수동으로 수행하거나 애플리케이션이
pg_stat_statements가 사용 설정된 상태로 이러한 쿼리를 실행할 만큼 충분한 시간을 기다릴 수 있습니다. g_columnar_stat_statements및pg_stat_statements뷰를 쿼리합니다. 다음 쿼리는 확장 프로그램pg_stat_statements이 생성되기 전에 수집된 통계를 비롯한 모든 열 형식의 실행 통계를 검색합니다.userid의10값은 확장 프로그램pg_stat_statements이 생성되기 전에 통계가 수집되었음을 나타냅니다.SELECT * FROM pg_stat_statements(TRUE) AS pg_stats FULL JOIN g_columnar_stat_statements AS g_stats ON pg_stats.userid = g_stats.user_id AND pg_stats.dbid = g_stats.db_id AND pg_stats.queryid = g_stats.query_id WHERE columnar_unit_read > 0; ┌─[ RECORD 1 ]────────┬─────────────────────────────── │ userid │ 10 │ │ dbid │ 33004 │ │ queryid │ 6779068104316758833 │ │ query │ SELECT l_returnflag, ↵│ │ │ l_linestatus, ↵│ │ │ l_quantity, ↵│ │ │ l_extendedprice, ↵│ │ │ l_discount, ↵│ │ │ l_tax ↵│ │ │FROM lineitem ↵│ │ │WHERE l_shipdate <= date $1│ │ calls │ 1 │ │ total_time │ 299.969983 │ │ min_time │ 299.969983 │ │ max_time │ 299.969983 │ │ mean_time │ 299.969983 │ │ stddev_time │ 0 │ │ rows │ 392164 │ │ shared_blks_hit │ 0 │ │ shared_blks_read │ 0 │ │ shared_blks_dirtied │ 0 │ │ shared_blks_written │ 0 │ │ local_blks_hit │ 0 │ │ local_blks_read │ 0 │ │ local_blks_dirtied │ 0 │ │ local_blks_written │ 0 │ │ temp_blks_read │ 0 │ │ temp_blks_written │ 0 │ │ blk_read_time │ 0 │ │ blk_write_time │ 0 │ │ user_id │ 10 │ │ db_id │ 33004 │ │ query_id │ 6779068104316758833 │ │ columnar_unit_read │ 29 │ │ page_read │ 115662 │ │ rows_filtered │ 0 │ │ columnar_scan_time │ 0 │ └─────────────────────┴───────────────────────────────┘
열 저장소 메모리 사용량 보기
열 형식 엔진에서 사용할 수 있는 사용되지 않은 RAM의 양을 확인하려면 google_columnar_engine_memory_available 함수를 쿼리하면 됩니다. 출력 정수는 사용 가능한 메모리를 메가바이트 (MB) 단위로 보여줍니다.
SELECT google_columnar_engine_memory_available();
열 기반 엔진 저장소 캐시 보기
열 엔진의 스토리지 캐시 관련 데이터를 보고 모니터링하려면 다음 함수를 호출하면 됩니다.
| 함수 | 설명 |
|---|---|
google_columnar_engine_storage_cache_used |
사용된 열 형식 엔진 스토리지 캐시의 크기를 반환합니다. |
google_columnar_engine_storage_cache_available |
사용되지 않는 열 기반 엔진 저장소 캐시의 크기를 반환합니다. |
google_columnar_engine_storage_cache_total |
열 기반 엔진의 구성된 스토리지 캐시 크기의 총량을 반환합니다. |
다음은 열 엔진의 스토리지 캐시 관련 데이터를 보고 모니터링하는 데 사용되는 SQL 함수를 쿼리하는 방법을 보여줍니다.
SELECT SQL_FUNCTION;
SQL_FUNCTION을 위 표에서 사용하려는 열 엔진 저장소 캐시 함수의 이름으로 바꿉니다.