Cette page explique comment surveiller l'utilisation du moteur de colonnes.
Vérifier l'utilisation du moteur en colonnes à l'aide de EXPLAIN
Pour observer les nouveaux opérateurs en colonnes qui apparaissent dans le plan de requête généré d'une requête, vous pouvez vérifier l'utilisation du moteur en colonnes à l'aide de l'instruction EXPLAIN.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
l_discount, l_tax
FROM lineitem
WHERE l_shipdate <= date '1992-08-06'
;
QUERY PLAN
-----------------------------------------------------------------------------
Append (actual rows=3941797 loops=1)
Buffers: shared hit=9
-> Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
Filter: (l_shipdate <= '1992-08-06'::date)
Rows Removed by Columnar Filter: 56054083
Columnar cache search mode: columnar filter only
Buffers: shared hit=9
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '1992-08-06'::date)
Custom Scan (columnar scan)indique que l'analyse du moteur de colonnes est incluse dans le plan de requête.Rows Removed by Columnar Filterindique le nombre de lignes filtrées en fonction de l'exécution vectorisée en colonnes.Columnar cache search modepeut êtrecolumnar filter only,nativeourow store scan. Le planificateur choisit automatiquement le mode de recherche en fonction de la capacité d'évaluation des coûts et du pushdown.
Lorsque le planificateur choisit le mode native, il transfère certains des opérateurs de colonnes vers l'analyse:
Rows Aggregated by Columnar Scanindique le nombre de lignes cumulées.Rows Sorted by Columnar Scanindique le nombre de lignes triées.Rows Limited by Columnar Scanliste le nombre limité de lignes analysées.
Avec les jointures, les opérateurs d'analyse en colonnes peuvent également utiliser le mode Late Materialization.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_shipmode, o_orderpriority
FROM orders, lineitem
WHERE o_orderkey = l_orderkey
AND l_shipmode in ('AIR', 'FOB')
AND l_receiptdate >= date '1995-01-01'
;
QUERY PLAN
-----------------------------------------------------------------------------
Hash Join (actual rows=9865288 loops=1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Buffers: temp read=127738 written=127738
-> Append (actual rows=9865288 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
Rows Removed by Columnar Filter: 50130592
Columnar cache search mode: native
-> Index Scan using idx_lineitem_orderkey_fkidx on lineitem
(never executed)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
-> Hash (actual rows=15000000 loops=1)
Buckets: 1048576 Batches: 32 Memory Usage: 37006kB
Buffers: temp written=83357
-> Append (actual rows=15000000 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=15000000
loops=1)
Rows Removed by Columnar Filter: 0
Columnar projection mode: late materialization
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Columnar projection mode peut être late materialization.
Les opérateurs de colonnes choisissent ce mode automatiquement lorsque le planificateur optimise la projection en différant la matérialisation de certaines valeurs de colonne.
Afficher des informations sur les tables avec des colonnes dans le magasin de colonnes
Vous pouvez afficher des informations sur les tables ou les vues matérialisées avec des colonnes dans le magasin de colonnes en interrogeant la vue g_columnar_relations.
SELECT * FROM g_columnar_relations; ┌─[ RECORD 1 ]────────┬───────────────────┐ │ relation_name │ tbl_parallel_test │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 581431259 │ │ columnar_unit_count │ 3 │ │ invalid_block_count │ 0 │ │ total_block_count │ 8337 │ ├─[ RECORD 2 ]────────┼───────────────────┤ │ relation_name │ lineitem │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 423224944 │ │ columnar_unit_count │ 29 │ │ invalid_block_count │ 0 │ │ total_block_count │ 115662 │ ├─[ RECORD 3 ]────────┼───────────────────┤
Afficher des informations sur les colonnes du magasin de colonnes
Vous pouvez afficher des informations sur les colonnes du magasin de colonnes en interrogeant la vue g_columnar_columns, y compris la taille de ces colonnes et la dernière heure d'accès.
SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;
Afficher les statistiques d'exécution du moteur de données en colonnes pour les requêtes récentes
Vous pouvez afficher les statistiques d'exécution du moteur en colonnes pour les requêtes récentes à l'aide de la vue g_columnar_stat_statements. Cette vue ajoute des statistiques de moteur en colonnes à la vue pg_stat_statements fournie par l'extension pg_stat_statements. Pour utiliser cette vue, vous devez d'abord activer l'extension pg_stat_statements.
- Activez l'extension
pg_stat_statements:CREATE EXTENSION pg_stat_statements;
- Exécutez les requêtes dont vous souhaitez afficher les statistiques.
Vous pouvez procéder manuellement ou laisser suffisamment de temps s'écouler pour que vos applications exécutent ces requêtes avec
pg_stat_statementsactivé. - Interrogez les vues
g_columnar_stat_statementsetpg_stat_statements. Notez que la requête suivante récupère toutes les statistiques d'exécution en colonnes, y compris celles collectées avant la création de l'extensionpg_stat_statements. La valeur10deuseridindique que les statistiques ont été collectées avant la création de l'extensionpg_stat_statements.SELECT * FROM pg_stat_statements(TRUE) AS pg_stats FULL JOIN g_columnar_stat_statements AS g_stats ON pg_stats.userid = g_stats.user_id AND pg_stats.dbid = g_stats.db_id AND pg_stats.queryid = g_stats.query_id WHERE columnar_unit_read > 0; ┌─[ RECORD 1 ]────────┬─────────────────────────────── │ userid │ 10 │ │ dbid │ 33004 │ │ queryid │ 6779068104316758833 │ │ query │ SELECT l_returnflag, ↵│ │ │ l_linestatus, ↵│ │ │ l_quantity, ↵│ │ │ l_extendedprice, ↵│ │ │ l_discount, ↵│ │ │ l_tax ↵│ │ │FROM lineitem ↵│ │ │WHERE l_shipdate <= date $1│ │ calls │ 1 │ │ total_time │ 299.969983 │ │ min_time │ 299.969983 │ │ max_time │ 299.969983 │ │ mean_time │ 299.969983 │ │ stddev_time │ 0 │ │ rows │ 392164 │ │ shared_blks_hit │ 0 │ │ shared_blks_read │ 0 │ │ shared_blks_dirtied │ 0 │ │ shared_blks_written │ 0 │ │ local_blks_hit │ 0 │ │ local_blks_read │ 0 │ │ local_blks_dirtied │ 0 │ │ local_blks_written │ 0 │ │ temp_blks_read │ 0 │ │ temp_blks_written │ 0 │ │ blk_read_time │ 0 │ │ blk_write_time │ 0 │ │ user_id │ 10 │ │ db_id │ 33004 │ │ query_id │ 6779068104316758833 │ │ columnar_unit_read │ 29 │ │ page_read │ 115662 │ │ rows_filtered │ 0 │ │ columnar_scan_time │ 0 │ └─────────────────────┴───────────────────────────────┘
Afficher l'utilisation de la mémoire de la colonne de stockage
Pour afficher la quantité de RAM inutilisée disponible pour le moteur à colonnes, vous pouvez interroger la fonction google_columnar_engine_memory_available. L'entier de sortie indique la mémoire disponible en mégaoctets (Mo).
SELECT google_columnar_engine_memory_available();
Afficher le cache de stockage du moteur de données en colonnes
Pour afficher et surveiller les données sur le cache de stockage du moteur de colonnes, vous pouvez appeler les fonctions suivantes:
| Fonction | Description |
|---|---|
google_columnar_engine_storage_cache_used |
Renvoie la taille du cache de stockage du moteur de données en colonnes utilisé. |
google_columnar_engine_storage_cache_available |
Renvoie la taille du cache de stockage du moteur de données en colonnes inutilisé. |
google_columnar_engine_storage_cache_total |
Renvoie la quantité totale de la taille configurée du cache de stockage pour le moteur de données en colonnes. |
L'exemple suivant montre comment interroger une fonction SQL utilisée pour afficher et surveiller les données sur le cache de stockage du moteur de colonnes:
SELECT SQL_FUNCTION;
Remplacez SQL_FUNCTION par le nom de la fonction de cache de stockage du moteur de colonnes que vous souhaitez utiliser dans le tableau précédent.