Présentation du moteur de données en colonnes

Sélectionnez une version de la documentation :

Cette page décrit le moteur de colonnes AlloyDB Omni et fournit des instructions sur son utilisation dans les installations de conteneurs et de clusters Kubernetes. Dans cette page, nous partons du principe que vous connaissez PostgreSQL.

Le moteur en colonnes AlloyDB Omni accélère le traitement des requêtes SQL pour les analyses, les jointures et les agrégations en fournissant les composants suivants :

  • Magasin de colonnes contenant des données de tables et de vues matérialisées pour les colonnes sélectionnées, réorganisées dans un format orienté colonnes.

  • Moteur d'exécution et planificateur de requêtes en colonnes qui permettent d'utiliser le column store dans les requêtes.

Vous pouvez utiliser le moteur en colonnes sur l'instance principale, une instance de pool de lecture ou les deux. Vous pouvez également utiliser l'auto-columnarisation pour analyser votre charge de travail et remplir automatiquement le column store avec les colonnes qui offrent le meilleur gain de performances.

Pour utiliser le moteur en colonnes avec une requête spécifique, toutes les colonnes référencées dans la requête, telles que les jointures et les analyses, doivent se trouver dans le magasin de colonnes.

Par défaut, le moteur columnar est configuré pour utiliser 1 Go de la mémoire de votre instance. En fonction de votre charge de travail, de l'utilisation de la mémoire et de la configuration d'un pool de lecture, vous pouvez choisir de réduire l'allocation de mémoire du moteur de colonnes sur votre instance principale et d'allouer plus de mémoire à l'instance du pool de lecture.

Pour afficher et surveiller l'utilisation de la mémoire par le moteur de colonnes, consultez Afficher l'utilisation de la mémoire du columnstore. Pour modifier la taille de la mémoire utilisée par le column store, consultez Configurer la taille du column store. Pour connaître la taille de mémoire recommandée pour le moteur de données en colonnes de votre instance, consultez Recommander la taille de la mémoire du column store.

Types de requêtes qui bénéficient du moteur de données en colonnes

Certaines requêtes peuvent bénéficier du moteur en colonnes. Voici une liste des opérations et de leurs modèles de requête qui bénéficient le plus du moteur en colonnes :

Opération Schémas de requête
Analyse de table Filtres sélectifs, tels que les clauses WHERE.
Petit nombre de colonnes d'une table ou d'une vue matérialisée plus grande.
Expressions telles que LIKE, SUBSTR ou TRIM.
Fonctions d'agrégation Seules les expressions telles que SUM, MIN, MAX, AVG et COUNT.
Au début de la requête d'une analyse par colonne.
Non groupé ou groupé par colonnes.
ORDER-BY Uniquement si l'opérateur se trouve au début de la requête d'analyse par colonne.
SORT Uniquement si l'opérateur se trouve au début de la requête d'analyse de colonne et qu'il effectue un tri uniquement sur les colonnes de base de la table ou de la vue matérialisée.
LIMIT Uniquement si l'opérateur se trouve au début de la requête d'une analyse de colonne et avant tout opérateur SORT ou GROUP BY.
INNER HASH JOIN Uniquement si les clés utilisées sont des colonnes et qu'aucun qualificatif de jointure n'est utilisé.
Jointures sélectives Uniquement si les jointures se trouvent au début de la requête d'une analyse par colonne.

Pour en savoir plus sur les requêtes qui fonctionnent le mieux avec le moteur en colonnes, sur l'utilisation du moteur en colonnes par une requête et sur la façon dont il a été utilisé, consultez Vérifier l'utilisation du moteur en colonnes avec EXPLAIN.

Utiliser le moteur de données en colonnes dans une instance AlloyDB Omni

Pour utiliser le moteur de données en colonnes dans une instance AlloyDB Omni, vous devez effectuer les étapes générales suivantes :

  1. Activez le moteur sur l'instance.

    L'activation du moteur est une opération ponctuelle qui nécessite de redémarrer la base de données.

  2. Ajoutez des colonnes au column store.

    Pour ajouter des colonnes au column store, utilisez l'une des méthodes suivantes :

  3. Vous pouvez suivre le contenu du column store à l'aide de la vue g_columnar_relations. Une fois les colonnes ajoutées, vous pouvez utiliser l'instruction EXPLAIN pour vérifier l'utilisation du moteur de colonnes dans les requêtes SQL.

Pour obtenir des instructions détaillées sur l'utilisation du moteur en colonnes, consultez Configurer le moteur en colonnes.

Données que vous pouvez ajouter au column store

Il existe certaines limites concernant les types de données et les sources de données que vous pouvez utiliser lorsque vous ajoutez des colonnes au column store.

Types de données acceptés

Le moteur de colonnes n'accepte que les colonnes comportant les types de données intégrés suivants :

  • array
  • bigint
  • boolean
  • bytea
  • char
  • date
  • decimal
  • double precision
  • enum
  • float4
  • float8
  • integer
  • json
  • jsonb
  • numeric
  • real
  • serial
  • short
  • smallint
  • text
  • timestamp
  • uuid
  • varchar

Le moteur en colonnes ignore toute tentative d'ajout manuel de colonnes avec des types de données non compatibles au column store.

Sources de données non compatibles

Le moteur en colonnes n'est pas compatible avec les tables ni les vues matérialisées dont les sources de données présentent les attributs suivants :

  • Tables partitionnées non feuilles

  • Tables étrangères

  • Tables ou vues comportant moins de 5 000 lignes

Limites du moteur de données en colonnes

  • Si vous exécutez une requête analytique sur une colonne comportant un index, l'optimiseur AlloyDB Omni peut choisir d'utiliser le row-store.
  • Les colonnes ajoutées manuellement au magasin de colonnes ne sont pas supprimées automatiquement. Pour forcer la suppression des colonnes ajoutées manuellement, utilisez google_columnar_engine_drop sur votre instance.
  • La columnarisation automatique peut ajouter et supprimer des colonnes de manière dynamique en fonction de l'utilisation des requêtes.
  • Le moteur de colonnes n'est pas compatible avec tous les types de données. Pour connaître les types de données acceptés, consultez Types de données acceptés.

  • Les mises à jour fréquentes des lignes invalident les données en colonnes. Pour valider une table ou une vue matérialisée dans le magasin de données en colonnes, vous pouvez réduire la fréquence de mise à jour ou planifier des actualisations plus fréquentes du moteur de données en colonnes.

    Vous pouvez comparer les colonnes invalid_block_count et total_block_count dans g_columnar_relations pour vérifier si votre tableau ou votre vue sont concernés. Si vous apportez fréquemment des modifications à votre tableau ou à votre vue, ou si ces modifications sont importantes, la valeur invalid_block_count sera élevée.

Étapes suivantes