Visão geral do mecanismo colunar do Spanner

Nesta página, você encontra uma visão geral do mecanismo colunar para Spanner e uma descrição de como usá-lo.

Os bancos de dados operacionais geralmente extraem, transformam e carregam (ETL) dados em um sistema OLAP para análise. Esse sistema geralmente faz parte de um data warehouse. Com o Data Boost, o Spanner já separa a computação analítica, o que garante a estabilidade transacional.

O mecanismo colunar é uma técnica de armazenamento usada por sistemas de análise para acelerar as verificações em comparação com as baseadas em lote. O mecanismo colunar do Spanner permite executar análises com desempenho significativamente melhorado nos dados operacionais mais recentes. O mecanismo colunar do Spanner aumenta o desempenho da verificação em até 200 vezes, eliminando a necessidade de ETL e mantendo a consistência forte.

O formato Ressi do Spanner usa um layout de coluna em atributos de partição em todos os (PAX) para verificações eficientes em um bloco de dados. No entanto, esse formato coloca todas as colunas de uma linha em um determinado bloco para pesquisas rápidas de linha única. Ao contrário do Ressi, o mecanismo colunar do Spanner dedica execuções de blocos a uma única coluna. Essa abordagem é mais eficiente para verificações sequenciais, já que o Spanner só precisa ler as colunas referenciadas na consulta.

O Spanner cria a representação colunar em segundo plano (como parte das compactações) e mescla automaticamente a representação com as atualizações mais recentes no momento da consulta para oferecer consistência forte. As consultas que não se beneficiam do armazenamento em colunas podem continuar usando o PAX.

As cargas de trabalho que se beneficiariam com o uso do mecanismo de colunas incluem:

  • Os relatórios operacionais extraem informações de business intelligence atualizadas a cada segundo dos dados operacionais mais recentes.
  • Forneceu painéis de análise avançados e detalhamentos personalizados com latência interativa.
  • A análise federada combina dados do Spanner e de outras fontes no BigQuery.

Os backups de instâncias do Spanner não incluem o formato colunar.

Práticas recomendadas para usar o mecanismo de colunas

Nesta seção, descrevemos as práticas recomendadas ao usar o mecanismo colunar.

Otimização de verificação grande

O mecanismo colunar otimiza consultas que verificam grandes quantidades de dados. Para varreduras de dados menores ou consultas com cláusulas LIMIT satisfeitas rapidamente, as varreduras baseadas em linhas podem ser mais eficientes.

Colunas essenciais

Se você usar SELECT *, o Spanner vai ler todas as colunas do armazenamento colunar. Para maximizar a performance, especifique apenas as colunas necessárias. Por exemplo, SELECT column1, column2 FROM ....

Identificação de gargalos de desempenho

O mecanismo colunar é eficaz para cargas de trabalho vinculadas à verificação. Para identificar uma carga de trabalho limitada por verificação, confira o plano de consulta e procure um nível de latência alto no nó Verificação de tabela. Se a consulta não estiver vinculada à verificação, priorize outras otimizações primeiro. O mecanismo colunar pode oferecer benefícios mais tarde se as otimizações tornarem a consulta limitada por verificação.

Cobertura ideal de colunas

Depois de ativar o mecanismo colunar em um banco de dados que já contém dados, o processo de compactação automática do Spanner converte os dados para armazenamento colunar de forma assíncrona em segundo plano. Para saber o quanto sua consulta se beneficia, verifique a porcentagem de compartilhamento de leitura colunar no plano de consulta.

Gerenciamento de dados de alta rotatividade

Altas taxas de gravação de atualizações ou inserções aleatórias podem afetar o desempenho do mecanismo colunar. As cargas de trabalho somente de anexação têm impacto mínimo ao usar o mecanismo colunar. A compactação é um processo em segundo plano, que geralmente é distribuído por vários dias, mas pode acontecer antes se o tamanho do banco de dados aumentar muito. Como alternativa, crie o esquema para favorecer gravações somente de anexação no nível da divisão. Para mais informações, consulte fragmentação de dados ordenados por carimbo de data/hora no Spanner.

Preços

O faturamento do mecanismo colunar do Spanner é baseado no uso do armazenamento. Depois que você ativa o mecanismo colunar do Spanner e o Spanner conclui a compactação de dados, o uso do armazenamento aumenta para incluir a nova representação colunar. O mecanismo colunar fornece métricas de armazenamento que permitem monitorar o impacto no armazenamento. Para mais informações, consulte Métricas de armazenamento de dados colunares.

O mecanismo colunar do Spanner não é afetado pelo overhead de 8 bytes por célula.

Limitações de visualização

  • É necessário usar dicas explícitas para ativar leituras de colunas em consultas feitas diretamente ao Spanner ou usando o BigQuery EXTERNAL_QUERY. Para mais informações, consulte Consultar dados em colunas.
  • O mecanismo colunar é compatível apenas com a interface GoogleSQL.
  • As verificações sem filtros seletivos podem ter menos melhorias.

A seguir