Vista geral do motor colunar do Spanner

Esta página oferece uma vista geral do motor de colunas para o Spanner e descreve como usá-lo.

As bases de dados operacionais extraem, transformam e carregam (ETL) dados num sistema OLAP para análise. Este sistema faz frequentemente parte de um armazém de dados. Com o Data Boost, o Spanner já separa a computação analítica, o que garante a estabilidade transacional.

O motor de colunas é uma técnica de armazenamento que os sistemas de estatísticas usam para acelerar as análises em comparação com as análises baseadas em lotes. O motor de colunas do Spanner permite-lhe executar análises com um desempenho significativamente melhorado nos dados operacionais mais recentes. O motor colunar do Spanner aumenta o desempenho da análise até 200 vezes, eliminando a necessidade de ETL e mantendo uma forte consistência.

O formato Ressi do Spanner usa um esquema de colunas em todos os atributos de partição (PAX) para fazer análises eficientes num bloco de dados. No entanto, este formato coloca todas as colunas de uma linha num determinado bloco para pesquisas rápidas de linhas únicas. Ao contrário do Ressi, o motor de colunas do Spanner dedica execuções de blocos a uma única coluna. Esta abordagem é mais eficiente para as análises sequenciais, uma vez que o Spanner só precisa de ler as colunas referenciadas na consulta.

O Spanner cria a representação em colunas em segundo plano (como parte das compactações) e une automaticamente a representação com as atualizações mais recentes no momento da consulta para fornecer uma consistência forte. As consultas que não beneficiariam do armazenamento em colunas podem continuar a usar o formato PAX.

As cargas de trabalho que beneficiariam da utilização do motor de colunas incluem o seguinte:

  • Extraia relatórios operacionais com informações empresariais atualizadas a cada segundo a partir dos dados operacionais mais recentes.
  • As estatísticas publicadas alimentam os painéis de controlo e as análises detalhadas personalizadas com latência interativa.
  • A análise federada combina perfeitamente dados do Spanner e de outras origens no BigQuery.

As cópias de segurança da instância do Spanner não incluem o formato colunar.

Práticas recomendadas para usar o motor de colunas

Esta secção descreve as práticas recomendadas quando usa o motor de colunas.

Otimização de análises grandes

O motor de colunas otimiza as consultas que analisam grandes quantidades de dados. Para consultas ou análises de dados mais pequenas com cláusulas LIMIT satisfeitas rapidamente, as análises baseadas em linhas podem ser mais eficientes.

Colunas essenciais

Se usar SELECT *, o Spanner lê todas as colunas do armazenamento colunar. Para maximizar o desempenho, especifique apenas as colunas necessárias. Por exemplo, SELECT column1, column2 FROM ....

Identificação de restrições de desempenho

O motor de colunas é eficaz para cargas de trabalho limitadas pela leitura. Para identificar uma carga de trabalho limitada pela análise, verifique o plano de consulta para um nível de latência elevado no nó Análise da tabela. Se a sua consulta não estiver associada a uma leitura, priorize outras otimizações primeiro. O motor de colunas pode oferecer vantagens mais tarde se as suas otimizações tornarem a consulta limitada à análise.

Cobertura colunar ideal

Depois de ativar o motor de colunas numa base de dados que já contenha dados, o processo de compactação automático do Spanner converte os dados em armazenamento de colunas de forma assíncrona em segundo plano. Para ver o quanto a sua consulta beneficia, verifique a percentagem de partilha de leitura colunar no plano de consulta.

Gestão de dados de elevada taxa de abandono

As taxas de gravação elevadas de atualizações ou inserções aleatórias podem afetar o desempenho do motor de colunas. As cargas de trabalho apenas de anexação têm um impacto mínimo com a utilização do motor colunar. A compactação é um processo em segundo plano que, normalmente, se distribui por vários dias, mas pode ocorrer mais cedo se o tamanho da base de dados aumentar substancialmente. Em alternativa, crie o esquema para favorecer as escritas apenas de anexação ao nível da divisão. Para mais informações, consulte o artigo sobre a divisão de dados ordenados por data/hora no Spanner.

Preços

A faturação do motor de colunas do Spanner baseia-se na utilização do armazenamento. Depois de ativar o motor colunar do Spanner e o Spanner concluir a compactação de dados, a utilização do armazenamento aumenta para incluir a nova representação colunar. O motor de colunas fornece métricas de armazenamento que lhe permitem monitorizar o impacto no armazenamento. Para mais informações, consulte o artigo Métricas de armazenamento de dados em colunas.

O motor colunar do Spanner não é afetado pela sobrecarga de 8 bytes por célula.

Limitações da pré-visualização

  • Tem de usar sugestões explícitas para ativar as leituras em colunas para consultas que faz diretamente ao Spanner ou através do BigQueryEXTERNAL_QUERY. Para mais informações, consulte o artigo Consultar dados em colunas.
  • O motor de colunas só suporta a interface GoogleSQL.
  • As análises que não têm filtros seletivos podem observar uma melhoria menor.

O que se segue?