Visão geral do otimizador de consultas

Nesta página, descrevemos o otimizador de consultas do Spanner e os benefícios dele.

Visão geral

O otimizador de consulta SQL do Spanner converte uma instrução SQL declarativa, que descreve quais dados a consulta quer, em um plano de execução imperativo que descreve uma maneira de extrair esses dados com precisão. O processo de transformação de uma instrução declarativa em um plano de execução de consulta envolve a execução de transformações em estruturas de árvore usadas para representar a consulta. O otimizador, no processo de produção de um plano de execução, mantém o significado lógico da consulta SQL original para que as linhas corretas sejam retornadas.

Outra função importante do otimizador é produzir um plano de execução eficiente.

Como o otimizador do Spanner produz planos de execução eficientes?

O otimizador do Spanner usa uma combinação de heurística bem estabelecida e otimização baseada em custo para produzir planos eficientes. Algumas heurísticas são muito simples, como "executar filtros em máquinas remotas em vez de extrair dados para a máquina local". Outras heurísticas são mais complexas, mas ainda incorporam o princípio de mover a lógica que reduz o volume de dados mais perto dos dados. Esse princípio é particularmente importante em um sistema que fragmenta dados em várias máquinas.

Nem todas as decisões de execução podem ser tomadas de maneira eficaz usando essas regras fixas. Por isso, o otimizador do Spanner também toma decisões com base em um custo estimado de alternativas. Essas estimativas de custo são calculadas usando a estrutura da consulta, o esquema do banco de dados e as estimativas do volume de dados que serão produzidos pelos fragmentos da consulta. Por exemplo, o Spanner vai estimar quantas linhas da tabela "Songs" qualificam o filtro SongGenre = "Country" se ele aparecer em uma consulta. Para ajudar no cálculo dessas estimativas, o Spanner coleta periodicamente estatísticas para caracterizar a distribuição dos dados em um banco de dados.

Além disso, o Spanner otimiza a execução da consulta, determinando automaticamente se um método de processamento orientado por linha ou coluna deve ser usado para a consulta. Para saber mais, consulte Otimizar verificações.

Para saber mais sobre planos de execução de consulta e como eles são usados pelo Spanner para executar consultas em um ambiente distribuído, consulte Planos de execução de consulta.

Controle de versão do otimizador de consultas

Com o tempo, o otimizador de consultas do Spanner vai evoluir, ampliando o conjunto de opções no plano de execução de consulta e melhorando a precisão das estimativas que informam essas escolhas, levando a planos de execução de consulta mais eficientes.

O Spanner libera as atualizações do otimizador como novas versões do otimizador de consultas para melhorar a eficiência dos planos de execução de consulta. Para saber mais sobre as diferentes versões, consulte Versões do otimizador de consultas do Spanner.

Pacotes de estatísticas do otimizador de consultas

O Spanner mantém estatísticas sobre a distribuição de dados das colunas da tabela para ajudar a estimar quantas linhas serão produzidas por uma consulta. O otimizador de consultas usa essas estimativas para ajudar a escolher o melhor plano de execução de consulta. Essas estatísticas são atualizadas periodicamente pelo Spanner. Como as estatísticas são usadas para escolher planos de execução de consulta, quando as estatísticas são atualizadas, é possível que o Spanner altere o plano de consulta usado para uma consulta.

Por padrão, os bancos de dados automaticamente usam o pacote de estatísticas gerado mais recentemente. É possível fixar seu banco de dados a uma versão anterior do pacote de estatísticas. Você também tem a opção de executar consultas individuais com um pacote de estatísticas que não seja o mais recente.

Criar um novo pacote de estatísticas

O Spanner gera automaticamente novos pacotes de estatísticas a cada três dias. Para criar um novo pacote de estatísticas manualmente, use a instrução DDL ANALYZE do GoogleSQL ou a instrução DDL ANALYZE do PostgreSQL.

Após alterações significativas nos dados ou no esquema do banco de dados, a criação de um novo pacote de estatísticas pode melhorar o desempenho da consulta. Como prática recomendada, crie um novo pacote de estatísticas se ocorrer o seguinte:

  • O banco de dados processa uma grande quantidade de inserções, atualizações ou exclusões.
  • Você adiciona um novo índice ao banco de dados.
  • Você adiciona uma nova coluna a uma tabela.

Executar uma instrução DDL ANALYZE atualiza o esquema e inicia uma operação de longa duração.

Depois que o Spanner termina a execução da instrução, o otimizador de consultas leva até dez minutos para considerar um novo pacote de estatísticas no planejamento da consulta.

Coleta de lixo de pacotes de estatísticas

Os pacotes de estatísticas no Spanner são mantidos por um período de 30 dias desde a criação. Após esse período, eles estão sujeitos à coleta de lixo.

A tabela INFORMATION_SCHEMA.SPANNER_STATISTICS integrada do Spanner contém uma lista de pacotes de estatísticas disponíveis. Cada linha da tabela lista um pacote de estatísticas por nome, e o nome contém o carimbo de data/hora de criação do pacote. Cada entrada também contém um campo chamado ALLOW_GC, que define se um pacote pode ser coletado com lixo ou não.

É possível fixar todo o banco de dados em qualquer um dos pacotes listados nessa tabela. O pacote de estatísticas fixadas não será coletado como lixo e o valor de ALLOW_GC será ignorado, desde que o banco de dados esteja fixado nesse pacote. Para usar um pacote de estatísticas específico em uma consulta individual, ele precisa ser listado com ALLOW_GC=FALSE ou fixado. Isso evita que as consultas falhem depois que o pacote de estatísticas for coletado como lixo. É possível alterar o valor de ALLOW_GC usando a instrução DDL ALTER STATISTICS do GoogleSQL ou ALTER STATISTICS do PostgreSQL.

Retenção de pacotes e informações de identificação pessoal (PII)

Um pacote de estatísticas contém histogramas dos dados da coluna, de acordo com a prática padrão do setor. Isso ajuda o otimizador de consultas a selecionar os planos de consulta ideais. O histograma é construído usando uma pequena amostra de valores. Esse pequeno conjunto de dados pode conter PIIs.

O Spanner cria um novo pacote de estatísticas regularmente e o mantém por 30 dias por padrão. Assim, uma pequena amostra de valores excluídos do banco de dados pode ser retida por mais 30 dias em histogramas de estatísticas. Os pacotes de estatísticas fixados com a opção de banco de dados optimizer_statistics_package ou os pacotes com a opção ALLOW_GC=FALSE não serão coletados como lixo. Os histogramas nesses pacotes podem conter valores excluídos do banco de dados por um período mais longo. Além disso, o conteúdo dos pacotes de estatísticas está incluído nos backups do banco de dados.

As estatísticas do otimizador são armazenadas criptografadas da mesma forma que os dados do usuário.

A quantidade total de armazenamento necessária para esses pacotes geralmente é inferior a 100 MB e conta para os custos totais de armazenamento.

A seguir