Visão geral do otimizador de consultas

Nesta página, descrevemos o otimizador de consultas do Spanner e os benefícios dele.

Visão geral

O otimizador de consulta SQL do Spanner converte uma instrução SQL declarativa, que descreve quais dados a consulta quer, em um plano de execução imperativo que descreve uma maneira de conseguir esses dados com precisão. O processo de transformação de uma instrução declarativa em um plano de execução de consulta envolve transformar as transformações em estruturas de árvore usadas para representar a consulta. O otimizador, no processo de produção de um plano de execução, mantém o significado lógico da consulta SQL original para que as linhas corretas sejam retornadas.

Outro papel importante do otimizador é produzir um plano de execução eficiente.

Como o otimizador do Spanner produz planos de execução eficientes?

O otimizador do Spanner usa uma combinação de heurística bem estabelecida e otimização baseada em custo para produzir planos eficientes. Algumas heurísticas são muito diretas, como "executar filtros em máquinas remotas em vez de extrair dados para a máquina local". Outras heurísticas são mais complexas, mas ainda incorporam o princípio de mover a lógica que reduz o volume de dados mais perto dos dados. Esse princípio é particularmente importante em um sistema que fragmenta dados em várias máquinas.

Nem todas as decisões de execução podem ser tomadas de maneira eficaz usando essas regras fixas. Portanto, o otimizador do Spanner também toma decisões com base em um custo estimado das alternativas. Essas estimativas de custo são calculadas usando a estrutura da consulta, o esquema do banco de dados e as estimativas do volume de dados que serão produzidos pelos fragmentos da consulta. Por exemplo, o Spanner estima quantas linhas da tabela "Songs" qualificam o filtro SongGenre = "Country" se ele aparecer em uma consulta. Para ajudar no cálculo dessas estimativas, o Spanner coleta periodicamente estatísticas para caracterizar a distribuição dos dados em um banco de dados.

Além disso, o Spanner otimiza a execução da consulta ao determinar automaticamente se um método de processamento orientado por linha ou coluna deve ser usado para a consulta. Para mais informações, consulte Verificações do Optimize.

Para saber mais sobre os planos de execução de consulta e como eles são usados pelo Spanner para realizar consultas em um ambiente distribuído, consulte Planos de execução de consulta.

Controle de versão do otimizador de consultas

Com o tempo, o otimizador de consultas do Spanner evoluirá, ampliando o conjunto de opções no plano de execução de consulta e melhorando a precisão das estimativas que informam essas escolhas, levando a planos de execução de consultas mais eficientes.

O Spanner libera atualizações do otimizador como novas versões do otimizador de consultas para melhorar a eficiência dos planos de execução de consulta. Para saber mais sobre as diferentes versões, consulte Versões do otimizador de consultas do Spanner.

Pacotes de estatísticas do otimizador de consultas

O Spanner mantém estatísticas sobre a distribuição de dados das colunas da tabela para ajudar a estimar quantas linhas serão produzidas por uma consulta. O otimizador de consultas usa essas estimativas para ajudar a escolher o melhor plano de execução de consulta. Essas estatísticas são atualizadas periodicamente pelo Spanner. Como as estatísticas são usadas para escolher planos de execução de consulta, quando as estatísticas são atualizadas, é possível para o Spanner alterar o plano de consulta usado para uma consulta.

Por padrão, os bancos de dados automaticamente usam o pacote de estatísticas gerado mais recentemente. É possível fixar seu banco de dados a uma versão anterior do pacote de estatísticas. Você também tem a opção de executar consultas individuais com um pacote de estatísticas que não seja o mais recente.

Criar um novo pacote de estatísticas

O Spanner gera novos pacotes de estatísticas automaticamente a cada três dias. Para criar um novo pacote de estatísticas manualmente, use a instrução DDL ANALYZE do GoogleSQL ou a instrução DDL ANALYZE do PostgreSQL.

Após alterações significativas nos dados ou no esquema do banco de dados, a criação de um novo pacote de estatísticas pode beneficiar o desempenho da consulta. Como prática recomendada, crie um novo pacote de estatísticas se ocorrer o seguinte:

  • O banco de dados processa uma grande quantidade de inserções, atualizações ou exclusões.
  • Você adiciona um novo índice ao banco de dados.
  • Você adiciona uma nova coluna a uma tabela.

A execução de uma instrução DDL ANALYZE atualiza seu esquema e inicia uma operação de longa duração.

Depois que o Spanner termina de executar a instrução, o otimizador de consultas leva até dez minutos para contabilizar um novo pacote de estatísticas no planejamento da consulta.

Coleta de lixo de pacotes de estatísticas

Os pacotes de estatísticas no Spanner são mantidos por um período de 30 dias a partir da criação. Depois disso, eles ficam sujeitos à coleta de lixo.

A tabela INFORMATION_SCHEMA.SPANNER_STATISTICS integrada do Spanner contém uma lista de pacotes de estatísticas disponíveis. Cada linha da tabela lista um pacote de estatísticas por nome, e o nome contém o carimbo de data/hora de criação do pacote. Cada entrada também contém um campo chamado ALLOW_GC, que define se um pacote pode ser coletado com lixo ou não.

É possível fixar todo o banco de dados em qualquer um dos pacotes listados nessa tabela. O pacote de estatísticas fixadas não será coletado como lixo e o valor de ALLOW_GC será ignorado, desde que o banco de dados esteja fixado nesse pacote. Para usar um pacote de estatísticas específico em uma consulta individual, ele precisa ser listado com ALLOW_GC=FALSE ou fixado. Isso evita que as consultas falhem depois que o pacote de estatísticas foi coletado da lixeira. É possível alterar o valor de ALLOW_GC usando a instrução DDL do GoogleSQL ALTER STATISTICS ou ALTER STATISTICS do PostgreSQL.

Retenção de pacotes e informações de identificação pessoal (PII)

Um pacote de estatísticas contém histogramas dos dados da coluna, de acordo com a prática padrão do setor. Isso ajuda o otimizador de consultas a selecionar os planos de consulta ideais. O histograma é construído usando uma pequena amostra de valores. Esse pequeno conjunto de dados pode conter PIIs.

O Spanner cria um novo pacote de estatísticas regularmente e o mantém por 30 dias por padrão. Assim, uma pequena amostra de valores excluídos do banco de dados pode ser retida por mais 30 dias em histogramas estatísticos. Os pacotes de estatísticas fixados com a opção de banco de dados optimizer_statistics_package ou com a opção ALLOW_GC=FALSE não serão coletados como lixo. Os histogramas nesses pacotes podem conter valores excluídos do banco de dados por um período mais longo. Além disso, o conteúdo de pacotes de estatísticas está incluído em backups do banco de dados.

As estatísticas do otimizador são armazenadas criptografadas da mesma forma que os dados do usuário.

A quantidade total de armazenamento necessária para esses pacotes geralmente é menor que 100 MB e é contabilizada nos custos totais de armazenamento.

A seguir