Visão geral do otimizador de consultas

Nesta página, descrevemos o otimizador de consultas do Spanner e os benefícios dele.

Visão geral

O otimizador consulta SQL do Spanner converte uma instrução SQL declarativa, que descreve quais dados a consulta quer, em um plano de execução imperativo, que descreve uma maneira de conseguir esses dados com precisão. O processo de transformação de uma declaração declarativa em um plano de execução de consulta envolve a realização de transformações em estruturas de árvore usadas para representar a consulta. O otimizador, no processo de produção de um plano de execução, mantém o significado lógico da consulta SQL original para que as linhas corretas sejam retornadas.

Outra função importante do otimizador é produzir um plano de execução eficiente.

Como o otimizador do Spanner produz planos de execução eficientes?

O otimizador do Spanner usa uma combinação de heurísticas bem estabelecidas e otimização com base no custo para criar planos eficientes. Algumas heurísticas são muito simples, como "executar filtros em máquinas remotas em vez de para a máquina local". Outras heurísticas são mais complexas, mas ainda incorporam o princípio de mover a lógica que reduz o volume de dados mais perto dos dados. Esse princípio é particularmente importante em um sistema que fragmenta dados em várias máquinas.

Nem todas as decisões de execução podem ser tomadas de forma eficaz usando essas regras fixas. Portanto, O otimizador do Spanner também toma decisões com base em um custo das alternativas. Essas estimativas de custo são calculadas usando a estrutura de consulta, o esquema do banco de dados e as estimativas do volume de dados que será produzido por fragmentos da consulta. Por exemplo, o Spanner vai estimar quantas linhas da tabela "Songs" qualificam o filtro SongGenre = "Country", se esse filtro aparece em uma consulta. Para ajudar no cálculo dessas estimativas, o Spanner coleta periodicamente estatísticas para caracterizar a distribuição dos dados em um banco de dados.

Além disso, o Spanner otimiza a execução de consultas automaticamente determinar se um método de processamento orientado por linhas ou colunas deve ser usado para na consulta. Para mais informações, consulte Otimizar verificações.

Para saber mais sobre os planos de execução de consulta e como eles são usados pelo Spanner para realizar consultas em um ambiente distribuído, consulte Planos de execução de consulta.

Controle de versão do otimizador de consultas

Com o tempo, o otimizador de consultas do Spanner vai evoluir, ampliando o conjunto de opções no plano de execução de consulta e melhorando a precisão das estimativas que informam essas escolhas, levando a planos de execução de consulta mais eficientes.

O Spanner lança atualizações do otimizador como novas versões do otimizador de consultas para melhorar a eficiência dos planos de execução de consultas. Para saber mais sobre as diferentes versões, consulte Versões do otimizador de consultas do Spanner.

Pacotes de estatísticas do otimizador de consultas

O Spanner mantém estatísticas sobre a distribuição de dados da tabela colunas para ajudar a estimar quantas linhas serão produzidas por uma consulta. O otimizador de consultas usa essas estimativas para ajudar a escolher o melhor plano de execução de consulta. Essas estatísticas são atualizadas periodicamente pelo Spanner. Como as estatísticas são usadas para escolher planos de execução de consulta, quando as estatísticas são atualizadas, é possível que o Spanner mude o plano de consulta usado para uma consulta.

Por padrão, os bancos de dados automaticamente usam o pacote de estatísticas gerado mais recentemente. É possível fixar seu banco de dados a uma versão anterior do pacote de estatísticas. Você também tem a opção de executar consultas individuais com um pacote de estatísticas que não seja o mais recente.

Criar um novo pacote de estatísticas

O Spanner gera automaticamente novos pacotes de estatísticas a cada três dias. Para criar um novo pacote de estatísticas manualmente, use a instrução DDL ANALYZE do GoogleSQL ou a instrução DDL ANALYZE do PostgreSQL.

Depois de mudanças significativas nos dados ou no esquema do banco de dados, a criação de um novo pacote de estatísticas pode beneficiar a performance da consulta. Como prática recomendada, construa um novo pacote de estatísticas se ocorrer o seguinte:

  • O banco de dados processa uma grande quantidade de inserções, atualizações ou exclusões.
  • Você adiciona um novo índice ao banco de dados.
  • Você adiciona uma nova coluna a uma tabela.

Executar uma instrução DDL ANALYZE atualiza seu esquema, inicia uma operação de longa duração e cancela a criação de estatísticas acionadas automaticamente.

Depois que o Spanner termina de executar a instrução, leva até 10 minutos para o otimizador de consultas considerar um novo pacote de estatísticas na sua no planejamento de consultas.

Coleta de lixo de pacotes de estatísticas

Os pacotes de estatísticas no Spanner são mantidos por um período de 30 dias, da criação, ficando sujeitos à coleta de lixo.

A tabela integrada INFORMATION_SCHEMA.SPANNER_STATISTICS do Spanner contém uma lista de pacotes de estatísticas disponíveis. Cada linha da tabela lista um pacote de estatísticas por nome, e o nome contém o carimbo de data/hora de criação do pacote. Cada entrada também contém um campo chamado ALLOW_GC, que define se um pacote pode ser coletado com lixo ou não.

É possível fixar todo o banco de dados em qualquer um dos pacotes listados nessa tabela. O pacote de estatísticas fixadas não será coletado como lixo e o valor de ALLOW_GC será ignorado, desde que o banco de dados esteja fixado nesse pacote. Para usar um pacote de estatísticas específico em uma consulta individual, ele precisa ser listado com ALLOW_GC=FALSE ou fixado. Isso impede que as consultas falhem depois que o pacote de estatísticas é coletado como lixo. É possível mudar o valor de ALLOW_GC usando a instrução DDL ALTER STATISTICS do GoogleSQL ou ALTER STATISTICS do PostgreSQL.

Retenção de pacotes e informações de identificação pessoal (PII)

Um pacote de estatísticas contém histogramas dos dados da coluna, de acordo com a prática padrão do setor. Isso ajuda o otimizador de consultas a selecionar os planos de consulta ideais. O histograma é construído usando uma pequena amostra de valores. Esse pequeno conjunto de dados pode conter PIIs.

O Spanner cria um novo pacote de estatísticas regularmente e o mantém por 30 dias, por padrão. Assim, uma pequena amostra dos valores excluídos o banco de dados pode ser retido por mais 30 dias em histogramas estatísticos. Pacotes de estatísticas fixados com a opção de banco de dados optimizer_statistics_package ou pacotes com a opção ALLOW_GC=FALSE não serão coletados como lixo. Os histogramas desses pacotes podem conter valores excluídos do banco de dados por um período mais longo. Além disso, o conteúdo dos pacotes de estatísticas é incluído nos backups do banco de dados.

As estatísticas do otimizador são armazenadas criptografadas da mesma forma que os dados do usuário.

A quantidade total de armazenamento necessária para esses pacotes geralmente é inferior a 100 MB. Ela é contabilizada no total de custos de armazenamento.

A seguir