Apache Hive

Esta página contém informações sobre como conectar o Looker ao Apache Hive 2.3+ e Apache Hive 3.1.2+.

Observações sobre o suporte do Looker para as diferentes versões do Apache Hive:

  • O Looker oferece suporte a conexões com o Apache Hive 2.3+ e Apache Hive 3.1.2+.
  • Para o Apache Hive 3.1.2+, o Looker pode se integrar totalmente aos bancos de dados do Apache Hive 3 somente nas versões posteriores à 3.1.2. Isso ocorre devido a um problema de análise de consulta nas versões 2.4.0 a 3.1.2 do Hive, que resultou em tempos de análise extremamente longos para SQL gerado pelo Looker.
  • O Looker não oferece suporte a conexões com o Apache Hive 2. As consultas em conexões com o Apache Hive 2 vão retornar um erro.

Como criptografar o tráfego de rede

É uma prática recomendada criptografar o tráfego de rede entre o aplicativo Looker e seu banco de dados. Considere uma das opções descritas na página de documentação Como ativar o acesso seguro ao banco de dados.

Introdução

O Looker foi projetado para se conectar a um servidor de banco de dados usando JDBC. No caso do Hive, é o servidor de rede (HiveServer2). Consulte a documentação do Apache para mais informações.

Por padrão, esse servidor escutará na porta 10000.

O Looker é uma ferramenta de consulta interativa, então ele espera trabalhar com um mecanismo SQL interativo. Se o Hive estiver em execução no MapReduce (hive.execution.engine estiver definido como mr), ele vai retornar os resultados da consulta muito lentamente para ser prático.

O Looker foi testado com o Hive no Tez (hive.execution.engine=tez), embora também seja possível executá-lo no Hive no Spark. O suporte a Spark foi adicionado na versão 1.1 do Hive. O Looker oferece suporte ao Hive 1.2.1+.

Tabelas derivadas persistentes (PDTs)

Para ativar as tabelas derivadas persistentes (PDTs, na sigla em inglês) no Looker usando uma conexão Hive, crie um esquema inicial para o Looker usar. Confira a seguir um exemplo de comando que pode ser usado para criar um esquema looker_scratch:

 CREATE SCHEMA looker_scratch;

A conta de usuário que o Looker usa para se conectar ao Hive (que pode ser anônima se nenhuma autenticação for usada) precisa ter as seguintes habilidades no esquema de scratch:

  • crie tabelas
  • Alterar tabelas
  • Tabelas de exclusão

Teste isso com um cliente JDBC antes de tentar criar PDTs com o Hive.

Filas

Se você quiser que as consultas do Looker sejam enviadas para uma fila específica, insira o parâmetro de nome da fila no campo Parâmetros JDBC adicionais na página Configurações de conexão:

?tez.queue.name=the_bi_queue

Outros parâmetros do Hive podem ser definidos dessa maneira no campo Parâmetros adicionais do JDBC na página Configurações de conexão.

Usando atributos de usuário, é possível que as consultas de diferentes usuários ou grupos de usuários entrem em filas diferentes. Para fazer isso, crie um atributo de usuário com o nome queue_name. Em seguida, no campo Additional JDBC parameters, adicione o seguinte:

?tez.queue.name={{ _user_attributes['queue_name'] }}

Você também pode usar isso para personalizar outros parâmetros hive-site.xml por usuário ou por grupo.

Como criar a conexão do Looker com seu banco de dados

Siga estas etapas para criar a conexão do Looker com seu banco de dados:

  1. Na seção Administrador do Looker, selecione Conexões e clique em Adicionar conexão.

  2. Selecione Apache Hive 2.3 ou mais ou Apache Hive 3.1.2 ou mais no menu suspenso Dialect.

  3. Preencher os detalhes de conexão. A maioria das configurações é comum à maioria dos dialetos de banco de dados. Consulte a página de documentação Como conectar o Looker ao seu banco de dados para mais informações. Algumas das configurações são descritas a seguir:

    • Nome: especifique o nome da conexão. É assim que você vai se referir à conexão nos projetos do LookML.
    • Host: especifique o nome do host.
    • Porta: especifique a porta do banco de dados.
    • Banco de dados: especifique o nome do banco de dados.
    • Nome de usuário: especifique o nome de usuário do banco de dados.
    • Senha: especifique a senha do usuário do banco de dados.
    • Ativar TDPs: use esse botão para ativar as tabelas derivadas persistentes. Quando os TDPs estão ativados, a janela Conexão mostra outras configurações de TDP e a seção Substituições de TDP.
    • Banco de dados temporário: especifique o nome do esquema de rascunho criado na seção Tabelas derivadas permanentes (PDTs) desta página de documentação.
    • Número máximo de conexões do criador de TDP: especifique o número de builds de TDP simultâneos possíveis nessa conexão. Definir um valor muito alto pode afetar negativamente os tempos de consulta. Para mais informações, consulte a página de documentação Como conectar o Looker ao banco de dados.
    • Outros parâmetros do JDBC: especifique outros parâmetros de string do JDBC.
    • Programação de manutenção de grupos de dados e PDT: especifique uma expressão cron que indique quando o Looker precisa verificar grupos de dados e tabelas derivadas persistentes. Documentação Programação de manutenção de PDT e Datagroup.
    • SSL: marque essa opção para usar conexões SSL.
    • Verificar SSL: confira a verificação do nome do host.
    • Conexões máximas por nó: essa configuração pode ser deixada com o valor padrão inicialmente. Consulte a página de documentação Como conectar o Looker ao seu banco de dados para mais informações.
    • Tempo limite do pool de conexões: essa configuração pode ser deixada com o valor padrão inicialmente. Leia mais sobre essa configuração na seção Connection Pool Timeout da página de documentação Como conectar o Looker ao seu banco de dados.
    • Pré-cache do SQL Runner: desmarque essa opção para que o SQL Runner não carregue informações de tabelas antes do tempo e apenas quando uma tabela for selecionada. Leia mais sobre essa configuração na seção Precache do SQL Runner da página de documentação Como conectar o Looker ao seu banco de dados.
    • Fuso horário do banco de dados: especifique o fuso horário usado no banco de dados. Deixe este campo em branco se você não quiser a conversão de fuso horário. Para mais informações, consulte a página de documentação Como usar configurações de fuso horário.

  4. Para verificar se a conexão foi bem-sucedida, clique em Testar. Consulte a página de documentação Como testar a conectividade do banco de dados para informações sobre solução de problemas.

  5. Para salvar essas configurações, clique em Conectar.

Suporte a recursos

Para que o Looker ofereça suporte a alguns recursos, o dialeto do banco de dados também precisa ser compatível com eles.

Apache Hive 2.3 ou mais recente

O Apache Hive 2.3+ oferece suporte aos seguintes recursos a partir do Looker 24.16:

Recurso Compatível?
Nível de suporte
Integração
Looker (Google Cloud Core)
Não
Agregações simétricas
Não
Tabelas derivadas
Sim
Tabelas derivadas de SQL persistentes
Sim
Tabelas derivadas nativas nativas
Sim
Visualizações estáveis
Sim
Eliminação de consultas
Sim
Dinâmicas baseadas em SQL
Não
Fusos horários
Sim
SSL
Sim
Subtotais
Sim
Parâmetros adicionais do JDBC
Sim
Diferenciar maiúsculas e minúsculas
Sim
Tipo de local
Sim
Tipo de lista
Sim
Percentil
Sim
Percentil distinto
Não
Processos de exibição do SQL Runner
Não
Tabela de descrição do SQL Runner
Sim
Índices de exibição do SQL Runner
Sim
SQL Runner Select 10
Sim
Contagem de executores do SQL
Sim
SQL Explain
Sim
Credenciais do OAuth
Não
Comentários de contexto
Sim
Pool de conexões
Não
Esboços HLL
Não
Agregar reconhecimento
Sim
PDTs incrementais
Não
Milissegundos
Sim
Microssegundos
Sim
Visualizações materializadas
Não
Contagem aproximada de valores distintos
Não

Apache Hive 3.1.2 ou posterior

O Apache Hive 3.1.2 e versões mais recentes oferece suporte aos seguintes recursos a partir do Looker 24.16:

Recurso Compatível?
Nível de suporte
Compatível
Looker (Google Cloud Core)
Sim
Agregações simétricas
Não
Tabelas derivadas
Sim
Tabelas derivadas de SQL persistentes
Sim
Tabelas derivadas nativas nativas
Sim
Visualizações estáveis
Sim
Eliminação de consultas
Sim
Dinâmicas baseadas em SQL
Não
Fusos horários
Sim
SSL
Sim
Subtotais
Sim
Parâmetros adicionais do JDBC
Sim
Diferenciar maiúsculas e minúsculas
Sim
Tipo de local
Sim
Tipo de lista
Sim
Percentil
Sim
Percentil distinto
Não
Processos de exibição do SQL Runner
Não
Tabela de descrição do SQL Runner
Sim
Índices de exibição do SQL Runner
Não
SQL Runner Select 10
Sim
Contagem de executores do SQL
Sim
SQL Explain
Sim
Credenciais do OAuth
Não
Comentários de contexto
Sim
Pool de conexões
Não
Esboços HLL
Não
Agregar reconhecimento
Sim
PDTs incrementais
Não
Milissegundos
Sim
Microssegundos
Sim
Visualizações materializadas
Não
Contagem aproximada de valores distintos
Não

Próximas etapas

Depois de conectar seu banco de dados ao Looker, configure as opções de login para os usuários.