Apache Hive

Esta página contém informações sobre como conectar o Looker ao Apache Hive 2.3+ e Apache Hive 3.1.2+.

Observações sobre o suporte do Looker para as diferentes versões do Apache Hive:

  • O Looker oferece suporte a conexões com o Apache Hive 2.3+ e Apache Hive 3.1.2+.
  • Para o Apache Hive 3.1.2+, o Looker pode se integrar totalmente aos bancos de dados do Apache Hive 3 somente nas versões posteriores à 3.1.2. Isso se deve a um problema de análise de consulta das versões 2.4.0 a 3.1.2 do Hive, que resultou em tempos de análise extremamente longos para o SQL gerado pelo Looker.
  • O Looker não oferece suporte a conexões com o Apache Hive 2. As consultas em conexões com o Apache Hive 2 retornarão um erro.

Como criptografar o tráfego de rede

É uma prática recomendada criptografar o tráfego de rede entre o aplicativo Looker e seu banco de dados. Considere uma das opções descritas na página de documentação Como ativar o acesso seguro ao banco de dados.

Introdução

O Looker foi projetado para se conectar a um servidor de banco de dados usando JDBC. No caso do Hive, é o servidor de rede (HiveServer2). Consulte a documentação do Apache para mais informações.

Por padrão, esse servidor escutará na porta 10000.

O Looker é uma ferramenta de consulta interativa, então ele espera trabalhar com um mecanismo SQL interativo. Se o Hive estiver em execução no MapReduce e hive.execution.engine estiver definido como mr, o Hive retornará os resultados da consulta muito lentamente para não ser prático.

O Looker foi testado com o Hive no Tez (hive.execution.engine=tez), embora também seja possível executá-lo no Hive no Spark. O suporte a Spark foi adicionado na versão 1.1 do Hive. O Looker oferece suporte ao Hive 1.2.1+.

Tabelas derivadas persistentes (PDTs)

Para ativar as tabelas derivadas persistentes (PDTs) no Looker usando uma conexão do Hive, crie um esquema inicial para o Looker. Confira a seguir um exemplo de comando que pode ser usado para criar um esquema looker_scratch:

 CREATE SCHEMA looker_scratch;

A conta de usuário que o Looker usa para se conectar ao Hive (que pode ser anônima se nenhuma autenticação for usada) precisa ter as seguintes capacidades no esquema de rascunho:

  • crie tabelas
  • Alterar tabelas
  • Remover tabelas

Teste isso com um cliente JDBC antes de tentar criar PDTs com o Hive.

Filas

Se você quiser que as consultas do Looker entrem em uma fila específica, insira o parâmetro de nome da fila no campo Outros parâmetros do JDBC na página Configurações de conexão:

?tez.queue.name=the_bi_queue

Outros parâmetros do Hive podem ser definidos dessa maneira no campo Parâmetros adicionais do JDBC na página Configurações de conexão.

Usando atributos de usuário, é possível que as consultas de diferentes usuários ou grupos de usuários entrem em filas diferentes. Para fazer isso, crie um atributo de usuário com o nome queue_name. Em seguida, no campo Additional JDBC parameters, adicione o seguinte:

?tez.queue.name={{ _user_attributes['queue_name'] }}

Você também pode usar isso para personalizar outros parâmetros hive-site.xml por usuário ou por grupo.

Como criar a conexão do Looker com seu banco de dados

Siga estas etapas para criar a conexão do Looker com seu banco de dados:

  1. Na seção Administrador do Looker, selecione Conexões e clique em Adicionar conexão.

  2. Selecione Apache Hive 2.3+ ou Apache Hive 3.1.2+ no menu suspenso Dialeto.

  3. Preencher os detalhes de conexão. A maioria das configurações é comum à maioria dos dialetos de banco de dados. Consulte a página de documentação Como conectar o Looker ao banco de dados para mais informações. Algumas das configurações são descritas a seguir:

    • Nome: especifique o nome da conexão. É assim que você vai se referir à conexão nos projetos do LookML.
    • Host: especifique o nome do host.
    • Porta: especifique a porta do banco de dados.
    • Banco de dados: especifique o nome do banco de dados.
    • Nome de usuário: especifique o nome de usuário do banco de dados.
    • Senha: especifique a senha do usuário do banco de dados.
    • Ativar TDPs: use esse botão para ativar as tabelas derivadas persistentes. Quando as TDPs são ativadas, a janela Conexão revela outras configurações de TDP e a seção Substituições de TDP.
    • Banco de dados temporário: especifique o nome do esquema de rascunho criado na seção Tabelas derivadas permanentes (PDTs) desta página de documentação.
    • Número máximo de conexões do criador de TDP: especifique o número de possíveis builds de TDP simultâneas na conexão. Definir um valor muito alto pode afetar negativamente os tempos de consulta. Para mais informações, consulte a página de documentação Como conectar o Looker ao banco de dados.
    • Outros parâmetros do JDBC: especifique outros parâmetros de string do JDBC.
    • Programação de manutenção de PDT e grupo de dados: especifique uma expressão cron que indique quando o Looker deve verificar grupos de dados e tabelas derivadas persistentes. Documentação Programação de manutenção de PDT e Datagroup.
    • SSL: marque essa opção para usar conexões SSL.
    • Verificar SSL: confira a verificação do nome do host.
    • Máximo de conexões por nó: essa configuração pode ser deixada no valor padrão inicialmente. Consulte a página de documentação Como conectar o Looker ao banco de dados para mais informações.
    • Tempo limite do pool de conexão: essa configuração pode ser deixada com o valor padrão inicialmente. Leia mais sobre essa configuração na seção Tempo limite do pool de conexão da página de documentação Como conectar o Looker ao banco de dados.
    • Pré-cache do SQL Runner: para fazer com que o SQL Runner não pré-carregue informações da tabela e carregue informações da tabela apenas quando uma tabela estiver selecionada, desmarque esta opção. Saiba mais sobre essa configuração na seção Pré-cache do SQL Runner da página de documentação Como conectar o Looker ao banco de dados.
    • Fuso horário do banco de dados: especifique o fuso horário usado no banco de dados. Deixe este campo em branco se não quiser a conversão de fuso horário. Para mais informações, consulte a página de documentação Como usar configurações de fuso horário.

  4. Para verificar se a conexão foi bem-sucedida, clique em Testar. Consulte a página de documentação Como testar a conectividade do banco de dados para informações sobre solução de problemas.

  5. Para salvar essas configurações, clique em Conectar.

Suporte a recursos

Para que o Looker ofereça suporte a alguns recursos, o dialeto do banco de dados também precisa ser compatível com eles.

Apache Hive 2.3 ou superior

O Apache Hive 2.3+ oferece suporte aos seguintes recursos a partir do Looker 24.10:

Engenharia de Compatível?
Nível do suporte
Integração
Looker (Google Cloud Core)
No
Agregações simétricas
No
Tabelas derivadas
Sim
Tabelas derivadas de SQL persistentes
Sim
Tabelas derivadas nativas nativas
Sim
Visualizações estáveis
Sim
Eliminação de consultas
Sim
Dinâmicas baseadas em SQL
No
Fusos horários
Sim
SSL
Sim
Subtotais
Sim
Parâmetros adicionais do JDBC
Sim
Diferenciar maiúsculas e minúsculas
Sim
Tipo de local
Sim
Tipo de lista
Sim
Percentil
Sim
Percentil distinto
No
Processos de exibição do SQL Runner
No
Tabela de descrição do executor do SQL
Sim
Mostrar índices do SQL Runner
Sim
Seleção do SQL Runner 10
Sim
Contagem de executores do SQL
Sim
Explicação do SQL
Sim
Credenciais OAuth
No
Comentários de contexto
Sim
Pool de conexão
No
Esboços do HLL
No
Agregar reconhecimento
Sim
TDPs incrementais
No
Milissegundos
Sim
Microssegundos
Sim
Visualizações materializadas
No
Contagem aproximada diferente
No

Apache Hive 3.1.2 ou posterior

O Apache Hive 3.1.2+ oferece suporte aos seguintes recursos a partir do Looker 24.10:

Engenharia de Compatível?
Nível do suporte
Compatível
Looker (Google Cloud Core)
Sim
Agregações simétricas
No
Tabelas derivadas
Sim
Tabelas derivadas de SQL persistentes
Sim
Tabelas derivadas nativas nativas
Sim
Visualizações estáveis
Sim
Eliminação de consultas
Sim
Dinâmicas baseadas em SQL
No
Fusos horários
Sim
SSL
Sim
Subtotais
Sim
Parâmetros adicionais do JDBC
Sim
Diferenciar maiúsculas e minúsculas
Sim
Tipo de local
Sim
Tipo de lista
Sim
Percentil
Sim
Percentil distinto
No
Processos de exibição do SQL Runner
No
Tabela de descrição do executor do SQL
Sim
Mostrar índices do SQL Runner
No
Seleção do SQL Runner 10
Sim
Contagem de executores do SQL
Sim
Explicação do SQL
Sim
Credenciais OAuth
No
Comentários de contexto
Sim
Pool de conexão
No
Esboços do HLL
No
Agregar reconhecimento
Sim
TDPs incrementais
No
Milissegundos
Sim
Microssegundos
Sim
Visualizações materializadas
No
Contagem aproximada diferente
No

Próximas etapas

Depois de conectar seu banco de dados ao Looker, configure as opções de login para os usuários.