Esta página contém informações sobre a associação do Looker ao Apache Hive 2.3+ e ao Apache Hive 3.1.2+.
Tenha em atenção o seguinte acerca do suporte do Looker para as diferentes versões do Apache Hive:
- O Looker suporta ligações ao Apache Hive 2.3+ e ao Apache Hive 3.1.2+.
- Para o Apache Hive 3.1.2 ou superior, o Looker só pode integrar-se totalmente com bases de dados do Apache Hive 3 em versões posteriores à 3.1.2. Isto deve-se a um problema de análise de consultas das versões 2.4.0 a 3.1.2 do Hive que resultou em tempos de análise extremamente longos para o SQL gerado pelo Looker.
- O Looker não suporta ligações ao Apache Hive 2. As consultas em ligações ao Apache Hive 2 vão devolver um erro.
Encriptar o tráfego de rede
É uma prática recomendada encriptar o tráfego de rede entre a aplicação Looker e a sua base de dados. Considere uma das opções descritas na página de documentação Ativar o acesso seguro à base de dados.
Introdução
O Looker foi concebido para estabelecer ligação a um servidor de base de dados através do JDBC. No caso do Hive, este é o servidor thrift (HiveServer2). Consulte a documentação do Apache para mais informações.
Por predefinição, este servidor é responsável pela deteção na porta 10000.
O Looker é uma ferramenta de consulta interativa, pelo que espera funcionar com um motor SQL interativo. Se o Hive estiver a ser executado no MapReduce, ou seja, hive.execution.engine estiver definido como mr, o Hive devolve os resultados da consulta demasiado lentamente para ser prático.
O Looker foi testado com o Hive no Tez (hive.execution.engine=tez), embora também seja possível executar o Looker no Hive no Spark. O suporte do Spark foi adicionado na versão 1.1 do Hive. (O Looker é compatível com o Hive 1.2.1 e versões posteriores.)
Tabelas derivadas persistentes (PDTs)
Para ativar as tabelas derivadas persistentes (PDTs) no Looker através de uma ligação do Hive, crie um esquema temporário para o Looker usar. Segue-se um exemplo de um comando que pode usar para criar um esquema looker_scratch:
CREATE SCHEMA looker_scratch;
A conta de utilizador que o Looker usa para estabelecer ligação ao Hive (que pode ser anónima se não for usada nenhuma autenticação) tem de ter as seguintes capacidades no esquema temporário:
- Crie tabelas
- Alter tables
- Elimine tabelas
Teste esta opção com um cliente JDBC antes de tentar criar PDTs com o Hive.
Filas
Se quiser que as consultas do Looker sejam direcionadas para uma fila específica, introduza o parâmetro do nome da fila no campo Additional JDBC parameters (Parâmetros JDBC adicionais) na página Connection Settings (Definições de ligação):
?tez.queue.name=the_bi_queue
Pode definir outros parâmetros do Hive desta forma no campo Parâmetros JDBC adicionais na página Definições de ligação.
Através dos atributos do utilizador, é possível que as consultas de diferentes utilizadores ou grupos de utilizadores diferentes sejam encaminhadas para filas diferentes. Para o fazer, crie um atributo do utilizador com um nome como queue_name. Em seguida, no campo Parâmetros JDBC adicionais, adicione o seguinte:
?tez.queue.name={{ _user_attributes['queue_name'] }}
Também pode usar esta opção para personalizar outros parâmetros hive-site.xml numa base por utilizador ou por grupo.
Criar a ligação do Looker à sua base de dados
Siga estes passos para criar a ligação do Looker à sua base de dados:
- Na secção Administração do Looker, selecione Ligações e, de seguida, clique em Adicionar ligação.
Selecione Apache Hive 2.3 ou superior ou Apache Hive 3.1.2 ou superior no menu pendente Dialeto.
Preencha os detalhes da ligação. A maioria das definições é comum à maioria dos dialetos de bases de dados. Consulte a página de documentação Associar o Looker à sua base de dados para ver informações. Algumas das definições são descritas a seguir:
- Nome: especifique o nome da associação. É assim que se vai referir à ligação nos projetos do LookML.
- Anfitrião: especifique o nome do anfitrião.
- Porta: especifique a porta da base de dados.
- Base de dados: especifique o nome da base de dados.
- Nome de utilizador: especifique o nome de utilizador da base de dados.
- Palavra-passe: especifique a palavra-passe do utilizador da base de dados.
- Ativar PDTs: use este botão para ativar as tabelas derivadas persistentes. Quando os PDTs estão ativados, a janela Ligação revela definições de PDTs adicionais e a secção Substituições de PDTs.
- Base de dados temporária: especifique o nome do esquema temporário criado na secção Tabelas derivadas persistentes (PDTs) desta página de documentação.
- Número máximo de ligações de compilador de PDTs: especifique o número de compilações de PDTs simultâneas possíveis nesta ligação. Definir este valor demasiado alto pode afetar negativamente os tempos de consulta. Para mais informações, consulte a página de documentação Estabelecer ligação do Looker à sua base de dados.
- Parâmetros JDBC adicionais: especifique quaisquer parâmetros de string JDBC adicionais.
- Agendamento de manutenção: especifique uma expressão
cronque indique quando o Looker deve verificar os grupos de dados e as tabelas derivadas persistentes. Leia mais acerca desta definição na documentação do cronograma de manutenção. - SSL: selecione esta opção para usar ligações SSL.
- Validar SSL: verifique a validação do nome de anfitrião.
- Máximo de ligações por nó: inicialmente, pode deixar esta definição no valor predefinido. Consulte a página de documentação Ligar o Looker à sua base de dados para mais informações.
- Limite de tempo do conjunto de ligações: inicialmente, pode deixar esta definição no valor predefinido. Leia mais acerca desta definição na secção Tempo limite do conjunto de ligações da página de documentação Associar o Looker à sua base de dados.
- Pré-cache da execução de SQL: para que a execução de SQL não pré-carregue as informações das tabelas e carregue as informações das tabelas apenas quando uma tabela é selecionada, desmarque esta opção. Leia mais acerca desta definição na secção Pré-armazenamento em cache do SQL Runner da página de documentação Associar o Looker à sua base de dados.
- Fuso horário da base de dados: especifique o fuso horário usado na base de dados. Deixe este campo em branco se não quiser a conversão do fuso horário. Consulte a página de documentação Usar definições de fuso horário para mais informações.
Para verificar se a associação foi bem-sucedida, clique em Testar. Consulte a página de documentação Testar a conetividade da base de dados para ver informações de resolução de problemas.
Para guardar estas definições, clique em Associar.
Suporte de funcionalidades
Para que o Looker suporte algumas funcionalidades, o dialeto da base de dados também tem de as suportar.
Apache Hive 2.3 ou superior
O Apache Hive 2.3 e superior suporta as seguintes funcionalidades a partir do Looker 25.14:
| Funcionalidade | Compatível? |
|---|---|
| Nível de apoio técnico | Integração |
| Looker (Google Cloud Core) | Não |
| Dados agregados simétricos | Não |
| Tabelas derivadas | Sim |
| Tabelas derivadas SQL persistentes | Sim |
| Tabelas derivadas nativas persistentes | Sim |
| Vistas estáveis | Sim |
| Interrupção de consultas | Sim |
| Tabelas dinâmicas baseadas em SQL | Não |
| Fusos horários | Sim |
| SSL | Sim |
| Subtotais | Sim |
| Parâmetros JDBC adicionais | Sim |
| Sensível a maiúsculas e minúsculas | Sim |
| Tipo de localização | Sim |
| Tipo de lista | Sim |
| Percentil | Sim |
| Percentil distinto | Não |
| Execução de SQL Mostrar processos | Não |
| Execução de SQL Describe Table | Sim |
| Execução de SQL Mostrar índices | Sim |
| Execução de SQL Select 10 | Sim |
| Contagem da execução de SQL | Sim |
| SQL Explain | Sim |
| Credenciais do OAuth 2.0 | Não |
| Comentários de contexto | Sim |
| Agrupamento de ligações | Não |
| Esboços HLL | Não |
| Notoriedade agregada | Sim |
| PDTs incrementais | Não |
| Milissegundos | Sim |
| Microssegundos | Sim |
| Vistas materializadas | Não |
| Medidas de comparação de períodos | Não |
| Contagem distinta aproximada | Não |
Apache Hive 3.1.2 e posterior
O Apache Hive 3.1.2+ suporta as seguintes funcionalidades a partir do Looker 25.14:
| Funcionalidade | Compatível? |
|---|---|
| Nível de apoio técnico | Suportado |
| Looker (Google Cloud Core) | Sim |
| Dados agregados simétricos | Não |
| Tabelas derivadas | Sim |
| Tabelas derivadas SQL persistentes | Sim |
| Tabelas derivadas nativas persistentes | Sim |
| Vistas estáveis | Sim |
| Interrupção de consultas | Sim |
| Tabelas dinâmicas baseadas em SQL | Não |
| Fusos horários | Sim |
| SSL | Sim |
| Subtotais | Sim |
| Parâmetros JDBC adicionais | Sim |
| Sensível a maiúsculas e minúsculas | Sim |
| Tipo de localização | Sim |
| Tipo de lista | Sim |
| Percentil | Sim |
| Percentil distinto | Não |
| Execução de SQL Mostrar processos | Não |
| Execução de SQL Describe Table | Sim |
| Execução de SQL Mostrar índices | Não |
| Execução de SQL Select 10 | Sim |
| Contagem da execução de SQL | Sim |
| SQL Explain | Sim |
| Credenciais do OAuth 2.0 | Não |
| Comentários de contexto | Sim |
| Agrupamento de ligações | Não |
| Esboços HLL | Não |
| Notoriedade agregada | Sim |
| PDTs incrementais | Não |
| Milissegundos | Sim |
| Microssegundos | Sim |
| Vistas materializadas | Não |
| Medidas de comparação de períodos | Não |
| Contagem distinta aproximada | Não |
Passos seguintes
Depois de associar a sua base de dados ao Looker, configure as opções de início de sessão para os seus utilizadores.