O Looker se conecta ao Apache Spark por meio de uma conexão JDBC com o Spark Thrift Server.
Como conectar o Looker ao Apache Spark
Configure uma conexão de banco de dados pela interface do Looker. Na seção Administrador, selecione Conexões e clique em Adicionar conexão. Consulte a página de documentação Como conectar o Looker ao seu banco de dados para mais informações.
Preencha a página da seguinte maneira:
- Name: o nome da conexão. É assim que a conexão será indicada no modelo LookML.
- Dialeto: selecione Apache Spark 1.5+, Apache Spark 2+ ou Apache Spark 3+.
- Host:Porta: o host e a porta do servidor Thrift (10000 por padrão).
- Banco de dados: o esquema/banco de dados padrão que será modelado. Quando não há um banco de dados especificado para uma tabela, essa informação é assumida.
- Nome de usuário: o usuário como o Looker será autenticado.
- Password: a senha opcional do usuário do Looker.
- Tabelas derivadas permanentes: marque esta opção se for usar PDTs com o Looker.
- Banco de dados temporário: um banco de dados/esquema temporário para armazenar PDTs. Ela precisa ser criada com antecedência, com uma instrução como
CREATE SCHEMA looker_scratch;. - Outros parâmetros: adicione outros parâmetros JDBC do Hive aqui, como:
;spark.sql.inMemoryColumnarStorage.compressed=true
;auth=noSasl - SSL: deixe esta opção desmarcada.
- Fuso horário do banco de dados: o fuso horário dos dados armazenados no Spark. Normalmente, ele pode ser deixado em branco ou definido como UTC.
- Fuso horário da consulta: o fuso horário para exibir os dados consultados no Looker.
Clique em Testar estas configurações para testar a conexão e verificar se ela está configurada corretamente. Se a opção Pode se conectar aparecer, pressione Adicionar conexão. Isso executa o restante dos testes de conexão para verificar se a conta de serviço foi configurada corretamente e com os papéis adequados.
Para mais informações sobre configurações de conexão, consulte a página de documentação Como conectar o Looker ao seu banco de dados.
Suporte a recursos
Para que o Looker ofereça suporte a alguns recursos, seu dialeto do banco de dados também precisa aceitá-los.
Na versão mais recente do Looker, o Apache Spark 1.5+ é compatível com os seguintes recursos do Looker:
Na versão mais recente do Looker, o Apache Spark 2.0 é compatível com os seguintes recursos do Looker:
Na versão mais recente do Looker, o Apache Spark 3+ é compatível com os seguintes recursos do Looker:
Próximas etapas
Após criar a conexão, defina as opções de autenticação.