O Looker se conecta ao Apache Spark por meio de uma conexão JDBC ao Spark Thrift Server.
Como criar a conexão do Looker com seu banco de dados
Na seção Administrador do Looker, selecione Conexões e clique em Adicionar conexão.
Preencher os detalhes de conexão. A maioria das configurações é comum para a maioria dos dialetos de banco de dados. Consulte a página de documentação Como conectar o Looker ao seu banco de dados para mais informações. Algumas das configurações são descritas a seguir:
- Nome: o nome da conexão. É assim que a conexão será mencionada no modelo LookML.
- Dialeto: selecione Apache Spark 1.5+, Apache Spark 2+ ou Apache Spark 3+.
- Host: o host do servidor Thrift.
- Porta: a porta do servidor Thrift (10000 por padrão).
- Banco de dados: o esquema/banco de dados padrão que será modelado. Quando não há um banco de dados especificado para uma tabela, isso será usado.
- Nome de usuário: o usuário que fará a autenticação do Looker.
- Senha: a senha opcional do usuário do Looker.
- Ativar TDPs: use este botão para ativar as tabelas derivadas permanentes. Quando as TDPs estão ativadas, a janela Conexão mostra as outras configurações e a seção Modificações de TDP.
- Banco de dados temporário: um esquema/banco de dados temporário para armazenar PDTs. Ela precisa ser criada com uma instrução como
CREATE SCHEMA looker_scratch;. - Parâmetros JDBC adicionais: adicione outros parâmetros JDBC do Hive, como:
;spark.sql.inMemoryColumnarStorage.compressed=true
;auth=noSasl - SSL: deixe essa opção desmarcada.
- Database Time Zone: o fuso horário dos dados armazenados no Spark. Geralmente, esse campo pode ser deixado em branco ou definido como UTC.
- Query Time Zone: o fuso horário para exibir dados consultados no Looker.
Para verificar se a conexão foi concluída, clique em Testar. Consulte a página de documentação Como testar a conectividade do banco de dados para ver informações sobre solução de problemas.
Para salvar essas configurações, clique em Conectar.
Suporte a recursos
Para que o Looker seja compatível com alguns recursos, o dialeto do banco de dados também precisa ser compatível com eles.
Apache Spark 1.5+
O Apache Spark 1.5+ é compatível com os seguintes recursos a partir do Looker 23.8:
| Recurso | Compatível? |
|---|---|
| Nível do suporte | Integração |
| Looker (Google Cloud Core) | Não |
| Agregados simétricos | Sim |
| Tabelas derivadas | Sim |
| Tabelas derivadas do SQL permanente | Sim |
| Tabelas derivadas nativas nativas | Sim |
| Visualizações estáveis | Sim |
| Eliminação de consultas | Sim |
| Tabelas dinâmicas baseadas em SQL | Sim |
| Fusos horários | Sim |
| SSL | Sim |
| Subtotais | Sim |
| Parâmetros adicionais de JDBC | Sim |
| Diferenciar maiúsculas e minúsculas | Sim |
| Tipo de local | Sim |
| Tipo de lista | Sim |
| Percentil | Sim |
| Percentil distinto | Não |
| Processos do SQL Runner Show | Não |
| Tabela de descrição do SQL Runner | Sim |
| Índices do SQL Runner Show | Sim |
| SQL Runner Select 10 | Sim |
| Contagem de executores do SQL | Sim |
| Explicação do SQL | Sim |
| Credenciais do OAuth | Não |
| Comentários de contexto | Sim |
| Pool de conexão | Não |
| HLL Sketches | Não |
| Reconhecimento agregado | Sim |
| PDTs incrementais | Não |
| Milissegundos | Sim |
| Microssegundos | Sim |
| Visualizações materializadas | Não |
| Contagem aproximada diferente | Não |
Apache Spark 2.0
O Apache Spark 2.0 é compatível com os seguintes recursos a partir do Looker 23.8:
| Recurso | Compatível? |
|---|---|
| Nível do suporte | Compatível |
| Looker (Google Cloud Core) | Não |
| Agregados simétricos | Sim |
| Tabelas derivadas | Sim |
| Tabelas derivadas do SQL permanente | Sim |
| Tabelas derivadas nativas nativas | Sim |
| Visualizações estáveis | Sim |
| Eliminação de consultas | Sim |
| Tabelas dinâmicas baseadas em SQL | Sim |
| Fusos horários | Sim |
| SSL | Sim |
| Subtotais | Sim |
| Parâmetros adicionais de JDBC | Sim |
| Diferenciar maiúsculas e minúsculas | Sim |
| Tipo de local | Sim |
| Tipo de lista | Sim |
| Percentil | Sim |
| Percentil distinto | Não |
| Processos do SQL Runner Show | Não |
| Tabela de descrição do SQL Runner | Sim |
| Índices do SQL Runner Show | Não |
| SQL Runner Select 10 | Sim |
| Contagem de executores do SQL | Sim |
| Explicação do SQL | Sim |
| Credenciais do OAuth | Não |
| Comentários de contexto | Sim |
| Pool de conexão | Não |
| HLL Sketches | Não |
| Reconhecimento agregado | Sim |
| PDTs incrementais | Não |
| Milissegundos | Sim |
| Microssegundos | Sim |
| Visualizações materializadas | Não |
| Contagem aproximada diferente | Não |
Apache Spark 3 ou superior
O Apache Spark 3+ é compatível com os seguintes recursos a partir do Looker 23.8:
| Recurso | Compatível? |
|---|---|
| Nível do suporte | Compatível |
| Looker (Google Cloud Core) | Sim |
| Agregados simétricos | Sim |
| Tabelas derivadas | Sim |
| Tabelas derivadas do SQL permanente | Sim |
| Tabelas derivadas nativas nativas | Sim |
| Visualizações estáveis | Sim |
| Eliminação de consultas | Sim |
| Tabelas dinâmicas baseadas em SQL | Sim |
| Fusos horários | Sim |
| SSL | Sim |
| Subtotais | Sim |
| Parâmetros adicionais de JDBC | Sim |
| Diferenciar maiúsculas e minúsculas | Sim |
| Tipo de local | Sim |
| Tipo de lista | Sim |
| Percentil | Sim |
| Percentil distinto | Não |
| Processos do SQL Runner Show | Não |
| Tabela de descrição do SQL Runner | Sim |
| Índices do SQL Runner Show | Não |
| SQL Runner Select 10 | Sim |
| Contagem de executores do SQL | Sim |
| Explicação do SQL | Sim |
| Credenciais do OAuth | Não |
| Comentários de contexto | Sim |
| Pool de conexão | Não |
| HLL Sketches | Não |
| Reconhecimento agregado | Sim |
| PDTs incrementais | Não |
| Milissegundos | Sim |
| Microssegundos | Sim |
| Visualizações materializadas | Não |
| Contagem aproximada diferente | Não |
Próximas etapas
Depois de criar a conexão, defina as opções de autenticação.