Databricks

Observação: o Looker oferece suporte a conexões com o Databricks com o Unity Catalog ativado. Consulte Funcionalidade do Looker com o Databricks Unity Catalog para mais informações.

Como criptografar o tráfego de rede

É recomendável criptografar o tráfego de rede entre o aplicativo Looker e seu banco de dados. Considere uma das opções descritas na página de documentação Ativar o acesso seguro ao banco de dados.

Criar um usuário do Looker

O Looker se autentica no Databricks usando tokens de acesso pessoais. Siga a documentação do Databricks para criar um token de acesso pessoal para um usuário do Databricks usar no Looker.

Adicione permissões a esse usuário com GRANT.

O usuário do Looker precisa ter pelo menos as permissões SELECT e READ_METADATA.

GRANT SELECT ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`

Informações do servidor

Siga a documentação do Databricks para encontrar o caminho HTTP do cluster do Databricks. Ela será chamada de <YOUR_HTTP_PATH> nesta página.

Como configurar tabelas derivadas permanentes

Para usar tabelas derivadas persistentes, crie um banco de dados separado.

CREATE DATABASE <YOUR_SCRATCH_DATABASE>

Isso também vai exigir que outras permissões de gravação do usuário sejam concedidas.

GRANT SELECT CREATE MODIFY ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`

Criar a conexão do Looker com seu banco de dados

Na seção Administrador do Looker, selecione Conexões e clique em Adicionar conexão.

Preencher os detalhes de conexão. A maioria das configurações é comum para a maioria dos dialetos de banco de dados. Consulte a página de documentação Como conectar o Looker ao seu banco de dados para mais informações. Confira a seguir algumas das configurações:

• Nome: especifique o nome da conexão. É assim que você vai se referir à conexão nos projetos do LookML.
• Dialecto: especifique o dialeto Databricks.
• Host: especifique o URL do espaço de trabalho do Databricks. Por exemplo, dbc-xxxxxxxx.cloud.databricks.com/.
• Porta: especifique a porta do banco de dados. O padrão é 443.
• Banco de dados: especifique o nome do banco de dados a ser usado nas consultas do Looker. O valor padrão é default.
• Catálogo: para bancos de dados do Databricks com o Catálogo Unity ativado, especifique o nome do catálogo a ser usado nas consultas do Looker. Se você não especificar um catálogo, o Looker vai acessar esquemas apenas do catálogo padrão. Consulte Funcionalidade do Looker com o Databricks Unity Catalog para mais informações.
• Autenticação: selecione Conta de banco de dados ou OAuth:
  • Use a Conta de banco de dados para especificar um token de acesso pessoal do Databricks que será usado para se conectar ao Looker. Consulte a seção Criar um usuário do Looker para ver instruções.
    • Em Nome de usuário, insira o valor token. Não insira o e-mail do usuário do Databricks neste campo.
    • Em Senha, insira o token de acesso pessoal do Databricks.
  • Use o OAuth para configurar o OAuth para a conexão. Consulte a seção Como configurar o OAuth para conexões do Databricks para mais informações.
• Ativar TDPs: use essa opção para ativar as TDPs. Quando os TDPs estão ativados, a janela Conexão mostra outras configurações de TDP e a seção Substituições de TDP. Observação: os TDPs não são compatíveis com as conexões do Databricks que usam OAuth.
• Banco de dados temporário: insira o banco de dados que você quer usar para armazenar PDTs.
• Número máximo de conexões do builder da TDP: especifique o número de builds simultâneos possíveis da TDP nessa conexão. Definir esse valor muito alto pode afetar negativamente os tempos de consulta. Para mais informações, consulte a página de documentação Como conectar o Looker ao seu banco de dados.

• Parâmetros JDBC adicionais: adicione outros parâmetros JDBC do Spark.

  Observação:os seguintes parâmetros são obrigatórios: transportMode=http;httpPath=<YOUR_HTTP_PATH>

  Em que YOUR_HTTP_PATH é o valor do caminho HTTP que pode ser recuperado nos detalhes da conexão do seu repositório do Databricks.

• Programação de manutenção de grupos de dados e PDT: uma expressão cron que indica quando o Looker precisa verificar grupos de dados e tabelas derivadas persistentes. Leia mais sobre essa configuração na documentação Programação de manutenção de grupos de dados e PDT.

  Aviso: o padrão para a Programação de manutenção de grupos de dados e de TDP é de cinco minutos. Se você manter o valor padrão, o Looker vai chamar seu banco de dados do Databricks a cada cinco minutos. Essa frequência pode impedir que os clusters do Databricks sejam encerrados, o que pode causar custos inesperados. Considere mudar o padrão para um intervalo menos frequente para evitar esses custos.

• SSL: verifique se as conexões SSL estão sendo usadas.

• Verificar SSL: marque para aplicar a verificação estrita do certificado SSL.

• Conexões máximas por nó: inicialmente, você pode deixar essa configuração com o valor padrão. Leia mais sobre essa configuração na seção Conexões máximas por nó da página de documentação Como conectar o Looker ao seu banco de dados.

• Tempo limite do pool de conexões: é possível deixar essa configuração com o valor padrão inicialmente. Leia mais sobre essa configuração na seção Connection Pool Timeout da página de documentação Como conectar o Looker ao seu banco de dados.

• Pré-cache do SQL Runner: para que o SQL Runner não carregue as informações da tabela antes e apenas as carregue quando uma tabela for selecionada, desmarque esta caixa de seleção. Leia mais sobre essa configuração na seção SQL Runner Precache da página de documentação Como conectar o Looker ao seu banco de dados.

• Fuso horário do banco de dados: especifique o fuso horário a ser usado no banco de dados. Deixe este campo em branco se você não quiser a conversão de fuso horário. Consulte a página de documentação Como usar as configurações de fuso horário para mais informações.

Clique em Testar para testar a conexão e verificar se ela está configurada corretamente. Se a mensagem Conexão possível aparecer, pressione Conectar. Isso executa o restante dos testes de conexão para verificar se a conta de serviço foi configurada corretamente e com as funções adequadas. Consulte a página de documentação Teste de conectividade do banco de dados para informações sobre solução de problemas.

Funcionalidade do Looker com o Databricks Unity Catalog

O Looker oferece suporte a conexões com bancos de dados do Databricks com o Unity Catalog ativado. É possível especificar o nome do catálogo no campo Catálogo da janela Conexão do Looker ao criar uma conexão do Looker com seu banco de dados ou ao editar uma conexão do Looker com um banco de dados do Databricks.

Se o banco de dados do Databricks estiver ativado para o Unity Catalog, você poderá especificar um catálogo do Databricks no campo Catalog da conexão do Looker. Quando você especifica um catálogo do Databricks, o Looker usa o catálogo nos seguintes cenários:

• Ao gerar um novo projeto do LookML do seu banco de dados, o Looker cria os arquivos do projeto com base nas tabelas do catálogo configurado da conexão.
• Para projetos existentes, ao usar o IDE do Looker para criar uma visualização a partir de uma tabela, o Looker cria arquivos de visualização apenas das tabelas no catálogo configurado da conexão.
• Ao usar o SQL Runner, é possível selecionar apenas esquemas do catálogo configurado da conexão.

Se o banco de dados do Databricks estiver ativado para o Unity Catalog e a conexão do Looker não tiver um valor no campo Catalog, a maioria das funcionalidades do Looker vai acessar apenas os esquemas do catálogo padrão, como nos seguintes cenários:

• Ao gerar um novo projeto do LookML do seu banco de dados, o Looker cria os arquivos do projeto com base nas tabelas do catálogo padrão do Unity.
• Para projetos existentes, ao usar o IDE do Looker para criar uma visualização a partir de uma tabela, o Looker só pode criar arquivos de visualização das tabelas no catálogo padrão do Unity.
• Ao usar o SQL Runner, você só pode selecionar esquemas do catálogo padrão do Unity Catalog.

Como configurar o OAuth para conexões do Databricks

O Looker oferece suporte a OAuth para conexões do Databricks, o que significa que cada usuário do Looker faz a autenticação no banco de dados e autoriza o Looker a executar consultas no banco de dados com a própria conta de usuário OAuth do usuário.

O OAuth permite que os administradores de banco de dados realizem as seguintes tarefas:

• Auditar quais usuários do Looker estão executando consultas no banco de dados
• Aplicar controles de acesso baseados em função usando permissões no nível do banco de dados
• Use tokens OAuth para todos os processos e ações que acessam o banco de dados, em vez de incorporar IDs e senhas de banco de dados em vários lugares
• Revogar a autorização de um determinado usuário diretamente no banco de dados

Com as conexões do Databricks que usam OAuth, os usuários precisam fazer login novamente periodicamente quando os tokens OAuth expiram.

Observe o seguinte para conexões OAuth no nível do banco de dados:

• Se um usuário deixar o token OAuth expirar, todas as programações ou alertas do Looker que ele tiver serão afetados. Para evitar isso, o Looker envia um e-mail de notificação ao proprietário de cada programação e alerta antes que o token OAuth ativo atual expire. O Looker vai enviar esses e-mails de notificação 14 dias, 7 dias e 1 dia antes do token expirar. O usuário pode acessar a página de usuário do Looker para reautorizar o acesso ao banco de dados e evitar interrupções nas programações e nos alertas. Consulte a página de documentação Personalizar as configurações da conta de usuário para mais detalhes.
• Como as conexões de banco de dados que usam o OAuth são "por usuário", as políticas de armazenamento em cache também são por usuário, e não apenas por consulta. Isso significa que, em vez de usar os resultados em cache sempre que a mesma consulta for executada no período de armazenamento em cache, o Looker vai usar os resultados em cache somente se o mesmo usuário tiver executado a mesma consulta no período de armazenamento em cache. Para mais informações sobre o armazenamento em cache, consulte a página de documentação Armazenamento em cache de consultas.
• As tabelas derivadas persistentes (PDTs, na sigla em inglês) não são compatíveis com as conexões do Databricks com OAuth.
• Quando um administrador do Looker usa o sudo como outro usuário, ele usa o token de acesso OAuth desse usuário. Se o token de acesso do usuário tiver expirado, o administrador não poderá criar um novo token em nome do usuário com sudo. Consulte a página de documentação Usuários para informações sobre como usar o comando sudo.
• Quando um usuário faz login no Databricks pelo Looker usando o OAuth, o Looker não mostra uma caixa de diálogo de consentimento explícita. Ao configurar o OAuth com o Looker, você consente implicitamente que a instância do Looker acesse seu banco de dados do Databricks.
• Para usar o OAuth em uma conexão do Databricks, é necessário ter usuários ou principais de serviço do Databricks que possam ser usados para consultas do Looker. Além disso, é preciso fornecer aos usuários e principais de serviço as permissões do Databricks que o Looker vai precisar para acessar as fontes de dados e realizar as ações necessárias no Databricks.

Para criar uma conexão do Databricks com o Looker usando o OAuth, siga estas etapas gerais, detalhadas nas seções a seguir:

1. Ativar um aplicativo OAuth personalizado no Databricks
2. Configurar a conexão no Looker

Como ativar um aplicativo OAuth personalizado no Databricks

Para usar o OAuth em uma conexão do Looker com o Databricks, ative o Looker como um aplicativo OAuth personalizado para seu banco de dados do Databricks seguindo estas etapas:

Observação: para ativar os aplicativos OAuth, você precisa ter a função de administrador da conta do Databricks. Consulte a documentação do Databricks para mais informações.

1. Faça login no console da conta do Databricks.
2. Clique no ícone Settings no painel lateral.
3. Clique na guia App Connections na janela Settings.
4. Na guia Conexões de app, clique em Adicionar conexão.

5. Digite os seguintes valores na caixa de diálogo Add connection do Databricks:

   • Nome do aplicativo: insira um nome descritivo, como "Integração do Looker".

   • URLs de redirecionamento: insira o URL do Looker para onde o Databricks vai redirecionar os usuários após a autorização, usando este formato (substitua example.looker.com pelo URL da sua instância do Looker):

     https://example.looker.com/external_oauth/redirect
     

   • Acesso a escopos: selecione SQL para permitir que o Looker consulte dados usando SQL.

   • Gerar uma chave secreta do cliente: ative essa opção.

6. Clique em Adicionar na caixa de diálogo Adicionar conexão do Databricks.

7. Copie e armazene com segurança o ID do cliente e a chave secreta do cliente gerados pelo Databricks.

O registro de um aplicativo OAuth pode levar até 30 minutos para ser processado no banco de dados do Databricks. Para mais informações, consulte a documentação oficial do Databricks (em inglês).

Configurar a conexão no Looker

Depois de configurar o Looker como um aplicativo OAuth personalizado no seu banco de dados do Databricks, você pode configurar uma conexão do Looker ao Databricks que usa OAuth.

1. Na seção Administrador do Looker, selecione Conexões e clique em Adicionar conexão.
2. Preencha os detalhes da conexão, conforme descrito na seção Como criar a conexão do Looker com seu banco de dados desta página.
3. Selecione a opção OAuth no campo Autenticação.
4. Quando você seleciona a opção OAuth, o Looker mostra os campos ID do cliente OAuth e Chave secreta do cliente OAuth. Para esses valores, insira o ID do cliente e a Chave secreta do cliente gerados pelo Databricks quando você ativou o Looker como um aplicativo OAuth personalizado no Databricks.
5. Selecione o botão Testar na parte de baixo da página Configurações de conexões para garantir que o Looker possa estabelecer o fluxo OAuth e se conectar à sua instância do Databricks.

Suporte a recursos

Para que o Looker ofereça suporte a alguns recursos, o dialeto do banco de dados também precisa oferecer suporte a eles.

Observação: os PDTs incrementais têm suporte apenas na versão 12.1 e mais recentes do Databricks.

O Databricks oferece suporte aos seguintes recursos a partir do Looker 25.0:

Recurso	Compatível?
Nível de suporte	Compatível
Looker (Google Cloud Core)	Sim
Agregações simétricas	Sim
Tabelas derivadas	Sim
Tabelas derivadas SQL persistentes	Sim
Tabelas derivadas nativas nativas	Sim
Visualizações estáveis	Sim
Consulta de interrupção	Sim
Pivots baseados em SQL	Sim
Fusos horários	Sim
SSL	Sim
Subtotais	Sim
Parâmetros adicionais do JDBC	Sim
Diferenciar maiúsculas e minúsculas	Sim
Tipo de local	Sim
Tipo de lista	Sim
Percentil	Sim
Percentil distinto	Não
SQL Runner Show Processes	Não
Tabela de descrição do SQL Runner	Sim
Índices de exibição do SQL Runner	Não
SQL Runner Select 10	Sim
Contagem do SQL Runner	Sim
SQL Explain	Sim
Credenciais do OAuth	Sim
Comentários de contexto	Sim
Pooling de conexão	Não
Esboços HLL	Não
Conscientização agregada	Sim
PDTs incrementais	Sim
Milissegundos	Sim
Microssegundos	Sim
Visualizações materializadas	Não
Contagem aproximada de valores distintos	Não