Conexão padrão do BigQuery para Looker (Google Cloud Core)

O Looker (Google Cloud Core) precisa estar conectado a um banco de dados para permitir a análise de dados. É possível criar uma conexão padrão do BigQuery que use as Application Default Credentials usando a conexão de início rápido do BigQuery.

Bloco "Guia de início rápido do BigQuery" em uma página inicial.

Antes de começar

A configuração de uma conexão do BigQuery Quickstart requer as seguintes permissões.

Permissões do Looker (Google Cloud Core)

Você pode visualizar e editar a página Conexão de início rápido do BigQuery na página Início da sua instância do Looker (Google Cloud Core) se tiver uma das seguintes permissões:

Permissões do BigQuery

As instâncias do Looker (Google Cloud Core) podem usar credenciais padrão do aplicativo (ADC) para autenticação ao configurar uma conexão com um banco de dados SQL padrão do BigQuery. Quando você usa o ADC, a conexão é autenticada no banco de dados usando as credenciais da conta de serviço do projeto do Looker (Google Cloud Core).

Se a conta de serviço do Looker (Google Cloud Core) ainda não tiver funções do IAM no projeto que contém o conjunto de dados do BigQuery, siga as etapas abaixo para modificar as políticas do IAM no console do Google Cloud .

  1. Faça login no console do Google Cloud e acesse o projeto em que você quer conceder novos papéis.
  2. Copie o identificador principal e adicione-o como um principal no IAM.
  3. Atribua os dois papéis a seguir ao principal adicionado:
    • Service Usage Consumer
    • BigQuery Jobs User

Se a sua instância do Looker (Google Cloud Core) usar tabelas derivadas persistentes com um conjunto de dados do BigQuery, também será necessário conceder à conta de serviço do Looker (Google Cloud Core) o papel do IAM de Editor de dados do BigQuery.

Como configurar uma conexão de início rápido do BigQuery

A conexão do BigQuery para iniciantes contém as seguintes seções.

Como conferir a conexão

A conexão de início rápido do BigQuery pode ser visualizada e editada por usuários com as permissões corretas na página Início ou Conexões no painel do administrador. Na página Conexões, a conexão do BigQuery Quickstart aparece com o nome Conexão padrão do BigQuery. Em uma nova instância, os campos ID do projeto de armazenamento e ID do projeto de faturamento vão ter o valor padrão Nenhum.

Na página Início, clique no botão Analisar conexão para gerenciar a conexão. Para dispensar o bloco da página Início, clique no x ou ative a opção Início rápido do BigQuery na barra lateral de descobertas.

A conexão do BigQuery para iniciantes contém as seguintes seções.

ID do projeto de faturamento

O ID do projeto serve como um identificador exclusivo para o projeto de faturamento Google Cloud . O projeto de faturamento é o projeto do Google Cloud que é faturado, mas você ainda pode consultar conjuntos de dados em um projeto do Google Cloud diferente se os desenvolvedores do LookML especificarem nomes de tabelas com escopo total no parâmetro sql_table_name dos seus visualizações, análises detalhadas ou junções do LookML. Este campo é obrigatório.

Para fazer a autenticação em um banco de dados do BigQuery usando o OAuth: para conexões do BigQuery, o Looker (Google Cloud Core) pode usar automaticamente as credenciais de aplicativo OAuth que o administrador do Looker (Google Cloud Core) usou ao criar a instância. Consulte a página Criar credenciais de autorização OAuth para uma instância do Looker (Google Cloud Core) para mais informações.

Abra a seção Status details para testar as configurações da conexão.

Conjunto de dados principal

A página Conjunto de dados principal contém as seguintes configurações.

ID do projeto de armazenamento

Se você estiver usando um projeto diferente do BigQuery em que o Looker (Google Cloud Core) está localizado, insira o ID do projeto do Storage. Este campo é obrigatório.

Para localizar o ID do projeto de armazenamento, siga estas etapas:

  1. Abra o console do Google Cloud .
  2. Na lista de projetos, selecione Todos. Os nomes e IDs de todos os projetos em que você participa são exibidos.
  3. Copie o ID do projeto de armazenamento do projeto que contém os dados que você quer conectar ao Looker (Google Cloud core).

Conjunto de dados principal

O conjunto de dados principal é onde o BigQuery vai procurar tabelas se o local delas não estiver especificado no texto da consulta SQL. As consultas do Looker (Google Cloud core) podem se referir a tabelas em qualquer projeto ou conjunto de dados, desde que usem nomes de tabelas com escopo completo no formato project_id.dataset_name.table_name. O agente de serviço do Looker (Google Cloud Core) também vai precisar das permissões do IAM adequadas para acessar as tabelas nesse local. Este campo é obrigatório.

Para saber mais sobre conjuntos de dados, consulte a página de documentação Como conectar o Looker ao BigQuery.

Abra a seção Status details para testar as configurações da conexão.

Configurações opcionais

A seção Configurações opcionais contém as seguintes opções:

  • Máximo de conexões por nó: o número máximo de conexões com o banco de dados permitidas ao mesmo tempo. Observação: essa configuração é para cada nó na implantação do Looker (Google Cloud Core). O valor precisa estar entre 5 e 100 e pode ser deixado no valor padrão inicialmente. Leia mais sobre essa configuração na seção Conexões máximas por nó da página de documentação Como conectar o Looker ao seu banco de dados.

  • Tempo limite do pool de conexões: o número de segundos que uma consulta vai aguardar antes de atingir o tempo limite quando o pool de conexões estiver cheio. Pode ser deixado com o valor padrão inicialmente. Leia mais sobre essa configuração na seção Connection Pool Timeout da página de documentação Como conectar o Looker ao seu banco de dados.

  • Parâmetros JDBC adicionais: adicione outros parâmetros JDBC, como rótulos do BigQuery. Para mais informações, consulte a seção Rótulos de jobs e comentários de contexto para conexões do BigQuery.

  • Programação de manutenção: expressão cron que indica a frequência máxima de verificações de gatilhos do grupo de dados e manutenção da TDP. Leia mais sobre essa configuração na documentação Programação de manutenção de grupos de dados e PDT.

  • SSL: escolha se você quer usar a criptografia SSL para proteger os dados que passam entre Looker (Google Cloud Core) e seu banco de dados. O SSL é apenas uma opção que pode ser usada para proteger seus dados. Outras opções seguras são descritas na página de documentação Ativar o acesso seguro ao banco de dados.

  • Verificar SSL: escolha se você quer exigir a verificação do certificado SSL usado pela conexão. Leia mais sobre essa configuração na seção Verificar SSL da página de documentação Como conectar o Looker ao seu banco de dados.

  • Pré-carregar tabelas e colunas: no SQL Runner, todas as informações da tabela são pré-carregadas assim que você seleciona uma conexão e um esquema. Isso permite que o SQL Runner mostre rapidamente as colunas da tabela assim que você clica no nome dela. No entanto, para conexões e esquemas com muitas tabelas ou com tabelas muito grandes, talvez você não queira que o SQL Runner pré-carregue todas as informações.

  • Buscar e armazenar em cache o esquema: para alguns recursos de gravação de SQL, como o Aggregate Awareness, Looker (Google Cloud Core) usa o esquema de informações do banco de dados para otimizar a gravação de SQL. Leia mais sobre essa configuração na seção Extrair esquema de informações para gravação de SQL da página de documentação Como conectar o Looker ao seu banco de dados.

  • Ativar TDPs: ative a opção Ativar TDPs para ativar as TDPs. Quando os PDTs estão ativados, a janela Optional settings mostra outros campos de PDT e a seção PDT Overrides.

  • Banco de dados temporário: insira o conjunto de dados no BigQuery, onde Looker (Google Cloud Core) vai criar tabelas derivadas persistentes. Configure esse conjunto de dados com antecedência, com as permissões de gravação adequadas. Este campo é obrigatório para usar PDTs.

  • Número máximo de conexões do builder da TDP: a configuração Número máximo de conexões do builder da TDP tem o padrão 1, mas pode ser definido até 10. No entanto, o valor não pode ser maior do que o definido em Conexões máximas por nó. Leia mais sobre essa configuração na seção Número máximo de conexões do builder da TDP da página de documentação Como conectar o Looker ao banco de dados. Defina esse valor com cuidado. Se o valor for muito alto, seu banco de dados poderá ficar sobrecarregado. Se o valor for baixo, as PDTs de execução longa ou as tabelas agregadas podem atrasar a criação de outras tabelas persistentes ou diminuir a velocidade de outras consultas na conexão.

  • Repetir builds de TDP com falha: o botão Repetir builds de TDP com falha configura como o regenerator do Looker (núcleo do Google Cloud) tenta recriar tabelas persistidas por acionador que falharam no ciclo anterior do regenerator. Leia mais sobre essa configuração na seção Repetir builds de TDP com falha da página de documentação Como conectar o Looker ao seu banco de dados.

  • Controle da API de TDPs: o botão Controle da API de TDPs determina se as chamadas de API start_pdt_build, check_pdt_build e stop_pdt_build podem ser usadas para essa conexão. Quando o botão Controle de API de TDP estiver desativado, essas chamadas de API vão falhar quando referenciarem TDPs nessa conexão.

  • Substituições de PDT: se o banco de dados oferecer suporte a tabelas derivadas persistentes e você tiver ativado a opção Ativar PDTs nas configurações de conexão, Looker (Google Cloud Core) vai mostrar a seção Substituições de PDT. Na seção Substituições de TDP, é possível inserir parâmetros JDBC separados (host, porta, banco de dados, nome de usuário, senha, esquema, parâmetros adicionais e instruções pós-conexão) específicos para processos de TDP. Leia mais sobre essa configuração na seção Substituições de PDT da página de documentação Como conectar o Looker ao seu banco de dados.

  • Fuso horário do banco de dados: o fuso horário em que o banco de dados armazena informações baseadas em tempo. Looker (Google Cloud Core) precisa saber disso para converter valores de tempo para os usuários, facilitando a compreensão e o uso de dados baseados em tempo. Consulte a página de documentação Como usar as configurações de fuso horário para mais informações.

  • Fuso horário da consulta: a opção Fuso horário da consulta só fica visível se você tiver desativado os Fusos horários específicos do usuário. Consulte a página de documentação Como usar as configurações de fuso horário para mais informações.

Abra a seção Status details para testar as configurações da conexão.

Revisão

Revise e modifique os detalhes de conexão que você inseriu nas seções anteriores na seção Revisão.

Abra a seção Status details para testar as configurações da conexão. Clique no ícone de edição ao lado de cada seção para voltar a ela e mudar as configurações.

Como salvar e testar a conexão

Clique no botão Salvar para salvar as alterações feitas na conexão do BigQuery.

É possível testar as configurações de conexão em alguns lugares na interface do Looker (Google Cloud Core):

  • Abra a seção Detalhes do status na parte de baixo de qualquer uma das páginas de conexão do QuickStart e clique em Testar conexão.
  • Na página Início, abra a seção Detalhes do status na parte de baixo do bloco "Conexão de início rápido" e clique em Testar conexão.
  • Na página de administrador Conexões, selecione o botão Testar ao lado da listagem da conexão, conforme descrito na página de documentação Conexões.

Depois de inserir as configurações de conexão, clique em Testar para verificar se as informações estão corretas e se o banco de dados pode se conectar.

Se a conexão não passar em um ou mais testes, confira estas opções de solução de problemas:

A seguir