Databricks

Cifrar el tráfico de red

Te recomendamos que cifres el tráfico de red entre la aplicación de Looker y tu base de datos. Considera una de las opciones descritas en la página de documentación Habilitar el acceso seguro a la base de datos.

Crear un usuario de Looker

Looker se autentica en Databricks mediante tokens de acceso personales. Sigue la documentación de Databricks para crear un token de acceso personal para que un usuario de Databricks lo use en Looker.

Añade permisos a este usuario con GRANT.

Como mínimo, el usuario de Looker debe tener los permisos SELECT y READ_METADATA.

GRANT SELECT ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`

Información del servidor

Sigue la documentación de Databricks para encontrar la ruta HTTP de tu clúster de Databricks. En esta página, se hará referencia a él como <YOUR_HTTP_PATH>.

Configurar tablas derivadas persistentes

Para usar tablas derivadas persistentes, crea una base de datos independiente.

CREATE DATABASE <YOUR_SCRATCH_DATABASE>

También se deberán conceder permisos de usuario adicionales basados en escritura.

GRANT SELECT CREATE MODIFY ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`

Crear la conexión de Looker a tu base de datos

En la sección Administrar de Looker, selecciona Conexiones y, a continuación, haz clic en Añadir conexión.

Rellena los detalles de la conexión. La mayoría de los ajustes son comunes a la mayoría de los dialectos de bases de datos. Consulta la página de documentación Conectar Looker a tu base de datos para obtener información. A continuación, se describen algunos de los ajustes:

  • Nombre: especifica el nombre de la conexión. Así es como harás referencia a la conexión en los proyectos de LookML.
  • Dialecto: especifica el dialecto Databricks.
  • Host: especifica la URL del espacio de trabajo de Databricks. Por ejemplo, dbc-yyyyyyyy.cloud.databricks.com/.
  • Puerto: especifica el puerto de la base de datos. El valor predeterminado es 443.
  • Base de datos: especifica el nombre de la base de datos que se va a usar para las consultas de Looker. El valor predeterminado es default.
  • Catálogo: en las bases de datos de Databricks con Unity Catalog habilitado, especifica el nombre del catálogo que se va a usar en las consultas de Looker. Si no especifica un catálogo, Looker solo accederá a los esquemas del catálogo predeterminado. Consulta más información sobre la funcionalidad de Looker con Unity Catalog de Databricks.
  • Autenticación: selecciona Cuenta de base de datos u OAuth:
    • Usa Cuenta de base de datos para especificar un token de acceso personal de Databricks que se usará para conectarse a Looker (consulta las instrucciones en la sección Crear un usuario de Looker).
      • En Nombre de usuario, introduce el valor token (no introduzcas el correo del usuario de Databricks en este campo).
      • En Contraseña, introduce el token de acceso personal de Databricks.
    • Usa OAuth para configurar OAuth en la conexión. Para obtener más información, consulta la sección Configurar OAuth para conexiones de Databricks.
  • Habilitar PDTs: usa este interruptor para habilitar las tablas derivadas persistentes. Cuando se habilitan los PDTs, en la ventana Conexión se muestran ajustes adicionales de PDTs y la sección Sustituciones de PDTs. Nota: Los PDTs no se admiten en las conexiones de Databricks que usan OAuth.
  • Base de datos temporal: introduce la base de datos que quieras usar para almacenar los PDTs.
  • Número máximo de conexiones del creador de PDT: especifica el número de compilaciones de PDT simultáneas posibles en esta conexión. Si este valor es demasiado alto, los tiempos de consulta podrían verse afectados negativamente. Para obtener más información, consulta la página de documentación Conectar Looker a tu base de datos.

  • Parámetros JDBC adicionales: añade los parámetros JDBC de Spark que quieras.

  • Programación de mantenimiento: una expresión cron que indica cuándo debe comprobar Looker los grupos de datos y las tablas derivadas persistentes. Consulta más información sobre este ajuste en la documentación Programación de mantenimiento.

  • SSL marca esta casilla para usar conexiones SSL.

  • Verificar SSL: marca esta opción para aplicar una verificación estricta del certificado SSL.

  • Conexiones máximas por nodo: puedes dejar este ajuste con el valor predeterminado al principio. Consulta más información sobre este ajuste en la sección Conexiones máximas por nodo de la página de documentación Conectar Looker a tu base de datos.

  • Tiempo de espera del grupo de conexiones: al principio, puedes dejar este ajuste con el valor predeterminado. Consulta más información sobre este ajuste en la sección Tiempo de espera del grupo de conexiones de la página de documentación Conectar Looker a tu base de datos.

  • Precaché de SQL Runner: para que SQL Runner no precargue la información de las tablas y solo la cargue cuando se seleccione una tabla, desmarque esta casilla. Consulta más información sobre este ajuste en la sección Precaché de SQL Runner de la página de documentación Conectar Looker a tu base de datos.

  • Zona horaria de la base de datos: especifica la zona horaria que se va a usar en la base de datos. Deje este campo en blanco si no quiere que se convierta la zona horaria. Para obtener más información, consulta la página de documentación Usar la configuración de zona horaria.

Haz clic en Probar para probar la conexión y asegurarte de que está configurada correctamente. Si ves Se puede conectar, pulsa Conectar. De esta forma, se ejecutan el resto de las pruebas de conexión para verificar que la cuenta de servicio se ha configurado correctamente y con los roles adecuados. Consulta la página de documentación Probar la conectividad de la base de datos para obtener información sobre cómo solucionar problemas.

Funciones de Looker con Databricks Unity Catalog

Looker admite conexiones a bases de datos de Databricks con Unity Catalog habilitado. Puedes especificar el nombre del catálogo en el campo Catálogo de la ventana Conexión de Looker cuando crees una conexión de Looker a tu base de datos o cuando edites una conexión de Looker a una base de datos de Databricks.

Si tu base de datos de Databricks tiene habilitado Unity Catalog, puedes especificar un catálogo de Databricks en el campo Catálogo de la conexión de Looker. Cuando especificas un catálogo de Databricks, Looker lo usa en los siguientes casos:

  • Cuando generas un proyecto de LookML a partir de tu base de datos, Looker crea los archivos del proyecto en función de las tablas del catálogo configurado de tu conexión.
  • En los proyectos que ya tengas, cuando uses el IDE de Looker para crear una vista a partir de una tabla, Looker solo creará archivos de vista a partir de las tablas del catálogo configurado de tu conexión.
  • Cuando usas SQL Runner, solo puedes seleccionar esquemas del catálogo configurado de tu conexión.

Si tu base de datos de Databricks tiene habilitado Unity Catalog y la conexión de Looker no tiene ningún valor en el campo Catálogo, la mayoría de las funciones de Looker solo accederán a los esquemas del catálogo predeterminado, como en los siguientes casos:

  • Cuando generes un proyecto de LookML a partir de tu base de datos, Looker creará los archivos del proyecto en función de las tablas del catálogo predeterminado de Unity Catalog.
  • En los proyectos que ya tengas, cuando uses el IDE de Looker para crear una vista a partir de una tabla, Looker solo podrá crear archivos de vista a partir de las tablas del catálogo predeterminado de Unity Catalog.
  • Cuando usas SQL Runner, solo puedes seleccionar esquemas del catálogo predeterminado de Unity Catalog.

Configurar OAuth para conexiones de Databricks

Looker admite OAuth para las conexiones de Databricks, lo que significa que cada usuario de Looker se autentica en la base de datos y autoriza a Looker para que ejecute consultas en la base de datos con su propia cuenta de usuario de OAuth.

OAuth permite a los administradores de bases de datos realizar las siguientes tareas:

  • Auditar qué usuarios de Looker están ejecutando consultas en la base de datos
  • Aplicar controles de acceso basados en roles mediante permisos a nivel de base de datos
  • Usa tokens de OAuth en todos los procesos y acciones que accedan a la base de datos, en lugar de insertar IDs y contraseñas de la base de datos en varios lugares.
  • Revocar la autorización de un usuario determinado directamente a través de la base de datos

Con las conexiones de Databricks que usan OAuth, los usuarios deben volver a iniciar sesión periódicamente cuando caduquen sus tokens de OAuth.

Ten en cuenta lo siguiente sobre las conexiones OAuth a nivel de base de datos:

  • Si un usuario deja que caduque su token de OAuth, se verán afectadas todas las programaciones o alertas de Looker que sean de su propiedad. Para evitarlo, Looker enviará un correo de notificación al propietario de cada programación y cada alerta antes de que caduque el token de OAuth activo. Looker enviará estos correos de notificación 14, 7 y 1 día antes de que caduque el token. El usuario puede ir a su página de usuario de Looker para volver a autorizar a Looker a acceder a la base de datos y evitar interrupciones en sus programaciones y alertas. Consulta la página de documentación Personalizar la configuración de la cuenta de usuario para obtener más información.
  • Como las conexiones de bases de datos que usan OAuth son "por usuario", las políticas de almacenamiento en caché también son por usuario y no solo por consulta. Esto significa que, en lugar de usar resultados almacenados en caché cada vez que se ejecute la misma consulta durante el periodo de almacenamiento en caché, Looker solo usará resultados almacenados en caché si el mismo usuario ha ejecutado la misma consulta durante el periodo de almacenamiento en caché. Para obtener más información sobre el almacenamiento en caché, consulta la página de documentación Consultas de caché.
  • Las tablas derivadas persistentes (PDTs) no se admiten en las conexiones de Databricks con OAuth.
  • Cuando un administrador de Looker usa sudo para representar a otro usuario, el administrador usará el token de acceso OAuth de ese usuario. Si el token de acceso del usuario ha caducado, el administrador no puede crear un token en nombre del usuario con privilegios de superusuario. Consulta la página de documentación Usuarios para obtener información sobre el uso del comando sudo.
  • Cuando un usuario inicia sesión en Databricks desde Looker mediante OAuth, Looker no muestra un cuadro de diálogo de consentimiento explícito del usuario. Al configurar OAuth con Looker, das tu consentimiento implícito para que tu instancia de Looker acceda a tu base de datos de Databricks.
  • Para usar OAuth en una conexión de Databricks, debes tener usuarios o principales de servicio de Databricks que se puedan usar en las consultas de Looker. Además, debes proporcionar a los usuarios y a los principales de servicio los permisos de Databricks que Looker necesitará para acceder a las fuentes de datos y realizar las acciones necesarias en Databricks.

Para crear una conexión de Databricks a Looker mediante OAuth, debes seguir estos pasos generales, que se detallan en las siguientes secciones:

  1. Habilitar una aplicación OAuth personalizada en Databricks
  2. Configurar la conexión en Looker

Habilitar una aplicación OAuth personalizada en Databricks

Para usar OAuth en una conexión de Looker a Databricks, debes habilitar Looker como aplicación OAuth personalizada para tu base de datos de Databricks. Para ello, sigue estos pasos:

  1. Inicia sesión en la consola de cuenta de Databricks.
  2. En el panel lateral, haz clic en el icono Configuración.
  3. En la ventana Configuración, haz clic en la pestaña Conexiones de aplicaciones.
  4. En la pestaña Conexiones de aplicaciones, haz clic en Añadir conexión.

  5. Introduce los siguientes valores en el cuadro de diálogo Añadir conexión de Databricks:

    • Nombre de la aplicación: proporcione un nombre descriptivo, como "Integración de Looker".

    • URLs de redirección: introduzca la URL de Looker a la que Databricks redirigirá a los usuarios después de que se hayan autenticado correctamente. Use este formato (sustituya example.looker.com por la URL de su instancia de Looker):

      https://example.looker.com/external_oauth/redirect

    • Ámbitos de acceso: selecciona SQL para permitir que Looker consulte datos mediante SQL.

    • Generar un secreto de cliente: habilita esta opción.

  6. En el cuadro de diálogo Añadir conexión de Databricks, haz clic en Añadir.

  7. Copia y almacena de forma segura el ID de cliente y el secreto de cliente que genera Databricks.

El registro de una aplicación OAuth puede tardar hasta 30 minutos en procesarse en la base de datos de Databricks. Para obtener más información, consulta la documentación oficial de Databricks.

Configurar la conexión en Looker

Una vez que hayas configurado Looker como una aplicación OAuth personalizada en tu base de datos de Databricks, podrás configurar una conexión de Looker a Databricks que use OAuth.

  1. En la sección Administrar de Looker, selecciona Conexiones y, a continuación, haz clic en Añadir conexión.
  2. Rellena los detalles de la conexión, tal como se describe en la sección Crear la conexión de Looker a tu base de datos de esta página.
  3. Selecciona la opción OAuth en el campo Autenticación.
  4. Cuando seleccionas la opción OAuth, Looker muestra los campos ID de cliente de OAuth y Secreto de cliente de OAuth. En estos campos, introduce el ID de cliente y el secreto de cliente que generó Databricks cuando habilitaste Looker como aplicación OAuth personalizada en Databricks.
  5. Selecciona el botón Probar en la parte inferior de la página Configuración de conexiones para asegurarte de que Looker puede establecer correctamente el flujo de OAuth y conectarse a tu instancia de Databricks.

Funciones admitidas

Para que Looker admita algunas funciones, el dialecto de tu base de datos también debe admitirlas.

Databricks admite las siguientes funciones a partir de Looker 25.16:

Función ¿Es compatible?
Nivel de asistencia
Compatible
Looker (servicio principal de Google Cloud)
Sí
Agregados simétricos
Sí
Tablas derivadas
Sí
Tablas derivadas de SQL persistentes
Sí
Tablas derivadas nativas persistentes
Sí
Vistas estables
Sí
Eliminación de consultas
Sí
Pivotes basados en SQL
Sí
Zonas horarias
Sí
SSL
Sí
Subtotales
Sí
Parámetros adicionales de JDBC
Sí
Distingue entre mayúsculas y minúsculas
Sí
Tipo de ubicación
Sí
Tipo de lista
Sí
Percentil
Sí
Percentil de valores distintos
No
SQL Runner Show Processes
No
SQL Runner Describe Table
Sí
SQL Runner Show Indexes
No
SQL Runner Select 10
Sí
Recuento de ejecuciones de SQL
Sí
Explicación de SQL
Sí
Credenciales de OAuth 2.0
Sí
Comentarios contextuales
Sí
Grupo de conexiones
No
Esquemas HLL
No
Notoriedad agregada
Sí
PDTs incrementales
Sí
Milisegundos
Sí
Microsegundos
Sí
Vistas materializadas
No
Métricas de comparación con el periodo anterior
No
Recuento aproximado de valores distintos
No