Apache Spark

Esta página contiene información para conectar Looker a Apache Spark 3.

Looker se conecta a Apache Spark 3 y versiones posteriores a través de una conexión de JDBC al servidor de ahorro de Spark.

Encripta el tráfico de red

Una práctica recomendada es encriptar el tráfico de red entre la aplicación de Looker y tu base de datos. Considera una de las opciones que se describen en la página de documentación Habilita el acceso seguro a la base de datos.

Cómo crear la conexión de Looker a tu base de datos

En la sección Administrador de Looker, selecciona Conexiones y, luego, haz clic en Agregar conexión.

Completa los detalles de la conexión. La mayoría de los parámetros de configuración son comunes en la mayoría de los dialectos de bases de datos. Consulta la página de documentación Conecta Looker a tu base de datos para obtener más información. A continuación, se describen algunos de los parámetros de configuración:

  • Nombre: Es el nombre de la conexión. Así es como se hará referencia a la conexión en el modelo de LookML.
  • Dialecto: Selecciona Apache Spark 3+.
  • Host: Es el host del servidor Thrift.
  • Puerto: Es el puerto del servidor de Thrift (10000 de forma predeterminada).
  • Base de datos: Es el esquema o la base de datos predeterminados que se modelarán. Cuando no se especifica una base de datos para una tabla, se supone que es esta.
  • Nombre de usuario: Es el usuario con el que Looker se autenticará.
  • Contraseña: La contraseña opcional para el usuario de Looker.
  • Habilitar PDT: Usa este botón de activación para habilitar las tablas derivadas persistentes. Cuando las PDT están habilitadas, la ventana Conexión revela la configuración adicional de las PDT y la sección Anulaciones de PDT.
  • Base de datos temporal: Es un esquema o una base de datos temporal para almacenar PDT. Se debe crear de antemano, con una sentencia como CREATE SCHEMA looker_scratch;.
  • Parámetros adicionales de JDBC: Agrega cualquier parámetro de JDBC de Hive adicional aquí, como los siguientes:
    • ;spark.sql.inMemoryColumnarStorage.compressed=true
    • ;auth=noSasl
  • SSL: No marques esta opción.
  • Zona horaria de la base de datos: Es la zona horaria de los datos almacenados en Spark. Por lo general, se puede dejar en blanco o configurar en UTC.
  • Zona horaria de la consulta: Es la zona horaria para mostrar los datos consultados en Looker.

Para verificar que la conexión se haya realizado correctamente, haz clic en Probar. Consulta la página de documentación Prueba la conectividad de la base de datos para obtener información sobre la solución de problemas.

Para guardar esta configuración, haz clic en Conectar.

Compatibilidad de características

Para que Looker admita algunas funciones, el dialecto de la base de datos también debe admitirlas.

Apache Spark 3 y versiones posteriores

Apache Spark 3 y versiones posteriores admiten las siguientes funciones a partir de Looker 24.16:

Atributo ¿Es compatible?
Nivel de asistencia
Admitido
Looker (Google Cloud Core)
Agregados simétricos
Tablas derivadas
Tablas derivadas de SQL persistentes
Tablas derivadas persistentes nativas
Vistas estables
Cierre de consultas
Tablas dinámicas basadas en SQL
Zonas horarias
SSL
Subtotales
Parámetros adicionales de JDBC
Distingue mayúsculas de minúsculas
Tipo de ubicación
Tipo de lista
Percentil
Percentil distintivo
No
Cómo mostrar procesos en el Ejecutor de SQL
No
Tabla Describe de SQL Runner
Índices de Show de SQL Runner
No
SQL Runner Select 10
Recuento de ejecutores de SQL
Explicación de SQL
Credenciales de OAuth
No
Comentarios contextuales
Agrupación de conexiones
No
Esbozos de HLL
No
Reconocimiento agregado
PDT incrementales
No
Milisegundos
Microsegundos
Vistas materializadas
No
Distinción de recuento aproximado
No

Próximos pasos

Después de crear la conexión, configura las opciones de autenticación.