Apache Spark

En esta página, se proporciona información para conectar Looker a Apache Spark 3.

Looker se conecta a Apache Spark 3 o versiones posteriores a través de una conexión de JDBC al servidor Spark Thrift.

Encripta el tráfico de red

Una práctica recomendada es encriptar el tráfico de red entre la aplicación de Looker y tu base de datos. Considera una de las opciones que se describen en la página de documentación Habilita el acceso seguro a la base de datos.

Creando la conexión de Looker a tu base de datos

En la sección Administrador de Looker, selecciona Conexiones y, luego, haz clic en Agregar conexión.

Completa los detalles de la conexión. La mayoría de los parámetros de configuración son comunes en la mayoría de los dialectos de bases de datos. Consulta la página de documentación Cómo conectar Looker a tu base de datos para obtener más información. A continuación, se describen algunos de los parámetros de configuración:

  • Nombre: Es el nombre de la conexión. Así se hará referencia a la conexión en el modelo de LookML.
  • Dialecto: Selecciona Apache Spark 3+.
  • Host: Es el host del servidor de Thrift.
  • Puerto: El puerto del servidor de Thrift (10000 de forma predeterminada).
  • Base de datos: El esquema o la base de datos predeterminados que se modelarán. Cuando no se especifica ninguna base de datos para una tabla, se supondrá esto.
  • Nombre de usuario: El usuario con el que se autenticará Looker
  • Contraseña: La contraseña opcional para el usuario de Looker.
  • Habilitar PDT: Usa este botón de activación para habilitar tablas derivadas persistentes. Cuando las PDT están habilitadas, la ventana Connection muestra parámetros de configuración adicionales de PDT y la sección PDT Overrides.
  • Base de datos temporal: Es un esquema o base de datos temporal para almacenar las PDT. Se debe crear de antemano, con una sentencia como CREATE SCHEMA looker_scratch;.
  • Parámetros adicionales de JDBC: Agrega cualquier parámetro de JDBC de Hive adicional aquí, como los siguientes:
    • ;spark.sql.inMemoryColumnarStorage.compressed=true
    • ;auth=noSasl
  • SSL: Deja esta opción sin marcar.
  • Zona horaria de la base de datos: Es la zona horaria de los datos almacenados en Spark. Por lo general, se puede dejar en blanco o configurar en UTC.
  • Zona horaria de la consulta (Query Time Zone): la zona horaria en la que se mostrarán los datos consultados en Looker.

Para verificar que la conexión se haya realizado correctamente, haz clic en Probar. Consulta la página de documentación Prueba la conectividad de la base de datos para obtener información sobre la solución de problemas.

Para guardar esta configuración, haz clic en Conectar.

Compatibilidad de características

Para que Looker admita algunas funciones, el dialecto de la base de datos también debe admitirlas.

Apache Spark 3 y versiones posteriores

Apache Spark 3 y versiones posteriores son compatibles con las siguientes funciones a partir de Looker 24.8:

Atributo ¿Es compatible?
Nivel de asistencia
Admitido
Looker (Google Cloud Core)
Agregados simétricos
Tablas derivadas
Tablas derivadas de SQL persistentes
Tablas derivadas persistentes nativas
Vistas estables
Finalización de consultas
Tablas dinámicas basadas en SQL
Zonas horarias
SSL
Subtotales
Parámetros adicionales de JDBC
Distingue mayúsculas de minúsculas
Tipo de ubicación
Tipo de lista
Percentil
Percentil distinto
No
Procesos de presentación del ejecutor de SQL
No
Tabla de descripción del ejecutor de SQL
Mostrar índices del ejecutor de SQL
No
Selector de SQL 10 Select
Recuento de ejecutores de SQL
Explicación de SQL
Credenciales de OAuth
No
Comentarios de contexto
Agrupación de conexiones
No
Bocetos HLL
No
Reconocimiento agregado
PDT incrementales
No
Milisegundos
Microsegundos
Vistas materializadas
No
Recuento aproximado de valores distintos
No

Próximos pasos

Después de crear la conexión, configura las opciones de autenticación.