Looker reduce la carga en tu base de datos y mejora el rendimiento mediante el uso de resultados almacenados en caché de consultas en SQL anteriores cuando están disponibles y cuando tu política de almacenamiento en caché permite esta función. En esta página, se describe la política de almacenamiento en caché predeterminada de Looker, junto con las opciones disponibles para modificar la duración de los resultados almacenados en caché en tu instancia de Looker.
Cómo Looker usa las consultas almacenadas en caché
Para las consultas en SQL, el mecanismo de almacenamiento en caché en Looker funciona de la siguiente manera:
Cuando se ejecuta una consulta en SQL desde una exploración, una vista o un panel, Looker verifica la caché para ver si ya hay resultados almacenados en caché para esa consulta. Los resultados almacenados en caché se usarán solo si todos los aspectos de la consulta son iguales, incluidos los campos, los filtros, los parámetros y los límites de filas.
Si se encuentran resultados almacenados en caché, Looker verifica la política de almacenamiento en caché que se define en el modelo de LookML para determinar si los resultados almacenados en caché vencieron. Si los resultados almacenados en caché no vencieron, Looker los usará para la consulta.
Si no se encuentran resultados almacenados en caché para la consulta o si estos vencieron, Looker ejecutará la consulta en la base de datos. Luego, los resultados de la nueva consulta se almacenarán en caché.
La política de retención de caché predeterminada es de una hora. En la siguiente sección, Cómo modificar las políticas de retención de caché, se explica cómo acortar o alargar este período, así como las opciones para sincronizar la política de retención de caché con el proceso de ETL (extraer, transformar y cargar) de tu base de datos.
Modifica las políticas de retención de caché
Puedes especificar políticas de retención de caché a nivel de Explorar de LookML y del modelo de LookML.
El mecanismo de almacenamiento en caché recomendado es usar un parámetro datagroup
a nivel del modelo. Los grupos de datos te permiten sincronizar la política de retención de caché de un modelo con el programa de ETL de tu base de datos mediante el parámetro sql_trigger
y la configuración de un intervalo de vencimiento de caché con el parámetro max_cache_age
. Para obtener más información, consulta la sección Cómo almacenar consultas en caché y volver a compilar PDT con grupos de datos.
Para un enfoque más simple, puedes usar el parámetro persist_for
a nivel de modelo o nivel de exploración. Usar el parámetro persist_for
de esta manera te permite establecer un intervalo de vencimiento de la caché que anula el intervalo predeterminado de una hora. Sin embargo, el uso de persist_for
es menos sólido que el uso de grupos de datos por algunos motivos, como se explica en la sección Cómo almacenar consultas en caché con persistencia_for.
Si un Explorar o un modelo tiene definido un grupo de datos o persist_for
, la política de almacenamiento en caché se modifica de la siguiente manera:
- Antes de que venza el intervalo
persist_for
o el intervalomax_cache_age
del grupo de datos: Si se vuelve a ejecutar la consulta, Looker extrae datos de la caché. - Cuando vence el intervalo
persist_for
o el intervalomax_cache_age
del grupo de datos, Looker borra los datos de la caché. - Después del intervalo
persist_for
o del vencimiento del intervalomax_cache_age
del grupo de datos: Si se vuelve a ejecutar la consulta, Looker extrae los datos de la base de datos directamente y restablece el intervalopersist_for
omax_cache_age
.
Un punto clave aquí es que los datos se borran de la caché cuando vence el intervalo persist_for
o max_cache_age
.
Si la caché alcanza el límite de almacenamiento, los datos se expulsan en función de un algoritmo de menos usado recientemente (LRU), sin garantía de que los datos con intervalos persist_for
o max_cache_age
vencidos se borren todos a la vez.
Minimiza el tiempo que pasan los datos en la caché
Looker siempre escribirá los resultados de las consultas en la caché. Incluso si los intervalos persist_for
y max_cache_age
se establecen en cero, los datos almacenados en caché pueden almacenarse hasta por 10 minutos. Todos los datos del cliente almacenados en la caché de disco están encriptados con el Estándar de encriptación avanzada (AES).
Para minimizar la cantidad de tiempo que los datos se almacenan en la caché, haz lo siguiente:
- Para cualquier parámetro
persist_for
(para un modelo o una exploración) omax_cache_age
(para un grupo de datos), establece el valor en0 minutes
. Looker borra la caché cuando vence el intervalopersist_for
o cuando los datos alcanzan el intervalomax_cache_age
especificado en su datagroup. (No es necesario establecer el parámetropersist_for
de las PDT en0 minutes
para minimizar la cantidad de datos que se almacenan en la caché. Las PDT se escriben en la base de datos, no en la caché). - Establece el parámetro
suggest_persist_for
en un intervalo pequeño. El valor desuggest_persist_for
especifica por cuánto tiempo Looker debe mantener las sugerencias de filtros en la caché. Las sugerencias de filtros se basan en una consulta de los valores del campo que se está filtrando. Estos resultados de la consulta se mantienen en la caché para que Looker pueda proporcionar sugerencias rápidamente a medida que el usuario escribe en el campo de texto del filtro. La configuración predeterminada es almacenar en caché las sugerencias de filtros durante 6 horas. Para minimizar la cantidad de tiempo que tus datos estarán en la caché, establece el valor desuggest_persist_for
en un valor inferior, como5 minutes
.
Cómo verificar si una consulta se muestra desde la caché
En una ventana Explorar, puedes determinar si se devolvió una consulta de la caché mirando la información junto al botón Ejecutar después de ejecutar una consulta.
Cuando se muestra una consulta de la caché, se muestra el texto "from cache". De lo contrario, se muestra la cantidad de tiempo que tardó en mostrarse la consulta.
Forzar la generación de resultados nuevos a partir de la base de datos
En una ventana Explorar, puedes forzar la recuperación de resultados nuevos de la base de datos. Después de ejecutar una consulta (incluidas las consultas de resultados combinados), selecciona la opción Borrar caché y Actualizar del menú de ajustes Explorar acciones
Almacenar consultas en caché y volver a compilar PDT con grupos de datos
Usa grupos de datos para coordinar el programa de ETL (extracción, transformación y carga) de tu base de datos con la política de almacenamiento en caché y el programa de reconstrucción de PDT de Looker.
Puedes usar un grupo de datos para especificar el activador de reconstrucción de las PDT según el momento en que se agregan datos nuevos a tu base de datos. Luego, puedes aplicar el mismo grupo de datos a tu exploración o modelo para que los resultados almacenados en caché también venzan cuando se vuelvan a compilar tus PDT.
Como alternativa, puedes usar un grupo de datos para separar el activador de recompilación de PDT de la antigüedad máxima de caché. Esto puede ser útil si tienes una exploración basada en datos que se actualizan con mucha frecuencia y unida a una PDT que se reconstruye con menos frecuencia. En este caso, tal vez quieras que la caché de la consulta se restablezca con mayor frecuencia que la reconstrucción de la PDT.
Cómo definir un grupo de datos
Define un grupo de datos con el parámetro datagroup
, ya sea en un archivo de modelo o en su propio archivo LookML. Puedes definir varios grupos de datos si deseas diferentes políticas de almacenamiento en caché y recompilación de PDT para diferentes exploraciones o PDT en tu proyecto.
El parámetro datagroup
puede tener los siguientes subparámetros:
label
: Especifica una etiqueta opcional para el grupo de datos.description
: Especifica una descripción opcional para el grupo de datos que se puede usar para explicar el propósito y el mecanismo del grupo de datos.max_cache_age
: Especifica una cadena que define un período. Cuando la antigüedad de la caché de una consulta supera el período, Looker invalida la caché. La próxima vez que se emita la consulta, Looker la enviará a la base de datos para obtener resultados nuevos.sql_trigger
: Especifica una consulta de SQL que muestra una fila con una columna. Si el valor que muestra la consulta es diferente de los resultados anteriores, el grupo de datos pasa a un estado activado.interval_trigger
: Especifica un programa de tiempo para activar el grupo de datos, como"24 hours"
.
Como mínimo, un grupo de datos debe tener al menos el parámetro max_cache_age
, el parámetro sql_trigger
o el parámetro interval_trigger
.
Este es un ejemplo de un grupo de datos que tiene configurado un sql_trigger
para recompilar la PDT todos los días. Además, max_cache_age
está configurado para borrar la caché de consultas cada dos horas, en caso de que alguna exploración una las PDT con otros datos que se actualizan con más frecuencia que una vez al día.
datagroup: customers_datagroup {
sql_trigger: SELECT DATE(NOW());;
max_cache_age: "2 hours"
}
Una vez que definas el grupo de datos, podrás asignarlo a las exploraciones y a las PDT:
- Para asignar el grupo de datos a un PDT, usa el parámetro
datagroup_trigger
en el parámetroderived_table
. Consulta la sección Usa un grupo de datos para especificar un activador de recompilación para PDT en esta página si quieres ver un ejemplo. - Para asignar el grupo de datos a una exploración, usa el parámetro
persist_with
a nivel del modelo o a nivel de exploración. Consulta la sección Cómo usar un grupo de datos para especificar el restablecimiento de la caché de consultas para Explorar en esta página para ver un ejemplo.
Cómo usar un grupo de datos para especificar un activador de recompilación para las PDT
Para definir un activador de reconstrucción de PDT con grupos de datos, crea un parámetro datagroup
con el subparámetro sql_trigger
o interval_trigger
. Luego, asigna el grupo de datos a PDT individuales con el subparámetro datagroup_trigger
en la definición de derived_table
de la PDT. Si usas datagroup_trigger
para tu PDT, no necesitas especificar ninguna otra estrategia de persistencia para la tabla derivada. Si especificas varias estrategias de persistencia para un PDT, recibirás una advertencia en el IDE de Looker y solo se usará datagroup_trigger
.
El siguiente es un ejemplo de una definición de PDT que usa el grupo de datos customers_datagroup
. Esta definición también agrega varios índices, en customer_id
y first_order_date
. Para obtener más información sobre la definición de PDT, consulta la página de documentación Tablas derivadas en Looker.
view: customer_order_facts {
derived_table: {
sql: ... ;;
datagroup_trigger: customers_datagroup
indexes: ["customer_id", "first_order_date"]
}
}
Consulta la página de documentación Tablas derivadas en Looker para obtener más información sobre cómo funcionan los grupos de datos con los PDT.
Usa un grupo de datos para especificar el restablecimiento de la caché de consultas para Explorar
Cuando se active un grupo de datos, el regenerador de Looker volverá a compilar las PDT que usen ese grupo de datos como estrategia de persistencia. Una vez que se vuelvan a compilar las PDT del grupo de datos, Looker borrará la caché de las Exploraciones que usen las PDT recompiladas del grupo de datos. Puedes agregar el parámetro max_cache_age
a la definición de tu grupo de datos si deseas personalizar un programa de restablecimiento de la caché de consultas para el grupo de datos. El parámetro max_cache_age
te permite borrar la caché de consultas según un programa específico, además del restablecimiento automático de la caché de consultas que realiza Looker cuando se vuelven a compilar las PDT del grupo de datos.
Para definir una política de almacenamiento en caché de consultas con grupos de datos, crea un parámetro datagroup
con el subparámetro max_cache_age
.
Para especificar un grupo de datos que se usará para restablecer la caché de consultas en Explorar, usa el parámetro persist_with
:
- Para asignar el grupo de datos como predeterminado para todas las exploraciones de un modelo, usa el parámetro
persist_with
a nivel del modelo (en un archivo de modelo). - Para asignar el grupo de datos a Exploraciones individuales, usa el parámetro
persist_with
dentro de un parámetroexplore
.
En los siguientes ejemplos, se muestra un grupo de datos llamado orders_datagroup
que se define en un archivo de modelo. El grupo de datos tiene un parámetro sql_trigger
, que especifica que se usará la consulta select max(id) from my_tablename
para detectar cuándo se produjo un ETL. Incluso si ese ETL no ocurre por un tiempo, el max_cache_age
del grupo de datos especifica que los datos almacenados en caché se usarán solo durante un máximo de 24 horas.
El parámetro persist_with
del modelo apunta a la política de almacenamiento en caché orders_datagroup
, lo que significa que esta será la política de almacenamiento en caché predeterminada para todas las exploraciones del modelo. Sin embargo, no queremos usar la política de almacenamiento en caché predeterminada del modelo para las exploraciones customer_facts
y customer_background
, por lo que podemos agregar el parámetro persist_with
para especificar una política de almacenamiento en caché diferente para estas dos exploraciones. Las exploraciones orders
y orders_facts
no tienen un parámetro persist_with
, por lo que usarán la política de almacenamiento en caché predeterminada del modelo: orders_datagroup
.
datagroup: orders_datagroup {
sql_trigger: SELECT max(id) FROM my_tablename ;;
max_cache_age: "24 hours"
}
datagroup: customers_datagroup {
sql_trigger: SELECT max(id) FROM my_other_tablename ;;
}
persist_with: orders_datagroup
explore: orders { ... }
explore: order_facts { ... }
explore: customer_facts {
persist_with: customers_datagroup
...
}
explore: customer_background {
persist_with: customers_datagroup
...
}
Si se especifican persist_with
y persist_for
, recibirás una advertencia de validación y se usará persist_with
.
Usa un grupo de datos para activar entregas programadas
Los grupos de datos también se pueden usar para activar la publicación de un panel o un Look. Con esta opción, Looker enviará tus datos cuando se complete el grupo de datos para que el contenido programado esté actualizado.
Usa el panel Administrador para los grupos de datos
Si tienes el rol de administrador de Looker, puedes usar la página Grupos de datos del panel Administrador para ver los grupos de datos existentes. Puedes ver la conexión, el modelo y el estado actual de cada grupo de datos y, si se especifica en LookML, una etiqueta y una descripción para cada grupo de datos. También puedes restablecer la caché de un grupo de datos, activarlo o navegar a su código LookML.
Almacenamiento en caché de consultas con persist_for
Usa el parámetro persist_for
a nivel de modelo o Nivel de exploración para modificar el intervalo de retención de caché predeterminado de Looker de 1 hora. Puedes establecer intervalos tan pequeños como 0 minutes
y máximos de 8760 hours
(1 año) o más.
Definir los parámetros de persist_for
puede ser más rápido y sencillo, pero menos sólido que la definición de grupos de datos. Se recomienda usar grupos de datos en lugar de persist_for
por los siguientes motivos:
- Los grupos de datos pueden sincronizarse con el proceso de ETL de tu base de datos.
- Puedes volver a usar grupos de datos en varios modelos y exploraciones. Esto significa que puedes actualizar el
max_cache_age
de un grupo de datos, y se actualizará la política de almacenamiento en caché en cada lugar en el que se use el grupo de datos. - Puedes borrar toda la caché asociada con un grupo de datos desde la página Datagroups.