Menyimpan kueri dalam cache

Looker mengurangi beban pada database Anda dan meningkatkan performa dengan menggunakan hasil kueri SQL sebelumnya yang di-cache jika tersedia dan jika fungsi ini diizinkan oleh kebijakan penyimpanan dalam cache Anda. Halaman ini menjelaskan kebijakan penyimpanan ke cache default Looker, beserta opsi yang tersedia untuk mengubah durasi hasil yang disimpan ke cache di instance Looker Anda.

Cara Looker menggunakan kueri yang di-cache

Untuk kueri SQL, mekanisme penyimpanan dalam cache di Looker berfungsi sebagai berikut:

  1. Saat kueri SQL dijalankan dari Jelajah, Look, atau dasbor, Looker akan memeriksa cache untuk melihat apakah sudah ada hasil yang di-cache untuk kueri tersebut. Hasil yang di-cache hanya akan digunakan jika semua aspek kueri sama, termasuk kolom, filter, parameter, dan batas baris.

  2. Jika hasil yang di-cache ditemukan, Looker akan memeriksa kebijakan penyimpanan dalam cache yang ditentukan dalam model LookML untuk menentukan apakah hasil yang di-cache sudah tidak berlaku. Jika hasil yang di-cache belum habis masa berlakunya, Looker akan menggunakan hasil yang di-cache untuk kueri.

  3. Jika tidak ada hasil yang di-cache untuk kueri, atau jika hasil yang di-cache sudah tidak berlaku, Looker akan menjalankan kueri terhadap database. Hasil kueri baru kemudian akan di-cache.

Kebijakan retensi cache default adalah satu jam. Bagian berikutnya, Mengubah kebijakan retensi cache, membahas cara mempersingkat atau memperpanjang jumlah waktu ini, serta menjelaskan opsi untuk menyinkronkan kebijakan retensi cache ke proses ETL (ekstrak, transformasi, dan muat) database Anda.

Mengubah kebijakan retensi cache

Anda dapat menentukan kebijakan retensi cache di tingkat Jelajah LookML dan di tingkat model LookML.

Mekanisme penyimpanan dalam cache yang direkomendasikan adalah menggunakan parameter datagroup di tingkat model. Dengan grup data, Anda dapat menyinkronkan kebijakan retensi cache model dengan jadwal ETL database menggunakan parameter sql_trigger dan menetapkan interval masa berlaku cache dengan parameter max_cache_age. Untuk mengetahui informasi selengkapnya, lihat bagian Menyimpan kueri dalam cache dan mem-build ulang PDT dengan grup data.

Untuk pendekatan yang lebih sederhana, Anda dapat menggunakan parameter persist_for di tingkat model atau tingkat Jelajahi. Dengan menggunakan parameter persist_for dengan cara ini, Anda dapat menetapkan interval masa berlaku cache yang menggantikan interval default satu jam. Namun, penggunaan persist_for kurang andal dibandingkan dengan penggunaan datagroup karena beberapa alasan, seperti yang dibahas di bagian Menyimpan kueri dalam cache dengan persist_for.

Jika Jelajah atau model memiliki datagroup atau persist_for yang ditentukan, kebijakan penyimpanan dalam cache akan diubah sebagai berikut:

  • Sebelum interval persist_for atau interval max_cache_age grup data berakhir: Jika kueri dijalankan ulang, Looker akan mengambil data dari cache.
  • Pada saat interval persist_for atau interval max_cache_age grup data berakhir: Looker akan menghapus data dari cache.
  • Setelah interval persist_for atau interval max_cache_age grup data berakhir: Jika kueri dijalankan ulang, Looker akan mengambil data dari database secara langsung dan mereset interval persist_for atau max_cache_age.

Satu poin penting di sini adalah data dihapus dari cache saat interval persist_for atau max_cache_age berakhir.

Jika cache mencapai batas penyimpanan, data akan dikeluarkan berdasarkan algoritma Least Recently Used (LRU), tanpa jaminan bahwa data dengan interval persist_for atau max_cache_age yang telah berakhir masa berlakunya akan dihapus sekaligus.

Meminimalkan waktu yang dihabiskan data Anda di cache

Looker akan selalu menulis hasil kueri ke cache. Meskipun interval persist_for dan max_cache_age ditetapkan ke nol, data dalam cache mungkin masih disimpan hingga 10 menit. Semua data pelanggan yang disimpan di cache disk dienkripsi dengan Advanced Encryption Standard (AES).

Untuk meminimalkan jumlah waktu data disimpan dalam cache:

  • Untuk parameter persist_for (untuk model atau Jelajah) atau parameter max_cache_age (untuk grup data), tetapkan nilai ke 0 minutes. Looker akan menghapus cache saat masa berlaku interval persist_for berakhir, atau saat data mencapai interval max_cache_age yang ditentukan dalam datagroup-nya. (Anda tidak perlu menetapkan parameter persist_for PDT ke 0 minutes untuk meminimalkan jumlah data yang disimpan dalam cache. PDT ditulis ke database itu sendiri, bukan ke cache.)
  • Tetapkan parameter suggest_persist_for ke interval kecil. Nilai suggest_persist_for menentukan berapa lama Looker harus menyimpan saran filter di cache. Saran filter didasarkan pada kueri nilai untuk kolom yang sedang difilter. Hasil kueri ini disimpan dalam cache sehingga Looker dapat dengan cepat memberikan saran saat pengguna mengetik di kolom teks filter. Secara default, saran filter disimpan ke cache selama 6 jam. Untuk meminimalkan jumlah waktu data Anda berada di cache, tetapkan nilai suggest_persist_for ke nilai yang lebih rendah, seperti 5 minutes.

Memeriksa apakah kueri ditampilkan dari cache

Di jendela Jelajahi, Anda dapat menentukan apakah kueri telah ditampilkan dari cache dengan melihat informasi di samping tombol Jalankan setelah menjalankan kueri.

Saat kueri ditampilkan dari cache, teks "dari cache" akan ditampilkan. Jika tidak, jumlah waktu yang diperlukan untuk menampilkan kueri akan ditampilkan.

Memaksa hasil baru dibuat dari database

Di jendela Jelajahi, Anda dapat memaksa hasil baru diambil dari database. Setelah Anda menjalankan kueri (termasuk kueri hasil gabungan), pilih opsi Hapus Cache & Muat Ulang dari menu roda gigi Explore Actions.

Menyimpan kueri ke dalam cache dan mem-build ulang PDT dengan grup data

Gunakan grup data untuk mengoordinasikan jadwal ETL (ekstrak, transformasi, dan pemuatan) database Anda dengan kebijakan penyimpanan dalam cache Looker dan jadwal pembuatan ulang PDT.

Anda dapat menggunakan grup data untuk menentukan pemicu pembuatan ulang untuk PDT berdasarkan waktu data baru ditambahkan ke database Anda. Kemudian, Anda dapat menerapkan grup data yang sama ke Jelajah atau model sehingga hasil yang di-cache juga akan berakhir masa berlakunya saat PDT Anda di-build ulang.

Atau, Anda dapat menggunakan grup data untuk memisahkan pemicu pembuatan ulang PDT dari usia cache maksimum. Hal ini dapat berguna jika Anda memiliki Eksplorasi yang didasarkan pada data yang diperbarui sangat sering dan digabungkan ke PDT yang jarang di-build ulang. Dalam hal ini, Anda mungkin ingin cache kueri direset lebih sering daripada PDT di-build ulang.

Menentukan grup data

Tentukan grup data dengan parameter datagroup, baik dalam file model atau dalam file LookML-nya sendiri. Anda dapat menentukan beberapa grup data jika menginginkan kebijakan penyimpanan dalam cache dan pembuatan ulang PDT yang berbeda untuk Jelajah dan/atau PDT yang berbeda dalam project Anda.

Parameter datagroup dapat memiliki subparameter berikut:

  • label — Menentukan label opsional untuk grup data.
  • description — Menentukan deskripsi opsional untuk grup data yang dapat digunakan untuk menjelaskan tujuan dan mekanisme grup data.
  • max_cache_age — Menentukan string yang menentukan jangka waktu. Jika usia cache kueri melebihi jangka waktu, Looker akan membatalkan validasi cache. Saat berikutnya kueri dikeluarkan, Looker akan mengirimkan kueri ke database untuk mendapatkan hasil baru.
  • sql_trigger — Menentukan kueri SQL yang menampilkan satu baris dengan satu kolom. Jika nilai yang ditampilkan oleh kueri berbeda dengan hasil sebelumnya dari kueri, grup data akan berstatus dipicu.
  • interval_trigger — Menentukan jadwal waktu untuk memicu grup data, seperti "24 hours".

Setidaknya, grup data harus memiliki setidaknya parameter max_cache_age, parameter sql_trigger, atau parameter interval_trigger.

Berikut adalah contoh grup data yang memiliki sql_trigger yang disiapkan untuk mem-build ulang PDT setiap hari. Selain itu, max_cache_age disetel untuk menghapus cache kueri setiap dua jam, jika ada Eksplorasi yang menggabungkan PDT ke data lain yang diperbarui lebih sering dari sekali sehari.

datagroup: customers_datagroup {
  sql_trigger: SELECT DATE(NOW());;
  max_cache_age: "2 hours"
}

Setelah menentukan grup data, Anda dapat menetapkannya ke Jelajah dan PDT:

Menggunakan grup data untuk menentukan pemicu rebuild untuk PDT

Untuk menentukan pemicu pembuatan ulang PDT menggunakan grup data, buat parameter datagroup dengan subparameter sql_trigger atau interval_trigger. Kemudian, tetapkan grup data ke setiap PDT menggunakan subparameter datagroup_trigger dalam definisi derived_table PDT. Jika menggunakan datagroup_trigger untuk PDT, Anda tidak perlu menentukan strategi persistensi lainnya untuk tabel turunan. Jika menentukan beberapa strategi persistensi untuk PDT, Anda akan mendapatkan peringatan di Looker IDE, dan hanya datagroup_trigger yang akan digunakan.

Berikut adalah contoh definisi PDT yang menggunakan grup data customers_datagroup. Definisi ini juga menambahkan beberapa indeks, baik di customer_id maupun first_order_date. Untuk mengetahui informasi selengkapnya tentang cara menentukan PDT, lihat halaman dokumentasi Tabel turunan di Looker.

view: customer_order_facts {
  derived_table: {
    sql: ... ;;
    datagroup_trigger: customers_datagroup
    indexes: ["customer_id", "first_order_date"]
  }
}

Lihat halaman dokumentasi Tabel turunan di Looker untuk mengetahui informasi selengkapnya tentang cara kerja grup data dengan PDT.

Menggunakan grup data untuk menentukan reset cache kueri untuk Jelajah

Saat grup data dipicu, regenerator Looker akan mem-build ulang PDT yang menggunakan grup data tersebut sebagai strategi persistensi. Setelah PDT grup data dibuat ulang, Looker akan menghapus cache untuk Jelajah yang menggunakan PDT grup data yang dibuat ulang. Anda dapat menambahkan parameter max_cache_age ke definisi grup data jika ingin menyesuaikan jadwal reset cache kueri untuk grup data. Parameter max_cache_age memungkinkan Anda menghapus cache kueri sesuai jadwal yang ditentukan, selain reset cache kueri otomatis yang dilakukan Looker saat PDT grup data dibuat ulang.

Untuk menentukan kebijakan penyimpanan dalam cache kueri dengan grup data, buat parameter datagroup dengan subparameter max_cache_age.

Untuk menentukan grup data yang akan digunakan untuk mereset cache kueri di Jelajahi, gunakan parameter persist_with:

Contoh berikut menunjukkan grup data bernama orders_datagroup yang ditentukan dalam file model. Grup data memiliki parameter sql_trigger, yang menentukan bahwa kueri select max(id) from my_tablename akan digunakan untuk mendeteksi kapan ETL terjadi. Meskipun ETL tersebut tidak terjadi untuk sementara waktu, max_cache_age grup data menentukan bahwa data yang di-cache hanya akan digunakan selama maksimum 24 jam.

Parameter persist_with model mengarah ke kebijakan penyimpanan dalam cache orders_datagroup, yang berarti ini akan menjadi kebijakan penyimpanan dalam cache default untuk semua Jelajah di model. Namun, kita tidak ingin menggunakan kebijakan penyimpanan dalam cache default model untuk Jelajah customer_facts dan customer_background, sehingga kita dapat menambahkan parameter persist_with untuk menentukan kebijakan penyimpanan dalam cache yang berbeda untuk kedua Jelajah ini. Jelajah orders dan orders_facts tidak memiliki parameter persist_with, sehingga akan menggunakan kebijakan penyimpanan dalam cache default model: orders_datagroup.

datagroup: orders_datagroup {
  sql_trigger: SELECT max(id) FROM my_tablename ;;
  max_cache_age: "24 hours"
}

datagroup: customers_datagroup {
  sql_trigger: SELECT max(id) FROM my_other_tablename ;;
}

persist_with: orders_datagroup

explore: orders { ... }

explore: order_facts { ... }

explore: customer_facts {
  persist_with: customers_datagroup
  ...
}

explore: customer_background {
  persist_with: customers_datagroup
  ...
}

Jika persist_with dan persist_for ditentukan, Anda akan menerima peringatan validasi dan persist_with akan digunakan.

Menggunakan grup data untuk memicu pengiriman terjadwal

Grup data juga dapat digunakan untuk memicu pengiriman dasbor atau Tampilan. Dengan opsi ini, Looker akan mengirim data Anda saat grup data selesai, sehingga konten terjadwal selalu yang terbaru.

Menggunakan panel Admin untuk grup data

Jika memiliki peran admin Looker, Anda dapat menggunakan halaman Grup data di panel Admin untuk melihat grup data yang ada. Anda dapat melihat koneksi, model, dan status saat ini dari setiap grup data dan — jika ditentukan dalam LookML — label dan deskripsi untuk setiap grup data. Anda juga dapat mereset cache untuk grup data, memicu grup data, atau membuka LookML grup data.

Menyimpan kueri dalam cache dengan persist_for

Gunakan parameter persist_for di tingkat model atau tingkat Jelajah untuk mengubah interval retensi cache default Looker selama 1 jam. Anda dapat menetapkan interval sekecil 0 minutes dan interval setinggi 8760 hours (1 tahun) atau lebih tinggi.

Menentukan parameter persist_for dapat lebih cepat dan lebih sederhana, tetapi kurang andal, daripada menentukan datagroup. Datagroup direkomendasikan daripada persist_for karena alasan berikut:

  • Grup data dapat disinkronkan dengan proses ETL database Anda.
  • Anda dapat menggunakan kembali grup data di beberapa model dan Eksplorasi. Artinya, Anda dapat memperbarui max_cache_age grup data, dan tindakan ini akan memperbarui kebijakan penyimpanan dalam cache di setiap tempat grup data digunakan.
  • Anda dapat menghapus semua cache yang terkait dengan grup data dari halaman Grup data.