Apache Spark

Halaman ini berisi informasi tentang cara menghubungkan Looker ke Apache Spark 3.

Looker terhubung ke Apache Spark 3+ melalui koneksi JDBC ke Spark Thrift Server.

Mengenkripsi lalu lintas jaringan

Praktik terbaiknya adalah mengenkripsi traffic jaringan antara aplikasi Looker dan database Anda. Pertimbangkan salah satu opsi yang dijelaskan di halaman dokumentasi Mengaktifkan akses database yang aman.

Membuat koneksi Looker ke database Anda

Di bagian Admin Looker, pilih Connections, lalu klik Add Connection.

Isi detail koneksi. Sebagian besar setelan bersifat umum untuk sebagian besar dialek database. Lihat halaman dokumentasi Menghubungkan Looker ke database untuk mendapatkan informasi. Beberapa setelan akan dijelaskan sebagai berikut:

  • Name: Nama koneksi. Inilah bagaimana koneksi akan dirujuk dalam model LookML.
  • Dialect: Pilih Apache Spark 3+.
  • Host: Host server Thrift.
  • Port Port server Thrift (10000 secara default).
  • Database: Skema/database default yang akan dimodelkan. Jika tidak ada {i>database<i} yang ditentukan untuk tabel, hal ini akan dianggap sebagai asumsi.
  • Nama pengguna: Pengguna yang akan diautentikasi oleh Looker.
  • Sandi: Sandi opsional untuk pengguna Looker.
  • Aktifkan PDT: Gunakan tombol ini untuk mengaktifkan tabel turunan persisten. Jika PDT diaktifkan, jendela Connection akan menampilkan setelan PDT tambahan dan bagian PDT Overrides.
  • Temp Database: Skema/database sementara untuk menyimpan PDT. Atribut ini harus dibuat terlebih dahulu, dengan pernyataan seperti CREATE SCHEMA looker_scratch;.
  • Parameter JDBC tambahan: Tambahkan parameter JDBC Hive tambahan di sini, seperti:
    • ;spark.sql.inMemoryColumnarStorage.compressed=true
    • ;auth=noSasl
  • SSL: Biarkan kotak ini tidak dicentang.
  • Zona Waktu Database: Zona waktu data yang disimpan di Spark. Biasanya dapat dibiarkan kosong atau disetel ke UTC.
  • Zona Waktu Kueri: Zona waktu untuk menampilkan data yang dikueri di Looker.

Untuk memverifikasi bahwa koneksi berhasil, klik Test. Lihat halaman dokumentasi Menguji konektivitas database untuk informasi pemecahan masalah.

Untuk menyimpan setelan ini, klik Hubungkan.

Dukungan fitur

Agar Looker dapat mendukung beberapa fitur, dialek database Anda juga harus mendukung fitur tersebut.

Apache Spark 3+

Apache Spark 3+ mendukung fitur berikut mulai Looker 24.6:

Fitur Didukung?
Level Dukungan
Didukung
Looker (Google Cloud core)
Ya
Agregat Simetris
Ya
Tabel Turunan
Ya
Tabel Turunan SQL Persisten
Ya
Tabel Turunan Berbasis Persisten
Ya
Tampilan Stabil
Ya
Penghentian Kueri
Ya
Pivot berbasis SQL
Ya
Zona waktu
Ya
SSL
Ya
Subtotal
Ya
Parameter Tambahan JDBC
Ya
Peka Huruf Besar/Kecil
Ya
Jenis Lokasi
Ya
Jenis Daftar
Ya
Persentil
Ya
Persentil berbeda
Tidak
Proses Tampilan Runner SQL
Tidak
Tabel Deskripsi Runner SQL
Ya
Indeks Tampilan Runner SQL
Tidak
Pilihan Runner SQL 10
Ya
Jumlah Runner SQL
Ya
Penjelasan SQL
Ya
Kredensial OAuth
Tidak
Komentar Konteks
Ya
Penggabungan Koneksi
Tidak
Sketsa HLL
Tidak
Awareness Gabungan
Ya
PDT inkremental
Tidak
Milidetik
Ya
Mikrodetik
Ya
Tampilan Terwujud
Tidak
Perkiraan Jumlah Berbeda
Tidak

Langkah berikutnya

Setelah Anda membuat koneksi, tetapkan opsi autentikasi.