Apache Hive

Halaman ini berisi informasi tentang cara menghubungkan Looker ke Apache Hive 2.3+ dan Apache Hive 3.1.2+.

Perhatikan hal-hal berikut tentang dukungan Looker untuk berbagai versi Apache Hive:

  • Looker mendukung koneksi ke Apache Hive 2.3+ dan Apache Hive 3.1.2+.
  • Untuk Apache Hive 3.1.2+, Looker dapat sepenuhnya berintegrasi dengan database Apache Hive 3 hanya pada versi yang lebih baru dari 3.1.2. Hal ini disebabkan masalah penguraian kueri dari Hive versi 2.4.0 - 3.1.2 yang menyebabkan waktu penguraian yang sangat lama untuk SQL yang dihasilkan Looker.
  • Looker tidak mendukung koneksi ke Apache Hive 2. Kueri terkait koneksi ke Apache Hive 2 akan menampilkan error.

Mengenkripsi lalu lintas jaringan

Praktik terbaiknya adalah mengenkripsi traffic jaringan antara aplikasi Looker dan database Anda. Pertimbangkan salah satu opsi yang dijelaskan di halaman dokumentasi Mengaktifkan akses database yang aman.

Pengantar

Looker dirancang untuk terhubung ke server database menggunakan JDBC. Dalam kasus Hive, ini adalah server penghematan (HiveServer2). Lihat dokumentasi Apache untuk informasi selengkapnya.

Secara default, server ini akan memantau port 10000.

Looker adalah alat kueri interaktif, sehingga diharapkan dapat digunakan dengan mesin SQL interaktif. Jika Hive berjalan di MapReduce — hive.execution.engine disetel ke mr — maka Hive akan menampilkan hasil kueri yang terlalu lambat sehingga sulit dilakukan.

Looker diuji dengan Hive on Tez (hive.execution.engine=tez), meskipun ada juga kemungkinan untuk menjalankan Looker pada Hive di Spark. Dukungan Spark ditambahkan di Hive versi 1.1. (Looker mendukung Hive 1.2.1+.)

Tabel turunan persisten (PDT)

Untuk mengaktifkan tabel turunan persisten (PDT) di Looker menggunakan koneksi Hive, buat skema awal untuk digunakan oleh Looker. Berikut adalah contoh perintah yang dapat Anda gunakan untuk membuat skema looker_scratch:

 CREATE SCHEMA looker_scratch;

Akun pengguna yang digunakan Looker untuk terhubung ke Hive (yang dapat bersifat anonim jika tidak ada autentikasi yang digunakan) harus memiliki kemampuan berikut dalam skema scratch:

  • Membuat tabel
  • Mengubah meja
  • Drop table

Uji ini dengan klien JDBC sebelum mencoba membuat PDT dengan Hive.

Antrean

Jika Anda ingin kueri dari Looker masuk ke antrean tertentu, masukkan parameter nama antrean di kolom Parameter JDBC tambahan di halaman Setelan Koneksi:

?tez.queue.name=the_bi_queue

Parameter Hive lainnya dapat ditetapkan dengan cara ini di kolom Parameter JDBC tambahan di halaman Setelan Koneksi.

Dengan menggunakan atribut pengguna, kueri dari pengguna yang berbeda atau grup pengguna yang berbeda dapat masuk ke antrean yang berbeda. Untuk melakukannya, buat atribut pengguna dengan nama seperti queue_name; lalu, di kolom Parameter JDBC tambahan, tambahkan hal berikut:

?tez.queue.name={{ _user_attributes['queue_name'] }}

Anda juga dapat menggunakan ini untuk menyesuaikan parameter hive-site.xml lainnya berdasarkan per pengguna atau per grup.

Membuat koneksi Looker ke database Anda

Ikuti langkah-langkah berikut untuk membuat koneksi dari Looker ke database Anda:

  1. Di bagian Admin Looker, pilih Connections, lalu klik Add Connection.

  2. Pilih Apache Hive 2.3+ atau Apache Hive 3.1.2+ dari menu drop-down Dialect.

  3. Isi detail koneksi. Sebagian besar setelan bersifat umum untuk sebagian besar dialek database. Lihat halaman dokumentasi Menghubungkan Looker ke database untuk mendapatkan informasi. Beberapa setelan akan dijelaskan sebagai berikut:

    • Name: Menentukan nama koneksi. Beginilah cara Anda merujuk koneksi dalam project LookML.
    • Host: Menentukan nama host.
    • Port: Menentukan port database.
    • Database: Menentukan nama database.
    • Username: Tentukan nama pengguna database.
    • Password: Menentukan sandi pengguna database.
    • Aktifkan PDT: Gunakan tombol ini untuk mengaktifkan tabel turunan persisten. Jika PDT diaktifkan, jendela Connection akan menampilkan setelan PDT tambahan dan bagian PDT Overrides.
    • Temp Database: Tentukan nama skema awal yang dibuat di bagian PDT di atas.
    • Jumlah maksimum koneksi builder PDT: Tentukan jumlah kemungkinan build PDT serentak pada koneksi ini. Menetapkan nilai ini terlalu tinggi dapat berdampak negatif pada waktu kueri. Untuk mengetahui informasi selengkapnya, lihat halaman dokumentasi Menghubungkan Looker ke database Anda.
    • Parameter JDBC tambahan: Tentukan parameter string JDBC tambahan.
    • Jadwal Pemeliharaan Grup Data dan PDT: Tentukan ekspresi cron yang menunjukkan kapan Looker harus memeriksa grup data dan tabel turunan persisten. Dokumentasi Jadwal Pemeliharaan PDT dan Grup Data.
    • SSL: Centang untuk menggunakan koneksi SSL.
    • Verifikasi SSL: Periksa verifikasi nama host.
    • Koneksi maksimum per node: Setelan ini dapat dibiarkan pada nilai default di awal. Lihat halaman dokumentasi Menghubungkan Looker ke database untuk mengetahui informasi selengkapnya.
    • Waktu Tunggu Kumpulan Koneksi: Setelan ini dapat dibiarkan pada nilai default di awal. Baca selengkapnya tentang setelan ini di bagian Waktu Tunggu Kumpulan Koneksi di halaman dokumentasi Menghubungkan Looker ke database Anda.
    • Precache SQL Runner: Agar SQL Runner tidak melakukan pramuat informasi tabel dan memuat informasi tabel hanya saat tabel dipilih, hapus centang opsi ini. Baca selengkapnya tentang setelan ini di bagian Precache SQL Runner di halaman dokumentasi Menghubungkan Looker ke database Anda.
    • Zona Waktu Database: Menentukan zona waktu yang digunakan di database. Kosongkan kolom ini jika Anda tidak ingin melakukan konversi zona waktu. Lihat halaman dokumentasi Menggunakan setelan zona waktu untuk informasi selengkapnya.

  4. Untuk memverifikasi bahwa koneksi berhasil, klik Test. Lihat halaman dokumentasi Menguji konektivitas database untuk informasi pemecahan masalah.

  5. Untuk menyimpan setelan ini, klik Hubungkan.

Dukungan fitur

Agar Looker dapat mendukung beberapa fitur, dialek database Anda juga harus mendukung fitur tersebut.

Apache Hive 2.3 dan yang lebih baru

Apache Hive 2.3+ mendukung fitur berikut mulai Looker 24.6:

Fitur Didukung?
Level Dukungan
Integrasi
Looker (Google Cloud core)
Tidak
Agregat Simetris
Tidak
Tabel Turunan
Ya
Tabel Turunan SQL Persisten
Ya
Tabel Turunan Berbasis Persisten
Ya
Tampilan Stabil
Ya
Penghentian Kueri
Ya
Pivot berbasis SQL
Tidak
Zona waktu
Ya
SSL
Ya
Subtotal
Ya
Parameter Tambahan JDBC
Ya
Peka Huruf Besar/Kecil
Ya
Jenis Lokasi
Ya
Jenis Daftar
Ya
Persentil
Ya
Persentil berbeda
Tidak
Proses Tampilan Runner SQL
Tidak
Tabel Deskripsi Runner SQL
Ya
Indeks Tampilan Runner SQL
Ya
Pilihan Runner SQL 10
Ya
Jumlah Runner SQL
Ya
Penjelasan SQL
Ya
Kredensial OAuth
Tidak
Komentar Konteks
Ya
Penggabungan Koneksi
Tidak
Sketsa HLL
Tidak
Awareness Gabungan
Ya
PDT inkremental
Tidak
Milidetik
Ya
Mikrodetik
Ya
Tampilan Terwujud
Tidak
Perkiraan Jumlah Berbeda
Tidak

Apache Hive 3.1.2+

Apache Hive 3.1.2+ mendukung fitur berikut mulai Looker 24.6:

Fitur Didukung?
Level Dukungan
Didukung
Looker (Google Cloud core)
Ya
Agregat Simetris
Tidak
Tabel Turunan
Ya
Tabel Turunan SQL Persisten
Ya
Tabel Turunan Berbasis Persisten
Ya
Tampilan Stabil
Ya
Penghentian Kueri
Ya
Pivot berbasis SQL
Tidak
Zona waktu
Ya
SSL
Ya
Subtotal
Ya
Parameter Tambahan JDBC
Ya
Peka Huruf Besar/Kecil
Ya
Jenis Lokasi
Ya
Jenis Daftar
Ya
Persentil
Ya
Persentil berbeda
Tidak
Proses Tampilan Runner SQL
Tidak
Tabel Deskripsi Runner SQL
Ya
Indeks Tampilan Runner SQL
Tidak
Pilihan Runner SQL 10
Ya
Jumlah Runner SQL
Ya
Penjelasan SQL
Ya
Kredensial OAuth
Tidak
Komentar Konteks
Ya
Penggabungan Koneksi
Tidak
Sketsa HLL
Tidak
Awareness Gabungan
Ya
PDT inkremental
Tidak
Milidetik
Ya
Mikrodetik
Ya
Tampilan Terwujud
Tidak
Perkiraan Jumlah Berbeda
Tidak

Langkah berikutnya

Setelah menghubungkan database ke Looker, konfigurasi opsi login untuk pengguna.