Apache Hive

Halaman ini berisi informasi tentang cara menghubungkan Looker ke Apache Hive 2.3+ dan Apache Hive 3.1.2+.

Perhatikan hal berikut tentang dukungan Looker untuk berbagai versi Apache Hive:

  • Looker mendukung koneksi ke Apache Hive 2.3+ dan Apache Hive 3.1.2+.
  • Untuk Apache Hive 3.1.2+, Looker dapat sepenuhnya berintegrasi dengan database Apache Hive 3 hanya pada versi yang lebih baru dari 3.1.2. Hal ini disebabkan oleh masalah penguraian kueri dari Hive versi 2.4.0 - 3.1.2 yang mengakibatkan waktu penguraian yang sangat lama untuk SQL yang dibuat Looker.
  • Looker tidak mendukung koneksi ke Apache Hive 2. Kueri pada koneksi ke Apache Hive 2 akan menampilkan error.

Mengenkripsi traffic jaringan

Praktik terbaiknya adalah mengenkripsi traffic jaringan antara aplikasi Looker dan database Anda. Pertimbangkan salah satu opsi yang dijelaskan di halaman dokumentasi Mengaktifkan akses database yang aman.

Pengantar

Looker dirancang untuk terhubung ke server database menggunakan JDBC. Dalam kasus Hive, ini adalah server thrift (HiveServer2). Lihat dokumentasi Apache untuk informasi selengkapnya.

Secara default, server ini akan memproses port 10000.

Looker adalah alat kueri interaktif, sehingga diharapkan dapat berfungsi dengan mesin SQL interaktif. Jika Hive berjalan di MapReduce — hive.execution.engine ditetapkan ke mr — Hive akan menampilkan hasil kueri terlalu lambat untuk menjadi praktis.

Looker telah diuji dengan Hive di Tez (hive.execution.engine=tez), meskipun Anda juga dapat menjalankan Looker terhadap Hive di Spark. Dukungan Spark ditambahkan di Hive versi 1.1. (Looker mendukung Hive 1.2.1+.)

Tabel turunan persisten (PDT)

Untuk mengaktifkan tabel turunan persisten (PDT) di Looker menggunakan koneksi Hive, buat skema awal untuk digunakan Looker. Berikut adalah contoh perintah yang dapat Anda gunakan untuk membuat skema looker_scratch:

 CREATE SCHEMA looker_scratch;

Akun pengguna yang digunakan Looker untuk terhubung ke Hive (yang dapat bersifat anonim jika tidak ada autentikasi yang digunakan) harus memiliki kemampuan berikut dalam skema awal:

  • Membuat tabel
  • Mengubah tabel
  • Menghapus tabel

Uji ini dengan klien JDBC sebelum mencoba membuat PDT dengan Hive.

Antrean

Jika Anda ingin kueri dari Looker masuk ke antrean tertentu, masukkan parameter nama antrean di kolom Parameter JDBC tambahan di halaman Setelan Koneksi:

?tez.queue.name=the_bi_queue

Parameter Hive lainnya dapat ditetapkan dengan cara ini di kolom Additional JDBC parameters di halaman Connection Settings.

Dengan menggunakan atribut pengguna, kueri dari pengguna yang berbeda atau grup pengguna yang berbeda dapat masuk ke antrean yang berbeda. Untuk melakukannya, buat atribut pengguna yang bernama seperti queue_name; lalu, di kolom Parameter JDBC tambahan, tambahkan hal berikut:

?tez.queue.name={{ _user_attributes['queue_name'] }}

Anda juga dapat menggunakannya untuk menyesuaikan parameter hive-site.xml lainnya berdasarkan per pengguna atau per grup.

Membuat koneksi Looker ke database Anda

Ikuti langkah-langkah berikut untuk membuat koneksi dari Looker ke database Anda:

  1. Di bagian Admin di Looker, pilih Koneksi, lalu klik Tambahkan Koneksi.

  2. Pilih Apache Hive 2.3+ atau Apache Hive 3.1.2+ dari menu drop-down Dialek.

  3. Isi detail koneksi. Sebagian besar setelan bersifat umum untuk sebagian besar dialek database. Lihat halaman dokumentasi Menghubungkan Looker ke database Anda untuk mengetahui informasinya. Beberapa setelan akan dijelaskan di bawah ini:

    • Nama: Tentukan nama koneksi. Ini adalah cara Anda akan merujuk ke koneksi dalam project LookML.
    • Host: Tentukan nama host.
    • Port: Tentukan port database.
    • Database: Tentukan nama database.
    • Nama pengguna: Tentukan nama pengguna database.
    • Sandi: Tentukan sandi pengguna database.
    • Aktifkan PDT: Gunakan tombol ini untuk mengaktifkan tabel turunan persisten. Jika PDT diaktifkan, jendela Koneksi akan menampilkan setelan PDT tambahan dan bagian Penggantian PDT.
    • Temp Database: Tentukan nama skema awal yang dibuat di bagian Persistent derived tables (PDTs) di halaman dokumentasi ini.
    • Jumlah maksimum koneksi builder PDT: Tentukan jumlah build PDT serentak yang mungkin terjadi pada koneksi ini. Menetapkan nilai ini terlalu tinggi dapat berdampak negatif pada waktu kueri. Untuk mengetahui informasi selengkapnya, lihat halaman dokumentasi Menghubungkan Looker ke database.
    • Parameter JDBC tambahan: Tentukan parameter string JDBC tambahan.
    • Jadwal Pemeliharaan Datagroup dan PDT: Tentukan ekspresi cron yang menunjukkan kapan Looker harus memeriksa datagroup dan tabel turunan persisten. Dokumentasi Jadwal Pemeliharaan Datagroup dan PDT.
    • SSL: Centang untuk menggunakan koneksi SSL.
    • Verifikasi SSL: Periksa verifikasi nama host.
    • Koneksi maksimum per node: Setelan ini dapat dibiarkan pada nilai default pada awalnya. Lihat halaman dokumentasi Menghubungkan Looker ke database untuk mengetahui informasi selengkapnya.
    • Connection Pool Timeout: Setelan ini dapat dibiarkan pada nilai default pada awalnya. Baca selengkapnya tentang setelan ini di bagian Connection Pool Timeout di halaman dokumentasi Menghubungkan Looker ke database.
    • SQL Runner Precache: Untuk menyebabkan SQL Runner tidak memuat informasi tabel secara otomatis dan memuat informasi tabel hanya saat tabel dipilih, hapus centang pada opsi ini. Baca selengkapnya tentang setelan ini di bagian SQL Runner Precache di halaman dokumentasi Menghubungkan Looker ke database.
    • Zona Waktu Database: Tentukan zona waktu yang digunakan dalam database. Kosongkan kolom ini jika Anda tidak ingin konversi zona waktu. Lihat halaman dokumentasi Menggunakan setelan zona waktu untuk mengetahui informasi selengkapnya.

  4. Untuk memverifikasi bahwa koneksi berhasil, klik Uji. Lihat halaman dokumentasi Menguji konektivitas database untuk mengetahui informasi pemecahan masalah.

  5. Untuk menyimpan setelan ini, klik Hubungkan.

Dukungan fitur

Agar Looker mendukung beberapa fitur, dialek database Anda juga harus mendukungnya.

Apache Hive 2.3+

Apache Hive 2.3+ mendukung fitur berikut mulai Looker 24.20:

Fitur Didukung?
Level Dukungan
Integrasi
Looker (Google Cloud core)
Tidak
Agregat Simetris
Tidak
Tabel Turunan
Ya
Tabel Turunan SQL Persisten
Ya
Tabel Turunan Berbasis Persisten
Ya
Tampilan Stabil
Ya
Penghentian Kueri
Ya
Pivot berbasis SQL
Tidak
Zona waktu
Ya
SSL
Ya
Subtotal
Ya
Parameter Tambahan JDBC
Ya
Peka Huruf Besar/Kecil
Ya
Jenis Lokasi
Ya
Jenis Daftar
Ya
Persentil
Ya
Persentil Berbeda
Tidak
Proses Tampilkan SQL Runner
Tidak
SQL Runner Describe Table
Ya
SQL Runner Show Indexes
Ya
SQL Runner Select 10
Ya
Jumlah SQL Runner
Ya
SQL Explain
Ya
Kredensial Oauth
Tidak
Komentar Konteks
Ya
Penggabungan Koneksi
Tidak
Sketsa HLL
Tidak
Kesadaran Agregat
Ya
PDT inkremental
Tidak
Milidetik
Ya
Mikrodetik
Ya
Tampilan Terwujud
Tidak
Perkiraan Jumlah Berbeda
Tidak

Apache Hive 3.1.2+

Apache Hive 3.1.2+ mendukung fitur berikut mulai Looker 24.20:

Fitur Didukung?
Level Dukungan
Didukung
Looker (Google Cloud core)
Ya
Agregat Simetris
Tidak
Tabel Turunan
Ya
Tabel Turunan SQL Persisten
Ya
Tabel Turunan Berbasis Persisten
Ya
Tampilan Stabil
Ya
Penghentian Kueri
Ya
Pivot berbasis SQL
Tidak
Zona waktu
Ya
SSL
Ya
Subtotal
Ya
Parameter Tambahan JDBC
Ya
Peka Huruf Besar/Kecil
Ya
Jenis Lokasi
Ya
Jenis Daftar
Ya
Persentil
Ya
Persentil Berbeda
Tidak
Proses Tampilkan SQL Runner
Tidak
SQL Runner Describe Table
Ya
SQL Runner Show Indexes
Tidak
SQL Runner Select 10
Ya
Jumlah SQL Runner
Ya
SQL Explain
Ya
Kredensial Oauth
Tidak
Komentar Konteks
Ya
Penggabungan Koneksi
Tidak
Sketsa HLL
Tidak
Kesadaran Agregat
Ya
PDT inkremental
Tidak
Milidetik
Ya
Mikrodetik
Ya
Tampilan Terwujud
Tidak
Perkiraan Jumlah Berbeda
Tidak

Langkah berikutnya

Setelah menghubungkan database ke Looker, konfigurasi opsi login untuk pengguna.