Apache Hive

Questa pagina contiene informazioni sulla connessione di Looker ad Apache Hive 2.3+ e Apache Hive 3.1.2+.

Tieni presente quanto segue sul supporto di Looker per le diverse versioni di Apache Hive:

  • Looker supporta le connessioni ad Apache Hive 2.3+ e Apache Hive 3.1.2+.
  • Per Apache Hive 3.1.2+, Looker può integrarsi completamente con i database Apache Hive 3 solo nelle versioni successive alla 3.1.2. Questo è dovuto a un problema di analisi delle query delle versioni di Hive 2.4.0-3.1.2 di Hive che ha comportato tempi di analisi estremamente lunghi per l'SQL generato da Looker.
  • Looker non supporta le connessioni ad Apache Hive 2. Le query sulle connessioni ad Apache Hive 2 restituiranno un errore.

Crittografia del traffico di rete in corso...

Una best practice consiste nel criptare il traffico di rete tra l'applicazione Looker e il tuo database. Prendi in considerazione una delle opzioni descritte nella pagina della documentazione Abilitazione dell'accesso sicuro al database.

Introduzione

Looker è progettato per connettersi a un server di database tramite JDBC. Nel caso di Hive, si tratta del server dell'usato (HiveServer2). Consulta la documentazione di Apache per ulteriori informazioni.

Per impostazione predefinita, questo server rimane in ascolto sulla porta 10000.

Looker è uno strumento di query interattivo e prevede l'uso di un motore SQL interattivo. Se Hive è in esecuzione su MapReduce (hive.execution.engine è impostato su mr), Hive restituirà i risultati delle query troppo lentamente per essere pratici.

Looker è stato testato con Hive su Tez (hive.execution.engine=tez), sebbene sia possibile eseguire Looker su Hive su Spark. Il supporto di Spark è stato aggiunto in Hive versione 1.1. Looker supporta Hive 1.2.1 e versioni successive.

Tabelle derivate permanenti (PDT)

Per abilitare le tabelle derivate permanenti (PDT) in Looker utilizzando una connessione Hive, crea uno schema temporaneo che Looker possa utilizzare. Di seguito è riportato un esempio di un comando che puoi utilizzare per creare uno schema looker_scratch:

 CREATE SCHEMA looker_scratch;

L'account utente utilizzato da Looker per connettersi a Hive (che può essere anonimo se non viene utilizzata l'autenticazione) deve avere le seguenti funzionalità nello schema temporaneo:

  • Creare tabelle
  • Modifica tabelle
  • Elimina tabelle

Esegui un test con un client JDBC prima di tentare di creare PDT con Hive.

Code

Se vuoi che le query di Looker vengano inserite in una coda specifica, inserisci il parametro del nome della coda nel campo Parametri JDBC aggiuntivi nella pagina Impostazioni di connessione:

?tez.queue.name=the_bi_queue

Altri parametri Hive possono essere impostati in questo modo nel campo Parametri JDBC aggiuntivi della pagina Impostazioni di connessione.

Utilizzando gli attributi utente, è possibile che le query di utenti diversi o di gruppi di utenti diversi vengano inserite in code diverse. Per farlo, crea un attributo utente denominato queue_name; quindi, nel campo Parametri JDBC aggiuntivi, aggiungi quanto segue:

?tez.queue.name={{ _user_attributes['queue_name'] }}

Puoi utilizzare questa opzione per personalizzare anche altri parametri hive-site.xml a livello di singolo utente o di gruppo.

Creazione della connessione Looker al tuo database

Segui questi passaggi per creare la connessione da Looker al tuo database:

  1. Nella sezione Admin (Amministrazione) di Looker, seleziona Connections (Connessioni) e quindi fai clic su Add Connection (Aggiungi connessione).

  2. Seleziona Apache Hive 2.3 o versioni successive o Apache Hive 3.1.2 o versioni successive dal menu a discesa Dialect.

  3. Compila i dettagli della connessione. La maggior parte delle impostazioni è comune alla maggior parte dei dialetti dei database. Per informazioni, consulta la pagina della documentazione Collegamento di Looker al tuo database. Di seguito sono descritte alcune delle impostazioni:

    • Nome: specifica il nome della connessione. Questo è il modo in cui farai riferimento alla connessione nei progetti LookML.
    • Host: specifica il nome host.
    • Porta: specifica la porta del database.
    • Database: specifica il nome del database.
    • Nome utente: specifica il nome utente del database.
    • Password: specifica la password utente del database.
    • Abilita le PDT: utilizza questa opzione per abilitare le tabelle derivate permanenti. Quando le PDT sono abilitate, la finestra Connection mostra le impostazioni PDT aggiuntive e la sezione PDT Overrides.
    • Database temporaneo: specifica il nome dello schema temporaneo creato nella sezione Tabelle derivate permanenti (PDT) di questa pagina della documentazione.
    • Numero massimo di connessioni del builder di PDT: specifica il numero di possibili build di PDT simultanee su questa connessione. L'impostazione di questo valore troppo alto potrebbe influire negativamente sui tempi delle query. Per saperne di più, consulta la pagina della documentazione Connessione di Looker al tuo database.
    • Parametri JDBC aggiuntivi: specifica gli eventuali parametri di stringa JDBC aggiuntivi.
    • Pianificazione della manutenzione di PDT e gruppi di dati: specifica un'espressione cron che indichi quando Looker deve controllare i gruppi di dati e le tabelle derivate permanenti. Documentazione relativa alla pianificazione della manutenzione di PDT e gruppi di dati.
    • SSL: seleziona questa opzione per utilizzare le connessioni SSL.
    • Verifica SSL: controlla la verifica del nome host.
    • Numero massimo di connessioni per nodo: inizialmente questa impostazione può essere lasciata sul valore predefinito. Per saperne di più, consulta la pagina della documentazione Collegamento di Looker al tuo database.
    • Timeout del pool di connessioni: inizialmente è possibile lasciare il valore predefinito per questa impostazione. Per saperne di più su questa impostazione, consulta la sezione Timeout del pool di connessioni della pagina della documentazione Connessione di Looker al tuo database.
    • SQL Runner Precache: deseleziona questa opzione per fare in modo che SQL Runner non precarichi le informazioni della tabella e le carichi solo quando ne è selezionata una. Per saperne di più su questa impostazione, consulta la sezione SQL Runner Precache della pagina della documentazione Connessione di Looker al database.
    • Database Time Zone: specifica il fuso orario utilizzato nel database. Lascia vuoto questo campo se non vuoi eseguire la conversione del fuso orario. Per ulteriori informazioni, consulta la pagina della documentazione Utilizzo delle impostazioni del fuso orario.

  4. Per verificare che la connessione sia andata a buon fine, fai clic su Test. Per informazioni sulla risoluzione dei problemi, consulta la pagina della documentazione relativa al test della connettività del database.

  5. Per salvare queste impostazioni, fai clic su Connetti.

Supporto delle funzionalità

Affinché Looker supporti alcune funzionalità, è necessario che anche il dialetto del tuo database le supporti.

Apache Hive 2.3 o versioni successive

Apache Hive 2.3 e versioni successive supporta le seguenti funzionalità a partire da Looker 24.10:

Funzionalità Supportata?
Livello di assistenza
Integrazione
Looker (Google Cloud core)
No
Aggregati simmetrici
No
Tabelle derivate
Sì
Tabelle derivate da SQL permanente
Sì
Tabelle derivate native permanenti
Sì
Viste stabili
Sì
Eliminazione delle query
Sì
Pivot basati su SQL
No
Fusi orari
Sì
SSL
Sì
Subtotali
Sì
Parametri aggiuntivi JDBC
Sì
Sensibilità alle maiuscole
Sì
Tipo di località
Sì
Tipo di elenco
Sì
Percentile
Sì
Percentile distinto
No
Processi SQL Runner Show
No
Tabella di descrizione di SQL Runner
Sì
SQL Runner Mostra indici
Sì
Selezione SQL Runner 10
Sì
Conteggio runner SQL
Sì
Spiegazione SQL
Sì
Credenziali OAuth
No
Commenti contestuali
Sì
Pooling di connessioni
No
Schizzi HLL
No
Consapevolezza aggregata
Sì
PDT incrementali
No
Millisecondi
Sì
Microsecondi
Sì
Viste materializzate
No
Conteggio approssimato distinto
No

Apache Hive 3.1.2 o versioni successive

Apache Hive 3.1.2 e versioni successive supporta le seguenti funzionalità a partire da Looker 24.10:

Funzionalità Supportata?
Livello di assistenza
Supportato
Looker (Google Cloud core)
Sì
Aggregati simmetrici
No
Tabelle derivate
Sì
Tabelle derivate da SQL permanente
Sì
Tabelle derivate native permanenti
Sì
Viste stabili
Sì
Eliminazione delle query
Sì
Pivot basati su SQL
No
Fusi orari
Sì
SSL
Sì
Subtotali
Sì
Parametri aggiuntivi JDBC
Sì
Sensibilità alle maiuscole
Sì
Tipo di località
Sì
Tipo di elenco
Sì
Percentile
Sì
Percentile distinto
No
Processi SQL Runner Show
No
Tabella di descrizione di SQL Runner
Sì
SQL Runner Mostra indici
No
Selezione SQL Runner 10
Sì
Conteggio runner SQL
Sì
Spiegazione SQL
Sì
Credenziali OAuth
No
Commenti contestuali
Sì
Pooling di connessioni
No
Schizzi HLL
No
Consapevolezza aggregata
Sì
PDT incrementali
No
Millisecondi
Sì
Microsecondi
Sì
Viste materializzate
No
Conteggio approssimato distinto
No

Passaggi successivi

Dopo aver collegato il database a Looker, configura le opzioni di accesso per gli utenti.