Apache Spark

Questa pagina contiene informazioni su come collegare Looker ad Apache Spark 3.

Looker si connette ad Apache Spark 3 e versioni successive tramite una connessione JDBC al server Spark Thrift.

Crittografia del traffico di rete

È buona prassi criptare il traffico di rete tra l'applicazione Looker e il database. Valuta la possibilità di utilizzare una delle opzioni descritte nella pagina della documentazione Abilitare l'accesso sicuro ai database.

Creazione della connessione di Looker al database

Nella sezione Amministrazione di Looker, seleziona Connessioni e poi fai clic su Aggiungi connessione.

Compila i dettagli della connessione. La maggior parte delle impostazioni è comune alla maggior parte dei dialetti di database. Per informazioni, consulta la pagina della documentazione Connessione di Looker al tuo database. Di seguito sono descritte alcune impostazioni:

  • Nome: il nome della connessione. Questo è il nome che verrà utilizzato per fare riferimento alla connessione nel modello LookML.
  • Dialetto: seleziona Apache Spark 3+.
  • Host: l'host del server Thrift.
  • Porta La porta del server Thrift (10000 per impostazione predefinita).
  • Database: lo schema/database predefinito che verrà modellato. Se non viene specificato alcun database per una tabella, verrà assunto questo valore.
  • Nome utente: l'utente con cui Looker eseguirà l'autenticazione.
  • Password: la password facoltativa per l'utente di Looker.
  • Abilita PDT: utilizza questo pulsante di attivazione/disattivazione per abilitare le tabelle derivate permanenti. Quando le PDT sono attivate, la finestra Connessione mostra ulteriori impostazioni PDT e la sezione Override PDT.
  • Database temporaneo: uno schema/database temporaneo per l'archiviazione delle PDT. Deve essere creato in precedenza, con un'istruzione come CREATE SCHEMA looker_scratch;.
  • Parametri JDBC aggiuntivi: aggiungi eventuali parametri JDBC Hive aggiuntivi, ad esempio:
    • ;spark.sql.inMemoryColumnarStorage.compressed=true
    • ;auth=noSasl
  • SSL: lascia questa opzione deselezionata.
  • Fuso orario del database: il fuso orario dei dati archiviati in Spark. In genere può essere lasciato vuoto o impostato su UTC.
  • Fuso orario query: il fuso orario per visualizzare i dati sottoposti a query in Looker.

Per verificare che la connessione sia andata a buon fine, fai clic su Test. Per informazioni sulla risoluzione dei problemi, consulta la pagina della documentazione Testare la connettività del database.

Per salvare queste impostazioni, fai clic su Connetti.

Funzionalità supportate

Affinché Looker supporti alcune funzionalità, anche il dialetto del database deve supportarle.

Apache Spark 3 e versioni successive

Apache Spark 3 e versioni successive supportano le seguenti funzionalità a partire da Looker 24.20:

Funzionalità Supportato?
Livello di assistenza
Supportato
Looker (Google Cloud core)
Aggregati simmetrici
Tabelle derivate
Tabelle derivate SQL permanenti
Tabelle derivate native permanenti
Visualizzazioni stabili
Interruzioni delle query
Pivot basati su SQL
Fusi orari
SSL
Subtotali
Parametri aggiuntivi JDBC
Sensibilità alle maiuscole
Tipo di località
Tipo di elenco
Percentile
Percentile distinto
No
Processi di visualizzazione di SQL Runner
No
Tabella Describe di SQL Runner
Indici di SQL Runner Show
No
SQL Runner Select 10
Conteggio di SQL Runner
SQL Explain
Credenziali OAuth
No
Commenti contestuali
Pool di connessioni
No
Schizzi HLL
No
Aggregate Awareness
PDT incrementali
No
Millisecondi
Microsecondi
Viste materializzate
No
Conteggio approssimativo valori distinti
No

Passaggi successivi

Dopo aver creato la connessione, imposta le opzioni di autenticazione.