Apache Spark

Diese Seite enthält Informationen zum Verbinden von Looker mit Apache Spark 3.

Looker stellt über eine JDBC-Verbindung mit dem Spark Thrift-Server eine Verbindung zu Apache Spark 3+ her.

Netzwerk-Datenverkehr verschlüsseln

Es empfiehlt sich, den Netzwerkverkehr zwischen der Looker-Anwendung und Ihrer Datenbank zu verschlüsseln. Sehen Sie sich eine der Optionen an, die auf der Dokumentationsseite Sicheren Datenbankzugriff aktivieren beschrieben werden.

Looker-Verbindung zu Ihrer Datenbank erstellen

Wählen Sie im Bereich Admin von Looker die Option Verbindungen aus und klicken Sie dann auf Verbindung hinzufügen.

Geben Sie die Verbindungsdetails ein. Die meisten Einstellungen sind den meisten Datenbankdialekten gemeinsam. Weitere Informationen finden Sie auf der Dokumentationsseite Looker mit Ihrer Datenbank verbinden. Einige der Einstellungen werden im Folgenden beschrieben:

  • Name: Der Name der Verbindung. So wird im LookML-Modell auf die Verbindung verwiesen.
  • Dialekt: Wählen Sie Apache Spark 3+ aus.
  • Host: Der Thrift-Serverhost.
  • Port: Der Thrift-Serverport (standardmäßig 10000).
  • Datenbank: Das Standardschema bzw. die Standarddatenbank, die modelliert wird. Wenn für eine Tabelle keine Datenbank angegeben ist, wird davon ausgegangen.
  • Nutzername: Der Nutzer, als der sich Looker authentifiziert.
  • Passwort: Das optionale Passwort für den Looker-Nutzer.
  • PDTs aktivieren: Verwenden Sie diese Ein/Aus-Schaltfläche, um nichtflüchtige abgeleitete Tabellen zu aktivieren. Wenn PATs aktiviert sind, werden im Fenster Verbindung zusätzliche PAT-Einstellungen und der Abschnitt PDT-Überschreibungen angezeigt.
  • Temporäre Datenbank: Ein temporäres Schema bzw. eine temporäre Datenbank zum Speichern von PATs. Sie muss vorher mit einer Anweisung wie CREATE SCHEMA looker_scratch; erstellt werden.
  • Zusätzliche JDBC-Parameter: Fügen Sie hier zusätzliche Hive-JDBC-Parameter hinzu, z. B.:
    • ;spark.sql.inMemoryColumnarStorage.compressed=true
    • ;auth=noSasl
  • SSL: Lassen Sie die Option deaktiviert.
  • Datenbank-Zeitzone: Die Zeitzone der in Spark gespeicherten Daten. Normalerweise kann dieses Feld leer gelassen oder auf UTC gesetzt werden.
  • Abfragezeitzone: Die Zeitzone, in der die in Looker abgefragten Daten angezeigt werden sollen.

Klicken Sie auf Testen, um zu prüfen, ob die Verbindung erfolgreich hergestellt wurde. Informationen zur Fehlerbehebung finden Sie auf der Dokumentationsseite Datenbankkonnektivität testen.

Klicken Sie auf Verbinden, um diese Einstellungen zu speichern.

Unterstützte Funktionen

Damit Looker einige Funktionen unterstützen kann, müssen diese auch von Ihrem Datenbankdialekt unterstützt werden.

Apache Spark 3 und höher

Apache Spark 3+ unterstützt ab Looker 24.8 die folgenden Funktionen:

Funktion Unterstützt?
Supportstufe
Unterstützt
Looker (Google Cloud Core)
Yes
Symmetrische Summen
Yes
Abgeleitete Tabellen
Yes
Abgeleitete SQL-Tabellen
Yes
Nichtflüchtige native abgeleitete Tabellen
Yes
Stabile Ansichten
Yes
Abfrage beenden
Yes
SQL-basierte Pivots
Yes
Zeitzonen
Yes
SSL
Yes
Zwischensummen
Yes
Zusätzliche JDBC-Parameter
Yes
Groß-/Kleinschreibung beachten
Yes
Standorttyp
Yes
Listentyp
Yes
Perzentil
Yes
Unterschiedliche Perzentile
Nein
SQL-Runner-Show-Prozesse
Nein
SQL-Runner – Tabelle beschreiben
Yes
SQL Runner – Indexe anzeigen
Nein
SQL Runner Select 10
Yes
Anzahl der SQL-Runner
Yes
SQL erklären
Yes
OAuth-Anmeldedaten
Nein
Kontextkommentare
Yes
Verbindungs-Pooling
Nein
HLL-Skizzen
Nein
Aggregatfunktion
Yes
Inkrementelle PDTs
Nein
Millisekunden
Yes
Mikrosekunden
Yes
Materialisierte Ansicht
Nein
Ungefähre Anzahl unterschiedlich
Nein

Weitere Informationen

Nachdem Sie die Verbindung erstellt haben, legen Sie die Authentifizierungsoptionen fest.