Looker se connecte à Apache Spark via une connexion JDBC au serveur Spark Thrift.
Créer la connexion Looker à votre base de données
Dans la section Administration de Looker, sélectionnez Connexions, puis cliquez sur Ajouter une connexion.
Saisissez les informations de connexion. La majorité des paramètres sont communs à la plupart des dialectes de base de données. Pour en savoir plus, consultez la page de documentation Connecter Looker à votre base de données. Certains des paramètres sont décrits ci-dessous:
- Nom: nom de la connexion. C'est ainsi que la connexion sera référencée dans le modèle LookML.
- Dialect: sélectionnez Apache Spark 1.5+, Apache Spark 2+ ou Apache Spark 3+.
- Hôte: hôte du serveur Thrift.
- Port : port du serveur Thrift (10000 par défaut).
- Base de données: schéma/base de données par défaut qui sera modélisé. Lorsqu'aucune base de données n'est spécifiée pour une table, celle-ci sera utilisée par défaut.
- Nom d'utilisateur: utilisateur avec lequel Looker s'authentifiera.
- Password (Mot de passe) : mot de passe facultatif pour l'utilisateur Looker.
- Activer les tables dérivées persistantes: utilisez ce bouton pour activer les tables dérivées persistantes. Lorsque les tables dérivées persistantes sont activées, la fenêtre Connexion affiche les paramètres supplémentaires des tables dérivées persistantes, ainsi que la section Remplacements pour les PDT.
- Base de données temporaire: schéma/base de données temporaire pour le stockage des tables dérivées persistantes. Il doit être créé au préalable avec une instruction telle que
CREATE SCHEMA looker_scratch;. - Paramètres JDBC supplémentaires: ajoutez ici d'autres paramètres JDBC Hive, tels que :
;spark.sql.inMemoryColumnarStorage.compressed=true
;auth=noSasl - SSL: laissez cette case décochée.
- Database Time Zone (Fuseau horaire de la base de données) : fuseau horaire des données stockées dans Spark. Il peut généralement être laissé vide ou défini sur UTC.
- Requête de fuseau horaire: fuseau horaire pour l'affichage des données interrogées dans Looker.
Pour vérifier que la connexion a réussi, cliquez sur Tester. Pour en savoir plus sur le dépannage, consultez la page de test de la connectivité de la base de données.
Pour enregistrer ces paramètres, cliquez sur Connecter.
Prise en charge de fonctionnalités
Pour que Looker prenne en charge certaines fonctionnalités, votre dialecte de base de données doit également les prendre en charge.
Apache Spark 1.5+
Apache Spark 1.5 et versions ultérieures sont compatibles avec les fonctionnalités suivantes à partir de Looker 23.8:
| Caractéristique | Compatible ? |
|---|---|
| Niveau d'assistance | Intégration |
| Looker (Google Cloud Core) | Non |
| Agrégations symétriques | Oui |
| Tables dérivées | Oui |
| Tables dérivées SQL persistantes | Oui |
| Tables dérivées natives persistantes | Oui |
| Vues stables | Oui |
| Arrêt des requêtes | Oui |
| Pivots basés sur SQL | Oui |
| Fuseaux horaires | Oui |
| SSL | Oui |
| Sous-totaux | Oui |
| Paramètres JDBC supplémentaires | Oui |
| Sensible à la casse | Oui |
| Type d'emplacement | Oui |
| Type de liste | Oui |
| Centile | Oui |
| Centile distinct | Non |
| Processus d'affichage de l'exécuteur SQL | Non |
| Table "Décrire" de l'exécuteur SQL | Oui |
| Index d'émissions SQL Runner | Oui |
| Exécuteur SQL 10 | Oui |
| Nombre d'exécuteurs SQL | Oui |
| SQL Explain | Oui |
| Identifiants OAuth | Non |
| Commentaires contextuels | Oui |
| Pooling de connexions | Non |
| croquis HLL | Non |
| Reconnaissance d'agrégats. | Oui |
| Augmentation de tables PDT | Non |
| Millisecondes | Oui |
| Microsecondes | Oui |
| Vues matérialisées | Non |
| Nombre approximatif distinct | Non |
Apache Spark 2.0
Apache Spark 2.0 est compatible avec les fonctionnalités suivantes à partir de Looker 23.8:
| Caractéristique | Compatible ? |
|---|---|
| Niveau d'assistance | Compatible |
| Looker (Google Cloud Core) | Non |
| Agrégations symétriques | Oui |
| Tables dérivées | Oui |
| Tables dérivées SQL persistantes | Oui |
| Tables dérivées natives persistantes | Oui |
| Vues stables | Oui |
| Arrêt des requêtes | Oui |
| Pivots basés sur SQL | Oui |
| Fuseaux horaires | Oui |
| SSL | Oui |
| Sous-totaux | Oui |
| Paramètres JDBC supplémentaires | Oui |
| Sensible à la casse | Oui |
| Type d'emplacement | Oui |
| Type de liste | Oui |
| Centile | Oui |
| Centile distinct | Non |
| Processus d'affichage de l'exécuteur SQL | Non |
| Table "Décrire" de l'exécuteur SQL | Oui |
| Index d'émissions SQL Runner | Non |
| Exécuteur SQL 10 | Oui |
| Nombre d'exécuteurs SQL | Oui |
| SQL Explain | Oui |
| Identifiants OAuth | Non |
| Commentaires contextuels | Oui |
| Pooling de connexions | Non |
| croquis HLL | Non |
| Reconnaissance d'agrégats. | Oui |
| Augmentation de tables PDT | Non |
| Millisecondes | Oui |
| Microsecondes | Oui |
| Vues matérialisées | Non |
| Nombre approximatif distinct | Non |
Apache Spark 3+
Apache Spark 3+ est compatible avec les fonctionnalités suivantes à partir de Looker 23.8:
| Caractéristique | Compatible ? |
|---|---|
| Niveau d'assistance | Compatible |
| Looker (Google Cloud Core) | Oui |
| Agrégations symétriques | Oui |
| Tables dérivées | Oui |
| Tables dérivées SQL persistantes | Oui |
| Tables dérivées natives persistantes | Oui |
| Vues stables | Oui |
| Arrêt des requêtes | Oui |
| Pivots basés sur SQL | Oui |
| Fuseaux horaires | Oui |
| SSL | Oui |
| Sous-totaux | Oui |
| Paramètres JDBC supplémentaires | Oui |
| Sensible à la casse | Oui |
| Type d'emplacement | Oui |
| Type de liste | Oui |
| Centile | Oui |
| Centile distinct | Non |
| Processus d'affichage de l'exécuteur SQL | Non |
| Table "Décrire" de l'exécuteur SQL | Oui |
| Index d'émissions SQL Runner | Non |
| Exécuteur SQL 10 | Oui |
| Nombre d'exécuteurs SQL | Oui |
| SQL Explain | Oui |
| Identifiants OAuth | Non |
| Commentaires contextuels | Oui |
| Pooling de connexions | Non |
| croquis HLL | Non |
| Reconnaissance d'agrégats. | Oui |
| Augmentation de tables PDT | Non |
| Millisecondes | Oui |
| Microsecondes | Oui |
| Vues matérialisées | Non |
| Nombre approximatif distinct | Non |
Étapes suivantes
Une fois la connexion créée, définissez les options d'authentification.