Blocs Looker

Les Looker Blocks sont des modèles de données prédéfinis pour les modèles analytiques et les sources de données courants. Réutilisez les travaux que d'autres ont effectués au lieu de recommencer à zéro, puis personnalisez les blocs pour les adapter à vos spécifications exactes. Des modèles SQL optimisés aux modèles de données entièrement construits, les Looker Blocks peuvent servir de point de départ pour une modélisation rapide et flexible des données dans Looker.

Vous pouvez obtenir des blocs pour personnaliser votre instance Looker et les y ajouter à partir de diverses sources, y compris les suivantes :

  • Place de marché Looker autonome, où vous pouvez rechercher des blocs et accéder à leur code source.
  • Marketplace Looker accessible depuis votre instance Looker. Depuis cette place de marché, vous pouvez parcourir et installer des blocs Looker (appelés "modèles") directement dans votre instance Looker. Pour en savoir plus sur l'installation d'outils depuis Looker Marketplace, consultez la page de documentation Utiliser Looker Marketplace.

Types de blocs Looker

Les blocs Looker offrent diverses fonctionnalités, telles que les suivantes :

  • Les blocs de données, qui incluent à la fois des ensembles de données publics et des modèles LookML complets, nécessitent de copier le modèle LookML à partir d'un dépôt GitHub pour accéder aux tables modélisées. Ces blocs ne sont pas personnalisables. Pour obtenir des instructions détaillées, consultez Utiliser des blocs de données sur cette page.

  • Les applications de collecte de données, telles que Segment et Snowplow, suivent les événements dans un format relativement standardisé. Cela permet de créer des modèles de conception (capables de nettoyer, de transformer et d'analyser les données) qui peuvent être utilisés par n'importe quel client utilisant ces applications.

  • D'autres applications Web, comme Salesforce, vous permettent d'ajouter des champs personnalisés pour vos utilisateurs internes. Naturellement, cela crée des données dans un format moins standardisé. Par conséquent, nous pouvons créer un modèle pour une partie du modèle de données afin de lancer l'analyse, mais vous devrez personnaliser la partie non standardisée.

  • Il existe également des blocs pour les insights généraux sur l'activité. Ces blocs sont des modèles de conception SQL ou LookML optimisés qui sont indépendants de la source de données. Par exemple, de nombreuses entreprises souhaitent analyser la valeur vie d'un client au fil du temps. Ces modèles contiennent certaines hypothèses, mais vous pouvez les personnaliser pour répondre aux besoins spécifiques de votre entreprise. Ces modèles reflètent le point de vue de Looker sur la meilleure façon de mener certains types d'analyses.

Vous pouvez parcourir les blocs Looker dans le répertoire de l'instance publique du Marketplace Looker à l'adresse marketplace.looker.com.

Installer un bloc Looker

Pour installer un bloc Looker depuis Marketplace associé à votre instance Looker, suivez les instructions concernant l'installation d'un outil depuis Marketplace.

Pour installer un bloc Looker à partir de marketplace.looker.com, suivez les instructions du code source du bloc.

Chaque bloc Looker est associé à des instructions d'utilisation spécifiques.

Standardisation et personnalisation

Le degré de personnalisation de votre bloc peut dépendre du niveau de standardisation de votre schéma de base de données. La plupart des blocs Looker nécessitent une certaine personnalisation pour s'adapter à votre schéma de données.

Certains blocs présentent à la fois des explorations et des vues dans le même fichier. C'est pour faciliter la lecture, mais en général, vous devez copier les sections appropriées de LookML aux emplacements appropriés de votre modèle de données. Pour en savoir plus, consultez la page de documentation Types de fichiers dans un projet LookML.

Dans certains cas, vous devrez peut-être créer des fichiers LookML dans votre modèle de données pour héberger les exemples.

Utiliser des blocs de données

Les blocs de données sont un type spécial de Looker Block qui fournit l'ensemble de données ainsi que le modèle de données. Les blocs de données incluent des sources de données publiques, telles que :

  • Données démographiques : métriques démographiques courantes issues de l'American Community Survey au niveau des États, des comtés, des zones de tabulation des codes postaux et même des groupes d'îlots de recensement.
  • Données météo : rapports météo aux États-Unis au niveau du code postal, de 1920 à la veille. Ce bloc est mis à jour chaque nuit.

La procédure d'accès à l'ensemble de données d'un bloc de données varie en fonction du schéma de votre base de données. Les sections suivantes contiennent des instructions pour accéder aux ensembles de données sur ces bases de données :

Accéder aux ensembles de données sur Google BigQuery

Si vous possédez déjà un compte Google BigQuery, vous pouvez accéder aux ensembles de données hébergés par Looker dans BigQuery. Passez directement à la section Ajouter des blocs de données aux projets sur cette page.

Si vous n'avez pas encore de compte Google BigQuery, vous pouvez configurer un essai gratuit, puis accéder aux ensembles de données publics de Looker sur BigQuery.

Accéder aux ensembles de données sur d'autres bases de données

Les données transformées pour les ensembles de données Amazon Redshift, MySQL, PostgreSQL ou Oracle sont disponibles publiquement dans le service Google Cloud et dans S3. Vous pouvez ainsi les importer directement dans la base de données de votre choix.

Nous avons également mis à disposition le langage de définition de données (LDD) pour chacun des ensembles de données dans le dépôt GitHub. Il peut être nécessaire de modifier les instructions LDD pour les types de données de la base de données sélectionnée, mais elles devraient vous donner une idée des types de colonnes pour chaque table.

Téléchargez les données directement depuis l'un des emplacements suivants :

Accéder au modèle LookML

Dupliquez l'un de nos dépôts GitHub dans un nouveau dépôt GitHub (hébergé par Looker ou par votre entreprise) que vous pourrez ensuite étendre ou affiner dans votre instance :

Ajouter des blocs de données à des projets

En plus de la méthode décrite dans cette section, vous pouvez également utiliser les perfectionnements LookML pour exploiter les vues et les explorations dans vos projets.

Pour ajouter un bloc de données à votre projet :

  1. Ajoutez un projet à votre instance Looker.

  2. Copiez ou dupliquez les dépôts GitHub mentionnés précédemment pour accéder au code LookML prédéfini. Veillez à créer un dépôt GitHub.

  3. Supprimez les autres fichiers de dialecte de base de données du dépôt. Les blocs Looker contiennent généralement des fichiers pour Google BigQuery, Amazon Redshift et Snowflake. Par exemple, si vous configurez des blocs de données sur Google BigQuery, vous n'aurez besoin que des fichiers de vue Google BigQuery, du fichier Google BigQuery Explore et du fichier de modèle Google BigQuery.

  4. Remplacez le nom de la connexion dans votre fichier de modèle par la connexion à votre base de données où se trouvent les données des blocs de données. Si vous utilisez Google BigQuery ou Snowflake, utilisez la connexion à la base de données à partir de laquelle vous allez étendre ou affiner les données.

    Toute la logique de jointure se trouve dans un fichier .explore de chacun des dépôts. Il s'agit du fichier que vous inclurez dans les étapes suivantes, une fois que vous aurez configuré le fichier manifeste de votre projet.

  5. Dans votre projet Looker principal où vous allez étendre ou affiner les blocs de données, créez un fichier manifeste de projet.

  6. Ajoutez le code LookML suivant au fichier manifeste du projet pour référencer les blocs de données dans votre projet Looker principal :

    project_name: "<your_project_name\>"

    local_dependency: {
      project: "<project_name_of_datablock\>"
    }

Considérations et options de configuration

Google BigQuery : veillez à utiliser le bon ensemble de fichiers modélisés. Si vous utilisez Google BigQuery, vous pouvez faire référence à tous les fichiers dont le nom contient _bq_. Vous devrez peut-être adapter nos dialectes de modèle Google BigQuery à votre propre dialecte de base de données.

Extensions : tous nos projets ont été configurés pour autoriser les extensions à partir des fichiers Explorer, car les extensions de modèle peuvent entraîner des problèmes avec plusieurs connexions.

Joindre des tables dérivées : vous pouvez consulter notre documentation sur les tables dérivées natives. Vous pouvez laisser Looker écrire du code SQL pour vous à différents niveaux d'agrégation sur nos ensembles de données publics et les joindre à votre modèle.

Fusionner des ensembles de résultats : vous pouvez également choisir de fusionner des ensembles de résultats de nos ensembles de données avec vos données en combinant des ensembles de résultats de requête.

Exemple de configuration de l'ensemble de données démographiques

  1. Pour accéder aux données, vous pouvez télécharger les données brutes depuis nos buckets S3 ou Google Cloud Service, ou vous connecter à une base de données Looker.

  2. Importez le modèle Bloc de données démographiques depuis LookML en tant que projet distinct dans votre instance Looker.

  3. Utilisez le paramètre include pour importer le fichier de vue.

  4. Ensuite, étendez ou affinez le fichier de vue, ou utilisez des tables dérivées natives pour obtenir des données au niveau d'agrégation nécessaire pour les explorations.

    Dans notre exemple, comme les données démographiques sont agrégées à un niveau différent de celui de notre ensemble de données e-commerce (groupe de blocs par rapport au code postal), nous utilisons des tables dérivées intégrées pour agréger les statistiques au niveau du code postal. Cela élimine les jointures plusieurs-à-plusieurs complexes :

      include: "/american_community_survey/bq.explore"

  view: zipcode_income_facts {
    derived_table: {
      persist_for: "10000 hours"
      explore_source: fast_facts {
        column: ZCTA5 { field: tract_zcta_map.ZCTA5 }
        column: income_household { field: bg_facts.avg_income_house }
        column: total_population { field: bg_facts.total_population }
      }
    }
    dimension: ZCTA5 {}
    dimension: income_household {
      hidden: yes
    }

  5. Joignez les fichiers de vue au modèle :

      include: "acs*.view"

  explore: order_items {
    join: users {
      sql_on: ${users.id} = ${order_items.user_id} ;;
      type: left_outer
      relationship: many_to_one
    }

    join: zipcode_income_facts {
      sql_on: ${users.zip} = ${zipcode_income_facts.ZCTA5} ;;
      type: left_outer
      relationship: many_to_one
    }
  }

  6. Explorer et visualize les données