Présentation d'Analytics Hub

Analytics Hub est une plate-forme d'échange de données qui vous permet de partager des données et des insights à grande échelle à travers les limites organisationnelles grâce à un framework de sécurité et de confidentialité robuste. Avec Analytics Hub, vous pouvez découvrir une bibliothèque de données préparées par différents fournisseurs de données et y accéder. Cette bibliothèque inclut également des ensembles de données fournis par Google.

Par exemple, en utilisant Analytics Hub, vous pouvez enrichir vos initiatives d'analyse et de ML avec des ensembles de données tiers ou fournis par Google.

En tant qu'utilisateur d'Analytics Hub, vous pouvez effectuer les tâches suivantes :

  • En tant qu'éditeur Analytics Hub, vous pouvez monétiser vos données en les partageant avec votre réseau partenaire ou au sein de votre propre organisation en temps réel. Les fiches vous permettent de partager des données sans les répliquer. Vous pouvez créer un catalogue de sources de données prêtes pour l'analyse, avec des autorisations précises qui vous permettent de fournir les données au public auxquelles elles sont destinées. Vous pouvez également gérer les abonnements et afficher les métriques d'utilisation de vos fiches.

  • En tant qu'abonné Analytics Hub, vous pouvez découvrir les données que vous recherchez, combiner des données partagées avec vos données existantes et exploiter les fonctionnalités intégrées de BigQuery. Lorsque vous vous abonnez à une fiche, un ensemble de données associé ou un abonnement Pub/Sub associé est créé dans votre projet. Vous pouvez gérer vos abonnements à l'aide de la ressource Abonnement, qui stocke les informations pertinentes sur l'abonné et représente la connexion entre l'éditeur et l'abonné.

  • En tant que lecteur Analytics Hub, vous pouvez parcourir les ensembles de données auxquels vous avez accès dans Analytics Hub et demander à l'éditeur l'accès aux données partagées.

  • En tant qu'administrateur Analytics Hub, vous pouvez créer des échanges de données permettant le partage de données, puis accorder des autorisations aux éditeurs et aux abonnés pour accéder à ces échanges de données.

Pour en savoir plus sur les rôles utilisateur Analytics Hub, consultez la section Configurer les rôles Analytics Hub.

Architecture

Analytics Hub est basé sur un modèle de publication et d'abonnement à des ressources de données Google Cloud, ce qui permet un partage en place sans copie. Analytics Hub est compatible avec les ressources Google Cloud suivantes:

  • Ensembles de données BigQuery
  • Sujets Pub/Sub

Les workflows pour les éditeurs et pour les abonnés dans Analytics Hub sont expliqués en détail dans les sections suivantes.

Workflow pour les éditeurs

Le schéma suivant décrit la façon dont les éditeurs interagissent avec Analytics Hub :

Interaction entre les éditeurs Analytics Hub et Analytics Hub.
Figure 1. Workflow pour les éditeurs Analytics Hub.

Dans la figure 1, les fonctionnalités suivantes sont associées à des libellés : "Shared resources" (ressources partagées), "Data exchange" (échange de données) et "Listing" (fiche).

Ressources partagées

Les ressources partagées représentent l'unité de partage d'un éditeur dans Analytics Hub.

Ensembles de données partagés
Un ensemble de données partagé est un ensemble de données BigQuery qui représente l'unité de partage de données dans Analytics Hub. La séparation du calcul et du stockage dans l'architecture de BigQuery permet aux éditeurs de données de partager des jeux de données avec autant d'abonnés qu'ils le souhaitent sans avoir à effectuer plusieurs copies des données. En tant qu'éditeur, vous créez un ensemble de données BigQuery ou en utilisez un existant dans votre projet avec les objets compatibles suivants que vous souhaitez diffuser à vos abonnés :Les ensembles de données partagés sont compatibles avec la sécurité au niveau des colonnes et la sécurité au niveau des lignes.
Sujets partagés (preview)
Un sujet partagé est un sujet Pub/Sub qui représente l'unité de partage de flux de données dans Analytics Hub. En tant qu'éditeur, vous créez ou utilisez un Pub/Sub existant dans votre projet et le distribuez à vos abonnés.

Échanges de données

Un échange de données est un conteneur qui permet le partage de données en libre-service. Il contient les fiches qui font référence à des données partagées. Avec Analytics Hub, les éditeurs et les administrateurs peuvent accorder l'accès aux abonnés au niveau des échanges et des fiches. Cette méthode permet d'éviter d'accorder explicitement l'accès aux ressources partagées sous-jacentes. Un abonné Analytics Hub peut parcourir les échanges de données, découvrir des données auxquelles il peut accéder, et s'abonner aux ressources partagées. Lorsque vous créez un échange de données, vous pouvez lui attribuer une adresse e-mail de contact principale. L'adresse e-mail de contact principale permet aux utilisateurs de contacter le propriétaire d'un échange de données pour lui poser des questions ou lui faire part de leurs préoccupations. Un échange de données peut être des types suivants :
  • Échange de données privé. Par défaut, un échange de données est privé et seuls les utilisateurs ou les groupes ayant accès à cet échange peuvent afficher les fiches associées ou s'y abonner.
  • Échange de données public. Par défaut, un échange de données est privé et seuls les utilisateurs ou les groupes ayant accès à cet échange peuvent afficher les fiches associées ou s'y abonner. Toutefois, vous pouvez choisir de rendre un échange de données public. Les fiches des échanges de données publics peuvent être découvertes et faire l'objet d'abonnements par les utilisateurs Google Cloud (allAuthenticatedUsers). Pour en savoir plus sur les échanges de données publics, consultez la page Rendre un échange de données public.

En tant qu'administrateur Analytics Hub, vous pouvez créer plusieurs échanges de données dans Analytics Hub et gérer les autres utilisateurs Analytics Hub.

Fiches

Une fiche est une référence à une ressource partagée répertoriée par un éditeur dans un échange de données. En tant qu'éditeur, vous pouvez créer une fiche et spécifier la description de la ressource, des exemples de requêtes à exécuter ou d'informations sur les messages, des liens vers toute documentation pertinente et toute information supplémentaire pouvant aider les abonnés à utiliser votre ressource partagée. Lorsque vous créez une fiche, vous pouvez attribuer une adresse e-mail de contact principale, un nom et un contact de fournisseur, ainsi qu'un nom et un contact d'éditeur. L'adresse e-mail de contact principale permet aux utilisateurs de contacter le propriétaire d'une fiche pour lui poser des questions ou lui faire part de leurs préoccupations concernant l'échange de données. Le nom et les coordonnées du fournisseur correspondent aux informations de l'agence qui a initialement fourni les données de la fiche. Ces informations sont facultatives. Le nom et les coordonnées de l'éditeur correspondent à l'agence qui a publié les données à utiliser dans Analytics Hub. Ces informations sont facultatives. Pour en savoir plus, consultez la section Gérer les fiches. Une fiche peut être de deux types selon la stratégie IAM (Identity and Access Management) définie pour la fiche et pour le type d'échange de données qui la contient :
  • Fiche publique. Elle est partagée avec tous les utilisateurs Google Cloud (allAuthenticatedUsers). Les fiches d'un échange de données public sont des fiches publiques. Ces fiches peuvent faire référence à une ressource publique gratuite ou à une ressource commerciale. Si la fiche correspond à une ressource commerciale, les abonnés peuvent demander l'accès à la fiche, et le fournisseur de données contacte ces abonnés directement.
  • Liste privée : Elle est partagée directement avec des personnes ou des groupes. Par exemple, une fiche privée peut référencer un ensemble de données de métriques marketing que vous partagez avec d'autres équipes internes de votre entreprise.

Workflow pour les abonnés

Le schéma suivant décrit la façon dont les abonnés interagissent avec Analytics Hub :

Interaction entre les abonnés Analytics Hub et Analytics Hub.
Figure 2. Workflow pour les abonnés Analytics Hub.

Dans la figure 2, les fonctionnalités Analytics Hub suivantes sont associées à des libellés : Shared resources (Ressources partagées), Data exchange (Échange de données), Listing (Fiche) et Linked resources (Ressources associées).

Ressources associées

Les ressources associées sont créées lorsque vous vous abonnez à une fiche Analytics Hub. Elles permettent de connecter un abonné à la ressource partagée sous-jacente.

Ensembles de données associés
Un ensemble de données associé est un ensemble de données BigQuery en lecture seule qui sert de pointeur ou de référence à un ensemble de données partagé. L'abonnement à une fiche crée un ensemble de données associé dans votre projet, et non une copie de l'ensemble de données. Les abonnés peuvent donc lire les données, mais ne peuvent pas lui ajouter des objets ni mettre à jour les objets qu'il contient. Lorsque vous interrogez des objets tels que des tables et des vues via un ensemble de données associé, les données renvoyées sont celles de l'ensemble de données partagé. Pour en savoir plus sur les ensembles de données associés, consultez la section Afficher les fiches et s'y abonner. Les ensembles de données associés sont autorisés à accéder aux tables et aux vues d'un ensemble de données partagé. Les abonnés ayant des ensembles de données associés accèdent aux tables et aux vues d'un ensemble de données partagé sans nécessiter d'autorisation IAM (Identity and Access Management) supplémentaire. Les ensembles de données associés sont compatibles avec les objets suivants :
Abonnements Pub/Sub associés (version Preview)
S'abonner à une fiche avec un sujet partagé crée un abonnement Pub/Sub associé dans le projet d'abonné. Aucune copie des données du sujet ou des messages partagés n'est créée. Les abonnés de l'abonnement Pub/Sub associé peuvent accéder aux messages publiés dans le sujet partagé. Les abonnés accèdent aux données de message d'un sujet partagé sans nécessiter d'autorisation IAM (Identity and Access Management) supplémentaire. Les éditeurs peuvent gérer les abonnements directement dans Pub/Sub ou via la gestion des abonnements dans Analytics Hub. Pour en savoir plus sur les abonnements Pub/Sub associés, consultez Partage de flux avec Pub/Sub.

Options de sortie des données (ensembles de données partagés BigQuery uniquement)

Les options de sortie des données permettent aux éditeurs de limiter l'exportation par les abonnés des données hors des ensembles de données associés à BigQuery.

Vous pouvez activer la restriction de sortie des données sur une fiche, les résultats d'une requête ou les deux. Lorsque la sortie des données est limitée, les restrictions suivantes sont appliquées :

  • Les API de copie, de clonage, d'exportation et d'instantané sont désactivées.

  • Les options de copie, de clonage, d'exportation et d'instantané dans la console Google Cloud sont désactivées.

  • La connexion de l'ensemble de données limité à l'explorateur de tables est désactivée.

  • Le service de transfert de données BigQuery est désactivé sur l'ensemble de données limité.

  • Les instructions CREATE TABLE AS SELECT et l'écriture dans une table de destination sont désactivées.

  • Les instructions CREATE VIEW AS SELECT et l'écriture dans une vue de destination sont désactivées.

Lorsque vous créez une fiche, vous pouvez définir les options de sortie des données appropriées.

Limites

Analytics Hub présente les limites suivantes :

  • Un ensemble de données partagé peut contenir au maximum 1 000 ensembles de données associés.

  • Un sujet partagé peut comporter un maximum de 10 000 abonnements Pub/Sub. Cette limite inclut les abonnements Pub/Sub associés et les abonnements Pub/Sub créés en dehors d'Analytics Hub (par exemple, directement à partir de Pub/Sub).

  • Un ensemble de données contenant des ressources non compatibles ne peut pas être sélectionné en tant qu'ensemble de données partagé lorsque vous créez une fiche. Pour en savoir plus sur les objets BigQuery compatibles avec Analytics Hub, consultez la section Ensembles de données partagés de ce document.

  • Vous ne pouvez pas définir de rôles IAM ni de règles IAM sur des tables individuelles dans un ensemble de données associé. Appliquez-les plutôt au niveau de l'ensemble de données associé.

  • Les ensembles de données associés créés avant le 25 juillet 2023 ne sont pas remplis par la ressource d'abonnement. Seuls les abonnements créés après le 25 juillet 2023 fonctionnent avec les méthodes d'API.

  • Si vous êtes éditeur, les limitations d'interopérabilité BigQuery suivantes s'appliquent:

    • Les abonnés doivent disposer d'autorisations explicites pour lire l'ensemble de données source afin de pouvoir interroger les vues dans les ensembles de données associés. Pour accorder l'accès aux vues, il est recommandé aux éditeurs de créer des vues autorisées. Les vues autorisées peuvent autoriser les abonnés à accéder aux données d'une vue sans leur donner accès aux données sources sous-jacentes.

    • Le plan de requête affiche la requête sur la vue partagée et la requête de routine, y compris les ID de projet et les autres ensembles de données impliqués dans les vues autorisées. N'incluez jamais des éléments tels que des clés de chiffrement que vous considérez comme sensibles dans la requête de vue partagée ou de routine.

    • Les ensembles de données partagés sont indexés dans Data Catalog. Les mises à jour d'un ensemble de données partagé, telles que l'ajout de tables ou de vues, sont mises à la disposition des abonnés sans délai. Toutefois, dans certains cas, par exemple lorsqu'un ensemble de données partagé contient plus de 100 abonnés ou tables, les mises à jour peuvent prendre jusqu'à 18 heures pour être indexées dans Data Catalog. En raison du délai d'indexation, les abonnés ne peuvent pas rechercher immédiatement dans la console Google Cloud ces ressources mises à jour.

    • Les sujets partagés sont indexés dans Data Catalog, mais vous ne pouvez pas filtrer spécifiquement par type de ressource.

    • Si vous avez configuré des règles de sécurité au niveau des lignes ou de masquage des données sur les tables répertoriées, les abonnés doivent être des clients Enterprise ou Enterprise Plus pour exécuter le job de requête sur l'ensemble de données associé. Pour obtenir des informations sur les éditions, consultez la page Présentation des éditions BigQuery.

  • Si vous êtes abonné, les limites d'interopérabilité BigQuery suivantes s'appliquent:

    • Les vues matérialisées faisant référence à des tables de l'ensemble de données associé ne sont pas acceptées.

    • Il n'est pas possible de prendre des instantanés de tables issues d'un ensemble de données associé.

    • Les requêtes comportant des ensembles de données associés et des instructions JOIN supérieures à 1 To (stockage physique) peuvent échouer. Vous pouvez contacter l'assistance pour résoudre ce problème.

    • Vous ne pouvez pas utiliser de qualificatifs de région avec des vues INFORMATION_SCHEMA pour afficher les métadonnées des tables de votre ensemble de données associé.

    • Lorsque vous interrogez des routines dans un ensemble de données associé, vous ne pouvez interroger que des fonctions définies par l'utilisateur (SQL et JavaScript) et Fonctions de table. L'interrogation d'un type de routine non compatible génère le message d'erreur suivant : Querying routine type type is not yet supported on linked dataset dataset.

  • Les limites suivantes s'appliquent aux métriques d'utilisation :

    • Vous ne pouvez pas obtenir les métriques d'utilisation d'abonnements souscrits avant le 20 juillet 2023.

    • Les métriques d'utilisation de table externe pour les champs num_rows_processed et total_bytes_processed peuvent contenir des données inexactes.

    • Les métriques d'utilisation pour la consommation ne sont compatibles qu'avec les jobs BigQuery. La consommation liée à l'utilisation des ressources suivantes n'est pas disponible :

    • Les métriques d'utilisation des vues ne sont renseignées que pour les requêtes effectuées après le 22 avril 2024.

    • Les métriques d'utilisation ne sont pas collectées pour les abonnements Pub/Sub associés dans Analytics Hub (vous pouvez continuer à consulter l'utilisation directement dans Pub/Sub).

  • Les limites suivantes s'appliquent lors de l'abonnement aux données Salesforce Data Cloud :

    • Les données Data Cloud sont partagées en tant que vues. En tant qu'abonné, vous ne pouvez pas accéder aux tables sous-jacentes référencées par les vues.

Régions où le service est disponible

Analytics Hub est compatible avec les régions et les emplacements multirégionaux suivants.

Régions

Le tableau suivant répertorie les régions des Amériques où Analytics Hub est disponible.
Description de la région Nom de la région Détails
Columbus, Ohio us-east5
Dallas us-south1 Icône Feuille Faibles émissions de CO2
Iowa us-central1 Icône Feuille Faibles émissions de CO2
Las Vegas us-west4
Los Angeles us-west2
Montréal northamerica-northeast1 Icône Feuille Faibles émissions de CO2
Virginie du Nord us-east4
Oregon us-west1 Icône Feuille Faibles émissions de CO2
Salt Lake City us-west3
São Paulo southamerica-east1 Icône Feuille Faibles émissions de CO2
Santiago southamerica-west1
Caroline du Sud us-east1
Toronto northamerica-northeast2
Le tableau suivant répertorie les régions en Asie-Pacifique où Analytics Hub est disponible.
Description de la région Nom de la région Détails
Delhi asia-south2
Hong Kong asia-east2
Jakarta asia-southeast2
Melbourne australia-southeast2
Mumbai asia-south1
Osaka asia-northeast2
Séoul asia-northeast3
Singapour asia-southeast1
Sydney australia-southeast1
Taïwan asia-east1
Tokyo asia-northeast1
Le tableau suivant répertorie les régions en Europe où Analytics Hub est disponible.
Description de la région Nom de la région Détails
Belgique europe-west1 Icône Feuille Faibles émissions de CO2
Finlande europe-north1 Icône Feuille Faibles émissions de CO2
Francfort europe-west3 icône feuille Faibles émissions de CO2
Londres europe-west2 icône feuille Faibles émissions de CO2
Pays-Bas europe-west4 Icône Feuille Faibles émissions de CO2
Varsovie europe-central2
Zurich europe-west6 Icône Feuille Faibles émissions de CO2
Le tableau suivant répertorie les régions du Moyen-Orient où Analytics Hub est disponible.
Description de la région Nom de la région Détails
Dammam me-central2
Tel Aviv me-west1
Le tableau suivant regroupe les régions en Afrique où Analytics Hub est disponible.
Description de la région Nom de la région Détails
Johannesburg africa-south1

Emplacements multirégionaux

Le tableau suivant répertorie les emplacements multirégionaux dans lesquels Analytics Hub est disponible.
Description de la zone multirégionale Nom de l'emplacement multirégional
Centres de données dans les États membres de l'Union européenne1 EU
Centres de données aux États-Unis US

1 Les données situées dans la zone multirégionale EU ne sont pas stockées dans les centres de données des régions europe-west2 (Londres) ou europe-west6 (Zurich).

Régions Omni

Le tableau suivant répertorie les régions Omni où Analytics Hub est disponible.
Description de la région Omni Nom de la région Omni
AWS
AWS Est des États-Unis (Virginie du Nord) aws-us-east-1
AWS Est des États-Unis (Oregon) aws-us-west-2
AWS – Asie-Pacifique (Séoul) aws-ap-northeast-2
AWS – Asie-Pacifique (Sydney) aws-ap-southeast-2
AWS – Europe (Irlande) aws-eu-west-1
AWS – Europe (Francfort) aws-eu-central-1
Azure
Azure – Est des États-Unis 2 azure-eastus2

Exemple d'utilisation

Cette section explique comment utiliser Analytics Hub.

Supposons que vous êtes un revendeur et que votre organisation dispose de données de prévision de la demande en temps réel dans un projet Google Cloud nommé Forecasting. Vous souhaitez partager ces données de prévision de la demande avec des centaines de fournisseurs de votre système de chaîne d'approvisionnement. Voici comment partager vos données avec vos fournisseurs via Analytics Hub :

Administrateurs Analytics Hub

En tant que propriétaire du projet Forecasting, vous devez d'abord activer l'API Analytics Hub, puis attribuer le rôle Administrateur Analytics Hub à un utilisateur chargé de gérer l'échange de données dans le projet. Les utilisateurs disposant du rôle Administrateur Analytics Hub sont appelés administrateurs Analytics Hub.

Un administrateur Analytics Hub peut effectuer les tâches suivantes :

  • Créer, mettre à jour, supprimer et partager l'échange de données dans le projet de Forecasting de votre organisation.

  • Gérer d'autres administrateurs Analytics Hub.

  • Gérer les éditeurs en attribuant le rôle d'éditeur Analytics Hub aux employés de votre organisation. Si vous souhaitez que certains employés puissent uniquement mettre à jour, supprimer et partager des fiches, mais pas les créer, vous pouvez leur attribuer le rôle d'administrateur de fiches Analytics Hub.

  • Gérer les abonnés en attribuant le rôle d'abonné Analytics Hub à un groupe Google composé de tous les fournisseurs. Si vous souhaitez que certains fournisseurs ne puissent accéder qu'en lecture aux échanges de données et aux fiches disponibles, vous pouvez leur attribuer le rôle de lecteur Analytics Hub. Ces fournisseurs ne peuvent pas s'abonner aux fiches.

Pour en savoir plus, consultez la section Gérer les échanges de données.

Éditeurs Analytics Hub

Les éditeurs créent les fiches suivantes pour leurs ensembles de données dans le projet de Forecasting ou dans un projet différent :

  • Fiche A : ensemble de données de prévision de la demande 1
  • Fiche B : ensemble de données de prévision de la demande 2
  • Fiche C : ensemble de données de prévision de la demande 3

En tant que fournisseur de données, vous pouvez suivre les métriques d'utilisation de votre ensemble de données partagé. Les métriques d'utilisation incluent les informations suivantes :

  • Jobs exécutés sur votre ensemble de données partagé.
  • Les détails de consommation de votre ensemble de données partagé par les projets et l'organisation des abonnés.
  • Le nombre de lignes et d'octets traités par le job.

Pour en savoir plus, consultez la section Gérer les fiches.

Abonnés Analytics Hub

Les abonnés peuvent parcourir les fiches auxquelles ils ont accès dans les échanges de données. Ils peuvent également s'abonner à ces fiches et ajouter ces ensembles de données à leurs projets en créant un ensemble de données associé. Les fournisseurs peuvent ensuite exécuter des requêtes sur ces ensembles de données associés et obtenir des résultats en temps réel.

Pour en savoir plus, consultez la section Afficher les fiches et s'y abonner.

Tarifs

La gestion des échanges de données et des fiches n'entraîne aucun coût supplémentaire.

Pour les jeux de données BigQuery, le stockage des données est facturé aux éditeurs Analytics Hub, tandis que les abonnés paient pour les requêtes exécutées sur les données partagées selon un modèle de tarification à la demande ou basé sur la capacité. Pour en savoir plus sur les tarifs, consultez la section Tarifs de BigQuery.

Pour Pub/Sub, les éditeurs de sujets sont facturés du nombre total d'octets écrits (débit de publication) sur le sujet partagé et de la sortie réseau (le cas échéant). Les abonnés sont facturés du nombre total d'octets lus (débit d'abonnement) de l'abonnement associé et de la sortie réseau (le cas échéant). Pour en savoir plus, consultez les tarifs de Pub/Sub.

Quotas

Pour en savoir plus sur les quotas Analytics Hub, consultez la section Quotas et limites.

Conformité

Analytics Hub, qui fait partie de BigQuery, est conforme aux programmes de conformité suivants:

VPC Service Controls

Vous pouvez définir les règles d'entrée et de sortie nécessaires pour permettre aux éditeurs et aux abonnés d'accéder aux données des projets comportant des périmètres VPC Service Controls. Pour en savoir plus, consultez la page Règles de VPC Service Controls d'Analytics Hub.

Étapes suivantes