Pour qu'un ensemble de données puisse servir de produit, il doit généralement répondre à des normes d'usabilité spécifiques (souvent dérivées des principes du maillage de données). Le simple fait qu'un fichier existe dans un bucket de stockage ne suffit pas. Voici les principales caractéristiques :

• Découvrabilité : les consommateurs doivent pouvoir trouver facilement les données, généralement par le biais d'un catalogue centralisé ou d'un moteur de recherche.
• Adressables : les données doivent avoir une adresse unique et permanente (URI) pour que les développeurs puissent y accéder de façon programmatique.
• Fiables : les données doivent être fiables. Cela est souvent appliqué par le biais de contrats de niveau de service (SLA) concernant la fraîcheur et l'exactitude des données.
• Autodescriptives : les données doivent comporter des métadonnées qui expliquent le schéma, l'origine et l'utilisation prévue, ce qui réduit le besoin pour les utilisateurs de poser des questions au propriétaire.
• Sécurité : les règles d'accès doivent être associées directement au produit de données, ce qui garantit que la sécurité est appliquée automatiquement, quel que soit l'utilisateur qui y accède.
• Interopérables : les données doivent respecter les normes internationales, ce qui permet de les associer ou de les analyser avec des produits de données provenant d'autres domaines.

Pour mieux comprendre le DaaP, illustrons comment les concepts théoriques du DaaP peuvent être implémentés de manière pratique à l'aide de Knowledge Catalog (anciennement Dataplex) et de BigQuery comme substrat technologique.

Le scénario : un développeur doit créer un système de recommandation et a besoin d'un ensemble de données fiable concernant l'historique de consultation des utilisateurs.

Dans un environnement DaaP, le développeur n'a pas besoin d'effectuer des requêtes manuelles. Il utilise Knowledge Catalog, qui sert de plate-forme centrale pour la gouvernance des données et de l'IA. En recherchant "user pageviews" (pages vues par l'utilisateur) dans le catalogue, il trouve un asset enregistré nommé "ecommerce-user-activity". Cela répond à l'exigence de visibilité.

Avant d'écrire du code, le développeur examine l'entrée. Voici ce qu'il voit :

• Schéma : colonnes définies (par exemple, user_id, item_id, timestamp).
• Traçabilité : informations indiquant l'origine des données.
• Métriques de qualité : score généré par des analyses automatisées (par exemple, Knowledge Catalog AutoDQ) confirmant que 99,9 % des lignes respectent les règles de qualité définies. Cela répond aux exigences de fiabilité et d'autodescription.

Le développeur demande l'accès via l'interface du catalogue. Le propriétaire des données (l'équipe en charge d'un domaine spécifique) approuve la demande et accorde le rôle "Lecteur de données" pour cette ressource spécifique. Cela répond à l'exigence de sécurité.

Une fois l'accès accordé, le développeur interroge le produit de données directement dans BigQuery.

Comme les données sont traitées comme un produit, le développeur compte sur la stabilité du schéma (ou sur la notification des changements de version) pour que l'application s'exécute de manière fiable.

Pour les développeurs qui souhaitent passer de la création de données ad hoc à la création de produits de données gérés, Knowledge Catalog fournit un service dédié pour empaqueter, gouverner et partager des éléments. Le workflow suivant fournit une base pour le cycle de vie géré.

1. Identifier et organiser les ressources : sélectionnez les ressources techniques (tables BigQuery, vues autorisées, modèles d'IA, etc.) qui répondent à un besoin spécifique des consommateurs. Ces éléments doivent être enregistrés dans Knowledge Catalog.
2. Créer le produit de données : utilisez la console Knowledge Catalog pour créer une ressource de produit de données. Il s'agit d'un conteneur logique qui regroupe vos éléments sélectionnés en une seule unité pour faciliter leur découverte et leur partage.
3. Ajouter un contexte métier (aspects) : enrichissez votre produit avec des métadonnées en y associant des aspects. Utilisez le modèle de produit de données pour définir le nom du produit, son objectif commercial, sa propriété et son utilisation prévue, en veillant à ce que le produit soit auto-descriptif pour les consommateurs.
4. Définir la gouvernance et l'accès : configurez les workflows d'approbation et les rôles requis pour le produit. Cela vous permet de gérer les demandes d'accès de manière centralisée, en vous assurant que seuls les utilisateurs autorisés peuvent s'abonner au produit et l'interroger.
5. Publier et partager : une fois publié, le produit de données est visible dans le catalogue pour l'IA. Les utilisateurs peuvent rechercher le produit, consulter sa documentation et ses métriques de qualité, et demander un accès pour commencer à interroger les données directement dans BigQuery.