Damit ein Dataset als Produkt fungieren kann, muss es in der Regel bestimmte Nutzbarkeitsstandards erfüllen (die oft von den Prinzipien des Data Mesh abgeleitet werden). Eine Datei, die sich einfach in einem Speicher-Bucket befindet, reicht nicht aus. Wichtige Merkmale:

• Sichtbar: Nutzer müssen die Daten leicht finden können, in der Regel über einen zentralen Katalog oder eine Suchmaschine.
• Adressierbar: Die Daten sollten eine eindeutige, dauerhafte Adresse (URI) haben, damit Entwickler programmatisch darauf zugreifen können.
• Vertrauenswürdig: Die Daten müssen zuverlässig sein. Dies wird oft durch Service Level Agreements (SLAs) in Bezug auf Datenaktualität und -genauigkeit durchgesetzt.
• Selbstbeschreibend: Die Daten müssen Metadaten enthalten, die das Schema, den Ursprung und die beabsichtigte Verwendung erklären. So müssen die Nutzer weniger Fragen an den Inhaber stellen.
• Sicher: Zugriffsrichtlinien sollten direkt an das Datenprodukt angehängt werden, um sicherzustellen, dass die Sicherheit automatisch durchgesetzt wird, unabhängig davon, wer darauf zugreift.
• Interoperabel: Die Daten sollten globalen Standards entsprechen, sodass sie mit Datenprodukten aus anderen Bereichen zusammengeführt oder analysiert werden können.

Um DaaP besser zu verstehen, zeigen wir, wie die theoretischen Konzepte von DaaP mit Knowledge Catalog (ehemals Dataplex) und BigQuery als technologischer Grundlage praktisch umgesetzt werden können.

Szenario: Ein Entwickler muss ein Empfehlungssystem erstellen und benötigt dafür einen zuverlässigen Datensatz mit dem Wiedergabeverlauf von Nutzern.

In einer DaaP-Umgebung muss das Entwicklungsteam keine manuellen Anfragen stellen. Sie verwenden Knowledge Catalog, eine zentrale Plattform für die Governance von Daten und KI. Durch die Suche im Katalog nach „Nutzer-Seitenaufrufe“ finden sie ein registriertes Asset namens „ecommerce-user-activity“. Damit ist die Anforderung an die Auffindbarkeit erfüllt.

Vor dem Schreiben des Codes überprüft der Entwickler den Eintrag. Er sieht:

• Schema: Definierte Spalten (z. B. user_id, item_id, timestamp).
• Herkunft: Informationen, die zeigen, woher die Daten stammen.
• Qualitätsmesswerte: Ein durch automatisierte Scans (z. B. Knowledge Catalog AutoDQ) generierter Wert, der bestätigt, dass 99,9 % der Zeilen die definierten Qualitätsregeln erfüllen. Damit sind die Anforderungen an Vertrauenswürdigkeit und Selbstbeschreibung erfüllt.

Der Entwickler fordert über die Katalogoberfläche Zugriff an. Der Dateninhaber (ein bestimmtes Domainteam) genehmigt die Anfrage und gewährt die Rolle „Data Viewer“ für diese bestimmte Ressource. Damit ist die Anforderung an die Sicherheit erfüllt.

Nachdem der Zugriff gewährt wurde, fragt der Entwickler das Datenprodukt direkt in BigQuery ab.

Da die Daten als Produkt behandelt werden, verlässt sich der Entwickler darauf, dass das Schema stabil bleibt (oder er über Versionsänderungen informiert wird), sodass die Anwendung zuverlässig ausgeführt werden kann.

Für Entwickler, die von der Ad-hoc-Datenerstellung zur Entwicklung verwalteter Datenprodukte übergehen möchten, bietet Knowledge Catalog einen speziellen Dienst zum Verpacken, Verwalten und Freigeben von Assets. Der folgende Workflow bietet eine Grundlage für den verwalteten Lebenszyklus.

1. Assets identifizieren und zusammenstellen: Wählen Sie die technischen Ressourcen aus, die einen bestimmten Bedarf der Nutzer erfüllen, z. B. BigQuery-Tabellen, autorisierte Ansichten oder KI-Modelle. Diese Assets sollten im Knowledge Catalog registriert werden.
2. Datenprodukt erstellen: Erstellen Sie mit der Knowledge Catalog Console eine neue Datenproduktressource. Dies dient als logischer Container, der Ihre ausgewählten Assets in einer einzigen Einheit für die Suche und Freigabe zusammenfasst.
3. Geschäftlichen Kontext hinzufügen (Aspekte): Sie können Ihr Produkt mit Metadaten anreichern, indem Sie Aspekte hinzufügen. Verwenden Sie die Datenproduktvorlage, um Produktname, geschäftlichen Zweck, Eigentümer und beabsichtigte Nutzung zu definieren. So ist das Produkt für die Nutzer sicher selbsterklärend.
4. Governance und Zugriff definieren: Konfigurieren Sie die Genehmigungsworkflows und die erforderlichen Rollen für das Produkt. So können Sie Zugriffsanfragen zentral verwalten und sicherstellen, dass nur autorisierte Nutzer das Produkt abonnieren und abfragen können.
5. Veröffentlichen und freigeben: Nach der Veröffentlichung ist das Datenprodukt im Katalog für KI auffindbar. Nutzer können nach dem Produkt suchen, die Dokumentation und Qualitätsmesswerte prüfen und Zugriff anfordern, um die Daten direkt in BigQuery abzufragen.