Das Dokumentieren von Dateneinträgen im großen Maßstab ist schwierig, insbesondere wenn sie von für verschiedene Gruppen in einem Unternehmen mit unterschiedlichen Bedürfnissen. Häufig hat jede Gruppe erstellt eigene Dokumentationen und Metadaten, um dieselben Daten zu beschreiben, was zu doppeltem Aufwand und unvollständigen Informationen führt. Data Catalog bietet Lösungen für Probleme mit Tags, mit denen Organisationen Metadaten für alle Dateneinträge in einem einheitlichen Dienst zu verwalten.
In diesem Dokument werden zwei wichtige Data Catalog-Konzepte erläutert:
Tags: Benutzerdefinierte Metadatenfelder, die an einen Dateneintrag angehängt werden können Kontext liefern.
Tag-Vorlagen Wiederverwendbare Strukturen, mit denen Sie schnell neue Tags erstellen können.
Tags
Tags sind eine Art von geschäftlichen Metadaten. Durch das Hinzufügen von Tags zu einem Dateneintrag können Sie um das Asset zu verwenden. Ein Tag kann Ihnen beispielsweise Informationen geben, z. B. wer für ein ob sie personenidentifizierbare Informationen enthält, (PII), die Richtlinie zur Datenaufbewahrung für das Asset und einen Datenqualitätsfaktor.
Tags können öffentliche oder private Tags sein. Für jede Tag-Art gibt es eindeutige Ihren Geschäftsanforderungen entsprechen.
Private Tags
Private Tags stellen strenge Zugriffskontrollen bereit. Sie können nach oder die Tags und die mit den Tags verknüpften Dateneinträge nur dann ansehen, wenn Sie Er hat die erforderlichen Leseberechtigungen sowohl für die private Tag-Vorlage als auch für die Daten erhalten. Einträge.
Für die Suche nach privaten Tags auf der Data Catalog-Seite müssen folgende Voraussetzungen erfüllt sein: die Suchsyntax tag: oder die Suchfilter verwenden.
Private Tags sind für Szenarien geeignet, bei denen Sie vertrauliche Informationen im Tag speichern müssen und daher neben der Prüfung, ob Nutzer zum Ansehen eines getaggten Eintrags berechtigt sind, zusätzliche Zugriffsbeschränkungen nutzen möchten.
Öffentliche Tags
Öffentliche Tags bieten eine weniger strenge Zugriffssteuerung für das Suchen und Anzeigen des Tags im Vergleich zu privaten Tags. Jeder Nutzer, der über die erforderlichen Leseberechtigungen für einen Dateneintrag verfügt, kann alle zugehörigen öffentlichen Tags ansehen. Berechtigungen ansehen für öffentliche Tags sind nur erforderlich, wenn Sie eine Suche in Data Catalog ausführen tag:-Syntax oder wenn Sie eine nicht angehängte Tag-Vorlage aufrufen.
Öffentliche Tags unterstützen sowohl die einfache Suche als auch die Suche mit Prädikaten auf der Suchseite von Data Catalog. Wenn Sie eine Tag-Vorlage erstellen, kann die Option zum „Öffentliche Tag-Vorlage“ ist die standardmäßige und empfohlene Option in der Google Cloud Console.
Beispiel: Sie haben eine öffentliche Tag-Vorlage mit dem Namen employee data.
die Sie verwendet haben, um Tags für drei Dateneinträge namens Name, Location,
und Salary. Unter den drei Dateneinträgen sind nur Mitglieder einer bestimmten Gruppe
namens HR kann den Dateneintrag Salary ansehen. Die anderen beiden Dateneinträge weisen Leseberechtigungen für alle Mitarbeiter des Unternehmens auf.
Wenn ein Mitarbeiter, der kein Mitglied der Gruppe HR ist, den Data Catalog verwendet
Suchseite und Suchanfragen mit dem Wort employee enthält, wird das Suchergebnis
nur Name- und Location-Dateneinträge mit den zugehörigen öffentlichen Tags.
Öffentliche Tags eignen sich für eine Vielzahl von Szenarien und sind intuitiv. zu verwenden. Öffentliche Tags unterstützen eine einfache Suche mit Prädikaten während Private Tags unterstützen nur die Suche mit Prädikaten.
Beispiel-Tags, die an einen Dateneintrag angehängt werden
Das folgende Diagramm zeigt ein Beispiel für eine Kundentabelle cust_tbl, in der mehrere geschäftliche Metadaten-Tags an die Tabelle und die zugehörigen Spalten angehängt sind.
Tag-Vorlagen
Um mit dem Taggen von Daten zu beginnen, müssen Sie zunächst eine oder mehrere Tag-Vorlagen erstellen. Ein Tag kann eine öffentliche oder private Tag-Vorlage sein. Beim Erstellen eines Tags ist die Option zum Erstellen einer öffentlichen Tag-Vorlage die Standardeinstellung. empfohlene Option in der Google Cloud Console. Eine Tag-Vorlage ist eine Gruppe an Schlüssel/Wert-Paaren in Form von Metadaten, die Felder genannt werden. Ein Satz Vorlagen ist mit einem Datenbankschema für Ihre Metadaten vergleichbar.
Sie können Ihre Tags nach Themen strukturieren. Beispiel:
- Ein Data Governance-Tag mit Feldern für: Data Governor, Aufbewahrungsdatum, Löschdatum, personenidentifizierbare Informationen (Ja oder Nein), Datenklassifizierung (öffentlich, vertraulich, gesetzliche Vorschriften).
- Ein Datenqualitäts-Tag mit Feldern für: Qualitätsprobleme, Aktualisierungshäufigkeit, SLO-Informationen
- Ein Datennutzungs-Tag mit Feldern für: Häufigste Nutzer, Häufigste Abfragen, durchschnittliche Anzahl täglicher Nutzer
Sie können dann Tags miteinander mischen und so kombinieren, dass nur die Tags verwendet werden, die für jedes Daten-Asset und Ihre Geschäftsanforderungen relevant sind.
Felder in einem Tag
Tags enthalten ein oder mehrere Felder, in denen Informationen gespeichert werden können. Die Felder in einem Tag werden durch eine Tag-Vorlage definiert und jedes Feld kann verwendet werden, einen oder mehrere Werte. Jedes Tag ist eine Instanz einer Tag-Vorlage, die auf einen gesamten Dateneintrag oder bestimmte Tabellen oder Spalten angewendet werden. Ein Tag für eine Spalte kann beispielsweise Aufschluss darüber geben, ob diese Spalte personenidentifizierbare Informationen enthält, ob sie veraltet ist oder welche Formel zur Berechnung eines bestimmten Werts verwendet wurde.
Jedes Feld enthält eine ID, einen Anzeigenamen und einen Typ. Der Typ kann string, double, boolean, enum (Aufzählung) oder datetime sein. Wenn der Typ enum ist, speichert die Vorlage auch die zulässigen Werte für das Feld.
Felder werden in der Vorlage als geordneter Satz gespeichert, wobei die Reihenfolge die relative Wichtigkeit eines Felds im Verhältnis zu den anderen Feldern bedeutet.
Felder sind optional, sofern nicht als erforderlich gekennzeichnet. Ein Pflichtfeld muss einen Wert erhalten, wenn die Vorlage verwendet wird, während ein optionales Feld leer bleiben kann.
Nachdem Sie die Vorlage erstellt haben, können Sie ein optionales Feld nicht mehr in ein erforderliches Feld ändern.
Beispielfelder in einem Tag
Hier ist eine Beispiel-Tag-Vorlage aus der quickstart. mit mehreren Feldtypen:
Hier sehen Sie ein aus der Vorlage erstelltes Tag mit Werten für jedes Feld:
<ph type="x-smartling-placeholder">
<ph type="x-smartling-placeholder">Tag-Vorlagen-Sammlung aufrufen
Zum Einstieg enthält Data Catalog eine Galerie von Beispiel-Tag-Vorlagen, um gängige Tag-Anwendungsfälle zu veranschaulichen. Anhand dieser Beispiele erfahren Sie mehr über die Möglichkeiten von Tagging, als Inspiration oder als Ausgangspunkt für die Erstellung einer eigenen Tagging-Infrastruktur.
Führen Sie die folgenden Schritte aus, um eine Tag-Vorlagen-Gallerie zu verwenden:
Rufen Sie in der Google Cloud Console die Dataplex-Seite Tag-Vorlagen auf.
Klicken Sie auf Tag-Vorlage erstellen.
Die Vorlagengalerie wird als Teil der Seite Vorlage erstellen angezeigt.
Nachdem Sie eine Vorlage aus der Galerie ausgewählt haben, können Sie sie wie jede andere Tag-Vorlage verwenden. Außerdem haben Sie die Möglichkeit, Attribute hinzuzufügen und zu löschen und können die Vorlage ganz nach Ihren geschäftlichen Anforderungen ändern. Anschließend können Sie mit Data Catalog nach den Vorlagenfeldern und -werten suchen.
Zugriffssteuerung für Tags
Tags und deren Metadaten können vertrauliche Informationen enthalten. Manche Data Governance-Teams möchten vielleicht bestimmte Tags nur für ausgewählte Nutzergruppen sichtbar machen. Data Catalog bietet Zugriffssteuerung für Tag-Vorlagen. -Einstellungen gelten für alle Tags, die mit dieser Vorlage erstellt wurden.
Sie können Tag-Vorlagen mit vielen Konfigurationen für die Zugriffssteuerung einrichten, z. B.:
- Eine Tag-Vorlage, die nur der Ersteller der Vorlage zum Erstellen von Tags verwenden kann
- Eine Tag-Vorlage, mit der Tags erstellt werden, die nur für ausgewählte Nutzer sichtbar sind
- Eine Tag-Vorlage, die von ausgewählten Nutzern zum Erstellen von Tags verwendet werden kann, die nur für andere (möglicherweise identische) Nutzer sichtbar
- Eine Tag-Vorlage, die für alle Nutzer einer Organisation oder eines Projekts sichtbar ist (öffentliches Tag)
Der Zugriff auf eine Tag-Vorlage wird mit IAM-Rollen gewährt oder verweigert. Diese bieten Berechtigungen zum Erstellen, Bearbeiten und Verwenden der Tag-Vorlage. Im Folgenden finden Sie einige Verfügbare Data Catalog-Rollen:
Damit ein Nutzer eine Tag-Vorlage erstellen oder aktualisieren kann, müssen Sie ihm die Rolle „Tag-Vorlagen-Ersteller“ zuweisen.
Damit ein Nutzer Tags auf einen Dateneintrag anwenden kann, müssen Sie ihm die Nutzerrolle „Tag-Vorlage“ zuweisen.
Siehe Identitäts- und Zugriffsverwaltung für Data Catalog .
Regionale Ressourcen
Jede Tag-Vorlage und jedes Tag wird in einer bestimmten Google Cloud Region Sie können eine Tag-Vorlage verwenden, um ein Tag in jeder Region zu erstellen, sodass Sie Kopien Ihrer Vorlage zu erstellen, wenn Sie über mehrere Regionen.
Weitere Informationen
Informationen zu den Rollen und Berechtigungen, die zum Ansehen und Anhängen öffentlicher und privater Tags erforderlich sind. Weitere Informationen finden Sie unter Rollen zum Aufrufen öffentlicher und privater Tags und Rollen zum Anhängen von Tags an Google Cloud-Ressourcen.
Informieren Sie sich darüber, wie Sie mithilfe von öffentlichen und privaten Tags nach Dateneinträgen suchen können. Siehe Suchsyntax für Data Catalog.
Erstellen Sie eine beispielhafte öffentliche Tag-Vorlage und einige Tags. Siehe BigQuery-Tabelle mit Data Catalog taggen.