Tabellen in Dataplex anhand von Informationen aus Datenprofilen taggen

Auf dieser Seite wird beschrieben, wie Dataplex-Tags automatisch auf BigQuery-Tabellen angewendet werden, nachdem der Schutz sensibler Daten ein Profil für diese Tabellen erstellt. Auf dieser Seite finden Sie auch Beispielabfragen, mit denen Sie getaggte Daten in Ihrer Organisation und Ihren Projekten finden können.

Dieses Feature ist nützlich, wenn Sie Ihre manuell kuratierten Metadaten in Dataplex mit Statistiken aus Datenprofilen für den Schutz sensibler Daten anreichern möchten. Die generierten Tags enthalten die folgenden Informationen:

  • Informationstypen (infoTypes), die in den Spalten der Tabelle erkannt werden
  • Berechnete Empfindlichkeitsstufe der Tabelle
  • Berechnetes Datenrisikolevel der Tabelle

Mithilfe von Informationen aus Datenprofilen für den Schutz sensibler Daten können Sie Dataplex verwenden, um sensible und risikoreiche Daten in Ihrer Organisation zu ermitteln. Nutzen Sie diese Informationen, um fundierte Entscheidungen zur Verwaltung und Steuerung Ihrer Daten zu treffen.

Wenn Sie die Ergebnisse von Inspektionsjobs und nicht Datenprofilvorgänge an Dataplex senden möchten, lesen Sie stattdessen Ergebnisse von Inspektionsergebnisse zum Schutz sensibler Daten an Data Catalog.

Datenprofile

Sie können den Schutz sensibler Daten so konfigurieren, dass automatisch Profile zu Daten in einer Organisation, einem Ordner oder einem Projekt erstellt werden. Datenprofile enthalten Messwerte und Metadaten zu Ihren Daten. So können Sie feststellen, wo sich sensible und risikoreiche Daten befinden. Für den Schutz sensibler Daten werden diese Messwerte mit verschiedenen Detailebenen erfasst. Informationen zu den Datentypen, für die Sie ein Profil erstellen können, finden Sie unter Unterstützte Ressourcen.

Dataplex und Data Catalog

Dataplex ist ein Google Cloud-Dienst, der verteilte Daten vereinheitlicht und die Datenverwaltung und -Governance für diese Daten automatisiert. Data Catalog ist ein vollständig verwalteter, skalierbarer Dienst zur Metadatenverwaltung in Dataplex.

Mit Data Catalog können Sie Tags und Tag-Vorlagen verwenden, um geschäftliche Metadaten an Ihre Daten anzuhängen. Anschließend können Sie alle Metadaten für Ihre Organisation oder Ihr Projekt in einem einheitlichen Dienst suchen und verwalten. Weitere Informationen finden Sie unter Tags und Tag-Vorlagen.

Funktionsweise

Wenn in der Konfiguration des Erkennungsscans die Aktion Als Tags an Dataplex senden aktiviert ist, geht der Schutz sensibler Daten bei jedem Profil Ihrer Daten so vor: Diese Aktion wird nur auf neue und aktualisierte Profile angewendet. Vorhandene Profile, die nicht aktualisiert werden, werden nicht an Dataplex gesendet.

  1. Erstellt eine private Tag-Vorlage, die das Schema der Tags enthält, die an Ihre BigQuery-Tabellen angehängt werden. Informationen zum Namen, zur ID und zum Speicherort der Tag-Vorlage finden Sie unter Details zu Tag-Vorlagen.

    Nur Hauptkonten mit den entsprechenden Rollen und Berechtigungen können die Tag-Vorlage ansehen.

  2. Ein Tag für jede BigQuery-Tabelle, für die Sie ein Profil erstellen, wird erstellt. Das Tag basiert auf der neu erstellten Tag-Vorlage.

    Beispielsweise kann ein resultierendes Tag, das an eine Tabelle angehängt ist, die folgenden Metadaten haben:

    Anzeigename Wert
    Column Insights ccn: CREDIT_CARD_NUMBER
    first_name: PERSON_NAME
    last_name: PERSON_NAME
    ssn: US_SOCIAL_SECURITY_NUMBER
    email: EMAIL_ADDRESS
    Column Sensitivity ccn: HIGH
    first_name: MODERATE
    last_name: MODERATE
    favorite_animal: LOW
    ssn: HIGH
    email: MODERATE
    id: LOW
    Data Risk Level HIGH
    Other InfoTypes PHONE_NUMBER
    Predicted InfoTypes CREDIT_CARD_NUMBER,US_SOCIAL_SECURITY_NUMBER,EMAIL_ADDRESS,PERSON_NAME
    Profile Last Generated DATE at TIME
    Sensitive Data Profile organizations/ORGANIZATION_ID/locations/REGION/tableDataProfiles/TABLE_DATA_PROFILE_ID
    Sensitivity Score HIGH

Eine Tabelle enthält zwei Tags, wenn für sie ein Profil durch beide der folgenden beiden Typen erstellt wurde:

  • Scankonfiguration auf Organisations- oder Ordnerebene
  • Scankonfiguration auf Projektebene

Nachdem die Tabellen getaggt sind, können Sie in Dataplex nach allen Daten in Ihrer Organisation oder Ihrem Projekt mit bestimmten Tag-Werten suchen.

Details zu Tag-Vorlagen

Der Vorlagenname, die Vorlagen-ID und das Projekt, in dem die neue Tag-Vorlage gespeichert wird, hängen von der Ressource ab, auf die sich die Scankonfiguration bezieht.

  • Wenn die Scankonfiguration eine Konfiguration auf Organisations- oder Ordnerebene ist, wird die Tag-Vorlage im Dienst-Agent-Container gespeichert. Der Name der Tag-Vorlage lautet Sensitive Data Profile. Die Vorlagen-ID lautet sensitive_data_profile.
  • Wenn die Scankonfiguration eine Konfiguration auf Projektebene ist, wird die Tag-Vorlage in dem Projekt gespeichert, für das ein Profil erstellt werden soll. Der Name der Tag-Vorlage lautet Sensitive Data Profile (Project). Die Vorlagen-ID lautet sensitive_data_profile_project.

Preise

Informationen dazu, welche Kosten für das Exportieren von Datenprofilen bei anderen Google Cloud-Diensten anfallen, finden Sie unter Preise für den Export von Datenprofilen.

BigQuery-Tabellen basierend auf Datenprofilen automatisch taggen

  1. Erstellen Sie eine Scankonfiguration. Alternativ können Sie eine vorhandene Scankonfiguration bearbeiten.

  2. Im Schritt Add actions (Aktionen hinzufügen) muss die Option Send to Dataplex as tags (Als Tags an Dataplex senden) aktiviert sein.

    • Wenn Sie eine Scankonfiguration erstellen, ist diese Aktion standardmäßig aktiviert.
    • Wenn Sie eine Scankonfiguration bearbeiten, müssen Sie diese Aktion aktivieren.

Nachdem für die Daten ein Profil erstellt und Tags erstellt wurden, können Sie mit der Suche nach getaggten Daten in Dataplex beginnen.

Rollen und Berechtigungen zum Aufrufen von Tags

In den Dataplex-Suchergebnissen werden nur die Daten angezeigt, auf die Sie Zugriff haben. Sie benötigen die folgenden IAM-Rollen oder -Berechtigungen, um nach den Tags zu suchen, die an Ihre BigQuery-Tabellen angehängt sind.

Zweck Vordefinierte Rolle Relevante Berechtigungen
Vorlage für privates Tag ansehen Data Catalog-Tag-Vorlagenbetrachter (roles/datacatalog.tagTemplateViewer) datacatalog.tagTemplates.getTag
Auf BigQuery-Tabellen angewendete Tags ansehen BigQuery Metadatenbetrachter (roles/bigquery.metadataViewer) bigquery.datasets.get
bigquery.tables.get

Weitere Informationen zu Dataplex-Rollen finden Sie unter Rollen zum Ansehen öffentlicher und privater Tags.

Informationen zum Zuweisen einer vordefinierten Rolle finden Sie unter Einzelne Rolle zuweisen. Wenn Sie eine benutzerdefinierte Rolle anstelle einer vordefinierten Rolle verwenden möchten, muss die benutzerdefinierte Rolle die entsprechenden Berechtigungen haben. Weitere Informationen finden Sie unter Benutzerdefinierte Rolle erstellen.

Generierte Tag-Vorlage suchen

  1. Rufen Sie in der Google Cloud Console die Dataplex-Seite Tag-Vorlagen auf.

    Tag-Vorlagen aufrufen

  2. Suchen Sie in der Liste nach der Tag-Vorlage. Informationen zum Namen, zur ID und zum Speicherort der Tag-Vorlage finden Sie unter Details zu Tag-Vorlagen.

  3. Optional: Um die Tag-Vorlage zu finden, die durch eine bestimmte Discovery-Scankonfiguration generiert wurde, geben Sie Folgendes in das Feld Filter ein:

    name:PROJECT_ID.TAG_TEMPLATE_ID
    

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die ID des Projekts, das mit der Scankonfiguration verknüpft ist. Wenn Sie für Ihre Daten ein Profil auf Organisations- oder Ordnerebene erstellt haben, geben Sie die Projekt-ID des Dienst-Agent-Containers ein.
    • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner bestimmt ist; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt bestimmt ist.

Generiertes Tag für ein bestimmtes Tabellendatenprofil finden

  1. Rufen Sie in der Google Cloud Console die Dataplex-Seite Suche auf.

    Zur Suche

  2. Geben Sie im Feld Suchen Folgendes ein:

    name:TABLE_ID tag:PROJECT_ID.TAG_TEMPLATE_ID
    

    Ersetzen Sie Folgendes:

    • TABLE_ID: die ID der Tabelle, für die ein Profil erstellt wurde.
    • PROJECT_ID: die ID des Projekts, das die Tag-Vorlage enthält. Wenn Sie für Ihre Daten ein Profil auf Organisations- oder Ordnerebene erstellt haben, geben Sie die Projekt-ID des Dienst-Agent-Containers ein.
    • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner bestimmt ist; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt bestimmt ist.
  3. Klicken Sie in der angezeigten Liste auf die Tabellen-ID. Die Details der BigQuery-Tabelle werden zusammen mit den angehängten Sensitive Data Profile- oder Sensitive Data Profile (Project)-Tags angezeigt.

    Eine Tabelle enthält zwei Tags, wenn für sie ein Profil durch beide der folgenden beiden Typen erstellt wurde:

    • Scankonfiguration auf Organisations- oder Ordnerebene
    • Scankonfiguration auf Projektebene

Informationen zum Durchführen einer Suche über die Data Catalog API finden Sie unter Nach Datenassets suchen.

Beispiele für Suchanfragen

Dieser Abschnitt enthält Beispielsuchabfragen, mit denen Sie in Dataplex Daten in Ihrer Organisation oder Ihrem Projekt mit bestimmten Tag-Werten finden können.

Es werden nur die Daten angezeigt, auf die Sie Zugriff haben. Der Datenzugriff wird über IAM-Berechtigungen gesteuert. Weitere Informationen finden Sie auf dieser Seite unter Rollen und Berechtigungen zum Ansehen von Tags.

Sie können diese Abfragen in der Google Cloud Console auf der Dataplex-Seite Suche eingeben.

Zur Suche

Informationen zum Formulieren der Abfragen finden Sie unter Data Catalog-Suchsyntax. Informationen zum Durchführen einer Suche über die Data Catalog API finden Sie unter Nach Daten-Assets suchen.

Alle Tabellen finden, die mit der neuen Tag-Vorlage getaggt sind

tag:PROJECT_ID.TAG_TEMPLATE_ID

Ersetzen Sie Folgendes:

  • PROJECT_ID: die ID des Projekts, das die Tag-Vorlage enthält. Wenn Sie für Ihre Daten ein Profil auf Organisations- oder Ordnerebene erstellt haben, geben Sie die Projekt-ID des Dienst-Agent-Containers ein.
  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner bestimmt ist; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt bestimmt ist.

Die nachfolgenden Beispiele auf dieser Seite enthalten nicht die Projekt-ID. Daher erhalten Sie möglicherweise Ergebnisse, die mit verschiedenen Konfigurationen für Erkennungsscans verknüpft sind. Wenn Sie die Ergebnisse auf eine bestimmte Scankonfiguration beschränken möchten, fügen Sie der Abfrage die Projekt-ID hinzu, wie in diesem Beispiel gezeigt.

Alle Tabellen finden, für die vor einem bestimmten Datum zuletzt ein Profil erstellt wurde

tag:TAG_TEMPLATE_ID.profile_last_generated<DATE

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner bestimmt ist; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt bestimmt ist.
  • DATE: ein Datum im Format YYYY-MM-DD, z. B. 2023-01-15.

Alle Tabellen mit einem bestimmten Vertraulichkeitsfaktor auf Tabellenebene finden

tag:TAG_TEMPLATE_ID.sensitivity_score=SENSITIVITY_SCORE

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner bestimmt ist; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt bestimmt ist.
  • SENSITIVITY_SCORE: Entweder HIGH, MODERATE oder LOW.

Weitere Informationen finden Sie unter Datenrisiko- und Vertraulichkeitsstufen.

Alle Tabellen mit einer bestimmten Datenrisikostufe finden

tag:TAG_TEMPLATE_ID.data_risk_level=DATA_RISK_LEVEL

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner bestimmt ist; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt bestimmt ist.
  • DATA_RISK_LEVEL: Entweder HIGH, MODERATE oder LOW.

Weitere Informationen finden Sie unter Datenrisiko- und Vertraulichkeitsstufen.

Alle Tabellen finden, die einen bestimmten vorhergesagten infoType enthalten

tag:TAG_TEMPLATE_ID.predicted_info_types:INFOTYPE

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner bestimmt ist; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt bestimmt ist.
  • INFOTYPE: der infoType, z. B. PERSON_NAME.

Eine Liste aller integrierten infoTypes finden Sie in der infoType-Detektorreferenz.

Weitere Informationen finden Sie in der Referenz zu Messwerten unter Vorhergesagter infoType.

Alle Tabellen finden, die einen bestimmten infoType teilweise enthalten

tag:TAG_TEMPLATE_ID.other_info_types:INFOTYPE

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner bestimmt ist; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt bestimmt ist.
  • INFOTYPE: der infoType, z. B. PERSON_NAME.

Eine Liste aller integrierten infoTypes finden Sie in der infoType-Detektorreferenz.

Weitere Informationen finden Sie in der Referenz zu Messwerten unter Andere infoTypes.

Alle Tabellen finden, die eine bestimmte Spalte mit einem bestimmten vorhergesagten infoType enthalten

tag:TAG_TEMPLATE_ID.column_insights:COLUMN_NAME:INFOTYPE

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner bestimmt ist; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt bestimmt ist.
  • COLUMN_NAME: der Name der Spalte in der BigQuery-Tabelle.
  • INFOTYPE: der infoType, z. B. PERSON_NAME.

Eine Liste aller integrierten infoTypes finden Sie in der infoType-Detektorreferenz.

Weitere Informationen finden Sie in der Referenz zu Messwerten unter Vorhergesagter infoType.

Alle Tabellen finden, die eine bestimmte Spalte mit einem bestimmten Vertraulichkeitsfaktor auf Spaltenebene enthalten

tag:TAG_TEMPLATE_ID.column_sensitivity:COLUMN_NAME:SENSITIVITY_SCORE

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner bestimmt ist; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt bestimmt ist.
  • COLUMN_NAME: der Name der Spalte in der BigQuery-Tabelle.
  • SENSITIVITY_SCORE: Entweder HIGH, MODERATE oder LOW.

Weitere Informationen finden Sie unter Datenrisiko- und Vertraulichkeitsstufen.