In diesem Dokument wird beschrieben, wie Sie eine BigQuery-Tabelle auf vertrauliche Daten prüfen und die Prüfungsergebnisse an Dataplex Universal Catalog senden. Bei dieser Aktion wird dem Dataplex Universal Catalog-Eintrag, der mit Ihrer BigQuery-Tabelle verknüpft ist, automatisch ein Aspekt hinzugefügt.
In diesem Dokument finden Sie auch Beispielabfragen, mit denen Sie Daten in Ihrer Organisation und Ihren Projekten mit bestimmten Aspektwerten finden können.
Diese Funktion ist nützlich, wenn Sie Ihre Metadaten in Dataplex Universal Catalog mit Klassifizierungen sensibler Daten aus Sensitive Data Protection-Inspektionsjobs anreichern möchten.
Die generierten Aspekte enthalten die folgenden Details:
- Der Name des Inspektionsjobs
- Die Informationstypen (infoTypes), die in der Tabelle erkannt wurden
Dataplex Universal Catalog
Dataplex Universal Catalog bietet einen einheitlichen Bestand an Google Cloud Ressourcen.
Mit Dataplex Universal Catalog können Sie Aspekte verwenden, um Ihren Daten Geschäfts- und technische Metadaten hinzuzufügen und so Kontext und Wissen zu Ihren Ressourcen zu erfassen. Anschließend können Sie organisationsweit nach Daten suchen und diese ermitteln sowie Data Governance für Ihre Daten-Assets aktivieren. Weitere Informationen finden Sie unter Aspekte.
Funktionsweise
So erstellen Sie automatisch Dataplex Universal Catalog-Aspekte basierend auf den Ergebnissen von Inspektionsjobs:
Erstellen oder bearbeiten Sie einen Prüfjob, mit dem eine BigQuery-Tabelle geprüft wird. Eine Anleitung finden Sie unter BigQuery-Tabelle untersuchen.
Aktivieren Sie im Schritt Aktionen hinzufügen die Option In Dataplex Universal Catalog veröffentlichen.
Der Schutz sensibler Daten fügt dem Dataplex Universal Catalog-Eintrag, der der BigQuery-Tabelle zugeordnet ist, den Aspekt Sensitive Data Protection job result hinzu oder aktualisiert ihn. Anschließend können Sie in Dataplex Universal Catalog nach allen Daten in Ihrer Organisation oder Ihrem Projekt mit bestimmten Aspektwerten suchen. Beispielabfragen finden Sie im Abschnitt Beispielabfragen in diesem Dokument.
Der resultierende Dataplex Universal Catalog-Aspekt wird im selben Projekt und in derselben Region wie die BigQuery-Tabelle gespeichert.
Aspektfelder
Der Aspekt Sensitive Data Protection job result hat die folgenden Felder:
- Jobname
- Der vollständige Ressourcenname des Inspektionsjobs, z. B.
projects/example-project/locations/us/dlpJobs/i-8992079400000000000. - InfoType-Anzahl
- InfoType-Namen, nach denen im Inspektionsjob gesucht wurde (wie in der Inspektionskonfiguration angegeben), und die Anzahl der Ergebnisse für jeden InfoType.
Ein infoType ohne Ergebnisse hat den Wert
0. - Ende
- Das Datum und die Uhrzeit, zu der der Inspektionsjob beendet wurde.
- Vollständiger Scan
- Gibt an, ob beim Prüfjob alle Zeilen in der Tabelle gescannt wurden. Wenn im Inspektionsjob beispielsweise Sampling aktiviert ist, lautet der Wert dieses Felds
False. - Hat Ergebnisse
- Gibt an, ob beim Inspektionsjob einer der infoTypes erkannt wurde, nach denen gesucht wurde.
Dataplex API aktivieren
Die Dataplex API muss in jedem Projekt aktiviert sein, das Daten enthält, für die Sie Aspekte hinzufügen möchten. In diesem Abschnitt wird beschrieben, wie Sie die Dataplex API in einem einzelnen Projekt oder in allen Projekten einer Organisation oder eines Ordners aktivieren.
Dataplex API in einem einzelnen Projekt aktivieren
Wählen Sie das Projekt aus, in dem Sie die Dataplex API aktivieren möchten.
-
Enable the Dataplex API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles.
Dataplex API in allen Projekten einer Organisation oder eines Ordners aktivieren
In diesem Abschnitt finden Sie ein Script, mit dem alle Projekte in einer Organisation oder einem Ordner gesucht und die Dataplex API in jedem dieser Projekte aktiviert wird.
Um die Berechtigungen zu erhalten, die Sie zum Aktivieren der Dataplex API in allen Projekten in einer Organisation oder einem Ordner benötigen, bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen:
-
Cloud Asset Viewer (
roles/cloudasset.viewer) für die Organisation oder den Ordner -
DLP-Nutzer (
roles/dlp.user) für jedes Projekt, in dem Sie die Dataplex API aktivieren möchten
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Aktivieren der Dataplex API in allen Projekten in einer Organisation oder einem Ordner erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind erforderlich, um die Dataplex API in allen Projekten in einer Organisation oder einem Ordner zu aktivieren:
-
So suchen Sie nach allen Projekten in einer Organisation oder einem Ordner:
cloudasset.assets.searchAllResourcesfür die Organisation oder den Ordner -
So aktivieren Sie die Dataplex API:
serviceusage.services.usefür jedes Projekt, in dem Sie die Dataplex API aktivieren möchten
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
So aktivieren Sie die Dataplex API in allen Projekten in einer Organisation oder einem Ordner:
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Führen Sie das folgende Skript aus:
#!/bin/bash RESOURCE_ID="RESOURCE_ID" gcloud asset search-all-resources \ --scope="RESOURCE_TYPE/$RESOURCE_ID" \ --asset-types="cloudresourcemanager.googleapis.com/Project" \ --format="value(name)" | while read project_name; do project_id=$(echo "$project_name" | sed 's|.*/||') gcloud services enable "dataplex.googleapis.com" --project="$project_id" doneErsetzen Sie Folgendes:
RESOURCE_ID: die Organisationsnummer oder Ordnernummer der Ressource, die die Projekte enthältRESOURCE_TYPE: Der Typ der Ressource, die die Projekte enthält:organizationsoderfolders
-
Dataplex Catalog-Betrachter (
roles/dataplex.catalogViewer) -
BigQuery Data Viewer (
roles/bigquery.dataViewer) -
Dataplex Universal Catalog-Einträge ansehen:
-
dataplex.entries.list -
dataplex.entries.get
-
-
BigQuery-Datasets und ‑Tabellen ansehen:
-
bigquery.datasets.get -
bigquery.tables.get
-
-
Rufen Sie in der Google Cloud Console die Seite Job oder Job-Trigger erstellen auf.
- Wählen Sie Ihr Projekt aus.
- Geben Sie die erforderlichen Details für den Inspektionsjob und die Details der BigQuery-Tabelle ein, die Sie prüfen möchten. Eine Anleitung finden Sie unter BigQuery-Tabelle prüfen. Eine vollständige Liste der Informationstypen, die der Schutz sensibler Daten prüfen kann, finden Sie in der Referenz zu InfoType-Detektoren.
- Aktivieren Sie unter Aktionen hinzufügen die Option In Dataplex Universal Catalog veröffentlichen.
- Klicken Sie auf Erstellen. Der Job wird sofort ausgeführt.
-
PROJECT_ID: Ihre Google Cloud -Projekt-ID Projekt-IDs sind alphanumerische Strings. -
LOCATION: die Region oder Multiregion, in der Sie die Anfrage verarbeiten möchten, z. B.europe-west1oderus. Eine Liste der verfügbaren Standorte finden Sie unter Standorte für den Schutz sensibler Daten. -
BIGQUERY_DATASET_NAME: Name des BigQuery-Datasets, das die zu untersuchende Tabelle enthält -
BIGQUERY_TABLE_NAME: Name der BigQuery-Tabelle, die geprüft werden soll
Rollen und Berechtigungen zum Aufrufen von Aspekten
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für die Tabelle zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Suchen nach Aspekten benötigen, die mit Ihrer BigQuery-Tabelle verknüpft sind:
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Suchen nach Aspekten erforderlich sind, die mit Ihrer BigQuery-Tabelle verknüpft sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind erforderlich, um nach Aspekten zu suchen, die mit Ihrer BigQuery-Tabelle verknüpft sind:
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Weitere Informationen zu den Berechtigungen, die für die Verwendung von Dataplex Universal Catalog erforderlich sind, finden Sie unter IAM-Berechtigungen für Dataplex Universal Catalog.
Inspektionsjob für Schutz sensibler Daten konfigurieren und ausführen
Sie können einen Job zum Schutz sensibler Daten entweder über die Google Cloud -Console oder die DLP API konfigurieren und ausführen.
Konsole
REST
Im folgenden Beispiel wird eine projects.locations.dlpJobs.create-Anfrage gesendet, um eine BigQuery-Tabelle zu prüfen und die Ergebnisse an Dataplex Universal Catalog zu senden.
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
HTTP-Methode und URL:
POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs
JSON-Text anfordern:
{
"inspectJob":
{
"storageConfig":
{
"bigQueryOptions":
{
"tableReference":
{
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig":
{
"infoTypes":
[
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"includeQuote": true,
"minLikelihood": "UNLIKELY",
"limits":
{
"maxFindingsPerRequest": 100
}
},
"actions":
[
{
"publishFindingsToDataplexCatalog": {}
}
]
}
}
Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
{
"name": "projects/PROJECT_ID/locations/LOCATION/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"minLikelihood": "UNLIKELY",
"limits": {
"maxFindingsPerRequest": 100
},
"includeQuote": true
},
"actions": [
{
"publishFindingsToDataplexCatalog": {}
}
]
}
},
"result": {}
},
"createTime": "2025-09-09T00:29:55.951374Z",
"lastModified": "2025-09-09T00:29:58.022967Z"
}
Informationen zum Abrufen der Ergebnisse von Inspektionsjobs mit der DLP API finden Sie unter Job abrufen.
Beispiele für Suchanfragen
In diesem Abschnitt finden Sie Beispielsuchanfragen, mit denen Sie in Dataplex Universal Catalog nach Daten in Ihrer Organisation oder Ihrem Projekt mit bestimmten Aspektwerten suchen können.
Sie können nur auf Daten zugreifen, für die Sie die entsprechenden Berechtigungen haben. Der Datenzugriff wird über IAM-Berechtigungen gesteuert. Weitere Informationen finden Sie in diesem Dokument unter Rollen und Berechtigungen zum Ansehen von Aspekten.
Sie können diese Beispielanfragen auf der Seite Suche in Dataplex Universal Catalog in das Feld Suche eingeben.
Informationen zum Erstellen der Abfragen finden Sie unter Suchsyntax für Dataplex Universal Catalog.
Einträge aller Tabellen mit dem Aspekt „Sensitive Data Protection-Job-Ergebnis“ suchen
aspect:sensitive-data-protection-job-result
Einträge der geprüften Tabellen mit Ergebnissen finden
aspect:sensitive-data-protection-job-result.hasFindings=True
Einträge der geprüften Tabellen ohne Ergebnisse finden
aspect:sensitive-data-protection-job-result.hasFindings=False
Einträge von Tabellen finden, die vollständig geprüft wurden
Die folgende Abfrage gibt die Einträge von Tabellen zurück, die von Sensitive Data Protection zeilenweise geprüft wurden.
aspect:sensitive-data-protection-job-result.isFullScan=True
Einträge von Tabellen finden, die nicht vollständig geprüft wurden
Die folgende Abfrage gibt die Einträge von Tabellen zurück, die von Sensitive Data Protection durch Stichproben untersucht wurden.
aspect:sensitive-data-protection-job-result.isFullScan=False