Die korrekte Verwaltung sensibler Daten, die in einem Speicher-Repository gespeichert sind, beginnt mit der Speicherklassifizierung: Sie identifizieren, wo sich Ihre sensiblen Daten im Repository befinden, um welche Art von sensiblen Daten es sich handelt und wie sie genutzt werden. Dieses Wissen kann Ihnen helfen, Berechtigungen für die Zugriffssteuerung und Freigabe richtig festzulegen, und in einen ständigen Überwachungsplan einfließen.
Mit dem Schutz sensibler Daten können sensible Daten, die an einem Cloud Storage-Speicherort, in einer Datastore-Art oder in einer BigQuery-Tabelle gespeichert sind, erkannt und klassifiziert werden. Beim Scannen von Dateien an Cloud Storage-Speicherorten unterstützt der Schutz sensibler Daten das Scannen von Binär-, Text-, Bild-, Microsoft Word-, Microsoft Excel-, Microsoft PowerPoint-, PDF- und Apache Avro-Dateien. Nicht erkannte Dateitypen werden als Binärdateien gescannt. Weitere Informationen zu unterstützten Dateitypen finden Sie unter Unterstützte Dateitypen.
Wenn Sie Speicher und Datenbanken auf sensible Daten prüfen möchten, geben Sie den Speicherort der Daten und die Art der sensiblen Daten an, nach denen der Schutz sensibler Daten suchen soll. Der Schutz sensibler Daten initiiert einen Job, der die Daten am angegebenen Speicherort prüft und dann Details zu den im Inhalt gefundenen infoTypes, Wahrscheinlichkeitswerten usw. zur Verfügung stellt.
Sie können die Prüfung von Speicher und Datenbanken mithilfe des Schutzes sensibler Daten in der Google Cloud Console, über die RESTful DLP API oder programmatisch mithilfe einer Clientbibliothek für den Schutz sensibler Daten in einer von mehreren Sprachen einrichten.
Dieses Thema umfasst:
- Best Practices zum Einrichten von Scans von Google Cloud Storage-Repositories und -Datenbanken.
- Anleitung zum Einrichten eines Inspektionsscans mit dem Schutz sensibler Daten in der Google Cloud Console und (optional) zum Planen regelmäßig wiederkehrender Inspektionsscans.
- JSON- und Codebeispiele für jeden Google Cloud Storage-Repository-Typ: (Cloud Storage, Firestore im Datastore-Modus (Datastore) und BigQuery).
- Eine detaillierte Übersicht über die Konfigurationsoptionen für Scanjobs.
- Eine Anleitung zum Abrufen von Scanergebnissen und zum Verwalten der Scanjobs, die bei jeder erfolgreichen API-Anfrage erstellt werden.
Best Practices
Zu scannende Assets identifizieren und priorisieren
Es ist wichtig, dass Sie Ihre Assets evaluieren und angeben, welche davon die höchste Priorität für Scanvorgänge haben. Wahrscheinlich wird der Rückstand der zu klassifizierenden Daten anfangs groß sein und keine Möglichkeit bestehen, alle Daten sofort zu scannen. Wählen Sie also zuerst Daten aus, die das höchste Risiko bergen. Dazu gehören beispielsweise Daten, die häufig abgerufen oder allgemein zugänglich bzw. unbekannt sind.
Sicherstellen, dass der Schutz sensibler Daten auf Ihre Daten zugreifen kann
Der Schutz sensibler Daten muss auf die zu scannenden Daten zugreifen können. Das Dienstkonto für den Schutz sensibler Daten muss berechtigt sein, Ihre Ressourcen zu lesen.
Umfang der ersten Scans beschränken
Die besten Ergebnisse erzielen Sie, wenn Sie den Umfang der ersten Jobs beschränken und nicht alle Daten scannen. Beginnen Sie mit einer einzigen Tabelle, einem einzigen Bucket oder einigen Dateien und verwenden Sie die Probenahme. Wenn Sie den Umfang der ersten Scans einschränken, können Sie besser bestimmen, welche Detektoren aktiviert werden sollen und welche Ausschlussregeln erforderlich sind, um falsch positive Ergebnisse zu reduzieren und aussagekräftigere Ergebnisse zu erhalten. Vermeiden Sie es, alle infoTypes zu aktivieren, wenn Sie nicht alle benötigen, da falsch positive oder unbrauchbare Ergebnisse die Risikoeinschätzung erschweren. Obwohl infoTypes wie DATE
, TIME
, DOMAIN_NAME
und URL
in bestimmten Szenarien nützlich sind, ergeben sie in einem breiten Spektrum von Ergebnissen Übereinstimmungen, sodass deren Aktivierung für große Datenscans unter Umständen nicht sinnvoll ist.
Achten Sie beim Sampling einer strukturierten Datei, z. B. einer CSV-, TSV- oder Avro-Datei, darauf, dass die Stichprobengröße groß genug ist, um den vollständigen Header der Datei und eine Datenzeile abzudecken. Weitere Informationen finden Sie unter Strukturierte Dateien im strukturierten Parsingmodus scannen.
Scans planen
Verwenden Sie Job-Trigger für den Schutz sensibler Daten, um täglich, wöchentlich oder vierteljährlich automatisch Scans auszuführen und Ergebnisse zu generieren. Sie können diese Scans auch so konfigurieren, dass nur Daten geprüft werden, die sich seit dem letzten Scan geändert haben. Dies kann Zeit sparen und Kosten senken. Wenn Sie Scans regelmäßig ausführen, lassen sich Trends oder Anomalien in den Scanergebnissen leichter erkennen.
Joblatenz
Für Jobs und Job-Trigger werden keine Service Level Objectives (SLO) garantiert. Die Latenz wird von mehreren Faktoren beeinflusst, darunter die Menge der zu scannenden Daten, das gescannte Speicher-Repository, der Typ und die Anzahl der infoTypes, nach denen Sie scannen, die Region, in der der Job verarbeitet wird, und die in dieser Region verfügbaren Rechenressourcen. Daher kann die Latenz von Inspektionsjobs nicht im Voraus bestimmt werden.
Versuchen Sie Folgendes, um die Joblatenz zu reduzieren:
- Wenn Stichproben für den Job oder Job-Trigger verfügbar ist, aktivieren Sie sie.
Vermeiden Sie die Aktivierung von infoTypes, die Sie nicht benötigen. Obwohl Folgendes in bestimmten Szenarien nützlich ist, können diese infoTypes Anfragen wesentlich langsamer ausführen als Anfragen, die sie nicht enthalten:
PERSON_NAME
FEMALE_NAME
MALE_NAME
FIRST_NAME
LAST_NAME
DATE_OF_BIRTH
LOCATION
STREET_ADDRESS
ORGANIZATION_NAME
Geben Sie infoTypes immer explizit an. Verwenden Sie keine leere infoTypes-Liste.
Verwenden Sie nach Möglichkeit eine andere Verarbeitungsregion.
Wenn Sie nach dem Ausführen dieser Techniken immer noch Latenzprobleme mit Jobs haben, sollten Sie anstelle von Jobs content.inspect
- oder content.deidentify
-Anfragen verwenden. Diese Methoden sind im Service Level Agreement (SLA) abgedeckt. Weitere Informationen finden Sie unter Service Level Agreement (SLA) für sensible Daten.
Hinweise
Für die Anleitung in diesem Thema wird Folgendes vorausgesetzt:
Sie haben die Abrechnung aktiviert.
Sie haben den Schutz sensibler Daten aktiviert.
Die Speicherklassifizierung erfordert den folgenden OAuth-Bereich: https://www.googleapis.com/auth/cloud-platform
. Weitere Informationen finden Sie unter Bei der DLP API authentifizieren.
Cloud Storage-Speicherort prüfen
Sie können eine Prüfung des Schutzes sensibler Daten an einem Cloud Storage-Standort mit der Google Cloud Console, der DLP API über REST- oder RPC-Anfragen oder programmatisch in mehreren Sprachen mithilfe einer Clientbibliothek einrichten. Informationen zu den Parametern, die in den folgenden JSON- und Codebeispielen enthalten sind, finden Sie weiter unten in diesem Thema unter Speicherinspektion konfigurieren.
Beim Schutz sensibler Daten werden die Typen der zu scannenden Dateien und die anzuwendenden Scanmodi anhand von Dateierweiterungen und Medientypen (MIME) identifiziert. Der Schutz sensibler Daten scannt beispielsweise eine .txt
-Datei im Nur-Text-Modus, auch wenn die Datei als CSV-Datei strukturiert ist, die normalerweise im strukturierten Parsing-Modus gescannt wird.
So richten Sie einen Scanjob für einen Cloud Storage-Bucket mit dem Schutz sensibler Daten ein:
Console
In diesem Abschnitt wird beschrieben, wie Sie einen Cloud Storage-Bucket oder -Ordner untersuchen. Wenn Sie zum Schutz sensibler Daten auch eine de-identifizierte Kopie Ihrer Daten erstellen möchten, lesen Sie die Informationen unter In Cloud Storage gespeicherte sensible Daten mit der Google Cloud Console de-identifizieren.
Rufen Sie im Abschnitt zum Schutz sensibler Daten in der Google Cloud Console die Seite Job oder Job-Trigger erstellen auf.
Geben Sie die Informationen zum Job für den Schutz sensibler Daten ein und klicken Sie zum Ausführen der einzelnen Schritte auf Weiter:
Geben Sie für Schritt 1: Eingabedaten auswählen einen Namen für den Job im Feld Name ein. Wählen Sie unter Speicherort im Menü Speichertyp die Option "Cloud Storage" aus und geben Sie dann den Speicherort der zu scannenden Daten ein. Der Bereich Probenahme ist zur Ausführung eines Beispielscans für Ihre Daten vorkonfiguriert. Sie können das Feld Prozentsatz der innerhalb des Buckets gescannten Objekte anpassen, um bei großen Datenmengen Ressourcen zu sparen. Weitere Informationen finden Sie unter Eingabedaten auswählen.
(Optional) Für Schritt 2: Erkennung konfigurieren können Sie festlegen, nach welchen Datentypen (infoTypes) gesucht werden soll. Sie haben die Möglichkeit, einen vordefinierten infoType aus der Liste oder eine Vorlage (sofern vorhanden) auszuwählen. Weitere Informationen finden Sie unter Erkennung konfigurieren.
(Optional) Achten Sie darauf, dass für Schritt 3: Aktionen hinzufügen die Option Per E-Mail benachrichtigen aktiviert ist.
Aktivieren Sie In BigQuery speichern, um die Ergebnisse zum Schutz sensibler Daten in einer BigQuery-Tabelle zu veröffentlichen. Machen Sie folgende Angaben:
- Geben Sie als Projekt-ID die Projekt-ID ein, unter der Ihre Ergebnisse gespeichert werden.
- Geben Sie als Dataset-ID den Namen des Datasets ein, in dem Ihre Ergebnisse gespeichert werden.
- (Optional) Geben Sie als Tabellen-ID den Namen der Tabelle ein, in der Ihre Ergebnisse gespeichert werden. Wenn Sie keine Tabellen-ID angeben, wird neuen Tabellen ein Standardname etwa in der Form
dlp_googleapis_[DATE]_1234567890
zugewiesen, wobei[DATE]
für das Datum steht, an dem der Scanvorgang ausgeführt wird. Wenn Sie eine vorhandene Tabelle angeben, werden die Ergebnisse daran angehängt. - (Optional) Aktivieren Sie Anführungszeichen einschließen, um Strings einzuschließen, die einem infoType-Detektor entsprechen. Anführungszeichen sind möglicherweise vertraulich, sodass sie beim Schutz sensibler Daten standardmäßig nicht in Ergebnisse aufgenommen werden.
Wenn Daten in eine BigQuery-Tabelle geschrieben werden, werden die Abrechnungs- und Kontingentnutzung auf das Projekt angewendet, das die Zieltabelle enthält.
Wenn Sie eine de-identifizierte Kopie Ihrer Daten erstellen möchten, aktivieren Sie die Option De-identifizierte Kopie erstellen. Weitere Informationen finden Sie unter In Cloud Storage gespeicherte sensible Daten mithilfe der Google Cloud Console de-identifizieren.
Sie können Ergebnisse auch in Pub/Sub, Security Command Center, Data Catalog und Cloud Monitoring speichern. Weitere Informationen finden Sie unter Aktionen hinzufügen.
(Optional) Übernehmen Sie für Schritt 4: Zeitplan die Menüoption Keiner, wenn der Scan nur einmal ausgeführt werden soll. Klicken Sie auf Trigger zum Ausführen des Jobs nach einem regelmäßigen Zeitplan erstellen, um die regelmäßige Ausführung von Scans zu planen. Weitere Informationen finden Sie unter Zeitplan.
Klicken Sie auf Erstellen.
Nachdem der Job zum Schutz sensibler Daten abgeschlossen ist, werden Sie zur Seite mit den Jobdetails weitergeleitet und per E-Mail benachrichtigt. Sie können sich die Ergebnisse der Inspektion auf der Seite mit den Jobdetails ansehen.
(Optional) Wenn Sie Ergebnisse zum Schutz sensibler Daten in BigQuery veröffentlichen möchten, klicken Sie auf der Seite Jobdetails auf Ergebnisse in BigQuery ansehen, um die Tabelle in der BigQuery-Web-UI zu öffnen. Anschließend können Sie die Tabelle abfragen und Ihre Ergebnisse analysieren. Weitere Informationen zum Abfragen der Ergebnisse in BigQuery finden Sie unter Ergebnisse zum Schutz sensibler Daten in BigQuery abfragen.
Protokoll
Es folgt ein JSON-Beispiel, das in einer POST-Anfrage an den angegebenen REST-Endpunkt zum Schutz sensibler Daten gesendet werden kann. In diesem JSON-Beispiel wird veranschaulicht, wie die DLP API zum Prüfen von Cloud Storage-Buckets verwendet wird. Informationen zu den Parametern, die in der Anfrage enthalten sind, finden Sie weiter unten im Abschnitt Speicherinspektion konfigurieren.
Sie können dies in APIs Explorer auf der Referenzseite für content.inspect
schnell ausprobieren:
Beachten Sie, dass bei erfolgreicher Ausführung einer Anfrage ein neuer Scanjob erstellt wird, auch in APIs Explorer. Informationen zum Steuern von Scanjobs finden Sie weiter unten in diesem Thema unter Inspektionsergebnisse abrufen. Allgemeine Informationen zur Verwendung von JSON zum Senden von Anfragen an die DLP API finden Sie im JSON-Schnellstart.
JSON-Eingabe:
POST https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs?key={YOUR_API_KEY}
{
"inspectJob":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://[BUCKET-NAME]/*"
},
"bytesLimitPerFile":"1073741824"
},
"timespanConfig":{
"startTime":"2017-11-13T12:34:29.965633345Z",
"endTime":"2018-01-05T04:45:04.240912125Z"
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"excludeInfoTypes":false,
"includeQuote":true,
"minLikelihood":"LIKELY"
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT-ID]",
"datasetId":"[DATASET-ID]"
}
}
}
}
]
}
}
JSON-Ausgabe:
{
"name":"projects/[PROJECT-ID]/dlpJobs/[JOB-ID]",
"type":"INSPECT_JOB",
"state":"PENDING",
"inspectDetails":{
"requestedOptions":{
"snapshotInspectTemplate":{
},
"jobConfig":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://[BUCKET-NAME]/*"
},
"bytesLimitPerFile":"1073741824"
},
"timespanConfig":{
"startTime":"2017-11-13T12:34:29.965633345Z",
"endTime":"2018-01-05T04:45:04.240912125Z"
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT-ID]",
"datasetId":"[DATASET-ID]",
"tableId":"[NEW-TABLE-ID]"
}
}
}
}
]
}
}
},
"createTime":"2018-11-07T18:01:14.225Z"
}
Java
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Node.js
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Go
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
PHP
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
C#
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datastore-Art prüfen
Sie können eine Prüfung eines Datenspeichertyps mit der Google Cloud Console, der DLP API über REST- oder RPC-Anfragen oder programmatisch in mehreren Programmiersprachen mithilfe einer Clientbibliothek einrichten.
So richten Sie einen Scanjob für eine Datastore-Art mit dem Schutz sensibler Daten ein:
Console
So richten Sie einen Scanjob für eine Datastore-Art mit dem Schutz sensibler Daten ein:
Rufen Sie in der Google Cloud Console im Abschnitt zum Schutz sensibler Daten die Seite Job oder Job-Trigger erstellen auf.
Geben Sie die Informationen zum Job für den Schutz sensibler Daten ein und klicken Sie zum Ausführen der einzelnen Schritte auf Weiter:
Geben Sie für Schritt 1: Eingabedaten auswählen die Kennungen für das Projekt, den Namespace (optional) und die Art ein, die Sie scannen möchten. Weitere Informationen finden Sie unter Eingabedaten auswählen.
(Optional) Für Schritt 2: Erkennung konfigurieren können Sie festlegen, nach welchen Datentypen (infoTypes) gesucht werden soll. Sie haben die Möglichkeit, einen vordefinierten infoType aus der Liste oder eine Vorlage (sofern vorhanden) auszuwählen. Weitere Informationen finden Sie unter Erkennung konfigurieren.
(Optional) Achten Sie darauf, dass für Schritt 3: Aktionen hinzufügen die Option Per E-Mail benachrichtigen aktiviert ist.
Aktivieren Sie In BigQuery speichern, um die Ergebnisse zum Schutz sensibler Daten in einer BigQuery-Tabelle zu veröffentlichen. Machen Sie folgende Angaben:
- Geben Sie als Projekt-ID die Projekt-ID ein, unter der Ihre Ergebnisse gespeichert werden.
- Geben Sie als Dataset-ID den Namen des Datasets ein, in dem Ihre Ergebnisse gespeichert werden.
- (Optional) Geben Sie als Tabellen-ID den Namen der Tabelle ein, in der Ihre Ergebnisse gespeichert werden. Wenn Sie keine Tabellen-ID angeben, wird neuen Tabellen ein Standardname wie beispielsweise
dlp_googleapis_[DATE]_1234567890
zugewiesen. Bei Angabe einer vorhandenen Tabelle werden die Ergebnisse an diese angehängt.
Wenn Daten in eine BigQuery-Tabelle geschrieben werden, werden die Abrechnungs- und Kontingentnutzung auf das Projekt angewendet, das die Zieltabelle enthält.
Weitere Informationen zu den anderen aufgeführten Aktionen finden Sie unter Aktionen hinzufügen.
(Optional) Konfigurieren Sie für Schritt 4: Zeitplan eine Zeitspanne oder einen Zeitplan. Wählen Sie dazu entweder Zeitspanne angeben oder Trigger zum Ausführen des Jobs nach einem regelmäßigen Zeitplan erstellen aus. Weitere Informationen finden Sie unter Zeitplan.
Klicken Sie auf Erstellen.
Nachdem der Job zum Schutz sensibler Daten abgeschlossen ist, werden Sie zur Seite mit den Jobdetails weitergeleitet und per E-Mail benachrichtigt. Sie können sich die Ergebnisse der Inspektion auf der Seite mit den Jobdetails ansehen.
(Optional) Wenn Sie Ergebnisse zum Schutz sensibler Daten in BigQuery veröffentlichen möchten, klicken Sie auf der Seite Jobdetails auf Ergebnisse in BigQuery ansehen, um die Tabelle in der BigQuery-Web-UI zu öffnen. Anschließend können Sie die Tabelle abfragen und Ihre Ergebnisse analysieren. Weitere Informationen zum Abfragen der Ergebnisse in BigQuery finden Sie unter Ergebnisse des Schutzes sensibler Daten in BigQuery abfragen.
Protokoll
Es folgt ein JSON-Beispiel, das in einer POST-Anfrage an den angegebenen DLP API-REST-Endpunkt gesendet werden kann. In diesem JSON-Beispiel wird veranschaulicht, wie die DLP API zum Prüfen von Datenspeichertypen verwendet wird. Informationen zu den Parametern, die in der Anfrage enthalten sind, finden Sie weiter unten im Abschnitt Speicherinspektion konfigurieren.
Sie können dies in APIs Explorer auf der Referenzseite für dlpJobs.create
schnell ausprobieren:
Beachten Sie, dass bei erfolgreicher Ausführung einer Anfrage ein neuer Scanjob erstellt wird, auch in APIs Explorer. Informationen zum Steuern von Scanjobs finden Sie weiter unten im Abschnitt Inspektionsergebnisse abrufen. Allgemeine Informationen zur Verwendung von JSON zum Senden von Anfragen an die DLP API finden Sie im JSON-Schnellstart.
JSON-Eingabe:
POST https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs?key={YOUR_API_KEY}
{
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"kind":{
"name":"Example-Kind"
},
"partitionId":{
"namespaceId":"[NAMESPACE-ID]",
"projectId":"[PROJECT-ID]"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"excludeInfoTypes":false,
"includeQuote":true,
"minLikelihood":"LIKELY"
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT-ID]",
"datasetId":"[BIGQUERY-DATASET-NAME]",
"tableId":"[BIGQUERY-TABLE-NAME]"
}
}
}
}
]
}
}
Java
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Node.js
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Go
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
PHP
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
C#
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Eine BigQuery-Tabelle untersuchen
Sie können eine Prüfung einer BigQuery-Tabelle mithilfe des Schutzes sensibler Daten über REST-Anfragen oder programmatisch in mehreren Programmiersprachen mithilfe einer Clientbibliothek einrichten.
So richten Sie einen Scanjob für eine BigQuery-Tabelle mit dem Schutz sensibler Daten ein:
Console
So richten Sie einen Scanjob für eine BigQuery-Tabelle mit dem Schutz sensibler Daten ein:
Rufen Sie in der Google Cloud Console im Abschnitt zum Schutz sensibler Daten die Seite Job oder Job-Trigger erstellen auf.
Geben Sie die Informationen zum Job für den Schutz sensibler Daten ein und klicken Sie zum Ausführen der einzelnen Schritte auf Weiter:
Geben Sie für Schritt 1: Eingabedaten auswählen einen Namen für den Job im Feld Name ein. Wählen Sie unter Speicherort im Menü Speichertyp die Option "BigQuery" aus und geben Sie die Informationen für die zu scannende Tabelle ein.
Der Bereich Probenahme ist so vorkonfiguriert, dass ein Beispielscan für Ihre Daten ausgeführt wird. Sie können die Felder Zeilen beschränken durch und Maximale Zeilenanzahl anpassen, um bei großen Datenmengen Ressourcen zu sparen. Weitere Informationen finden Sie unter Eingabedaten auswählen.
(Optional) Wenn Sie jedes Ergebnis mit der Zeile verknüpfen möchten, die es enthält, verwenden Sie das Feld Identifizierende Felder.
Geben Sie die Namen der Spalten ein, die jede Zeile in der Tabelle eindeutig identifizieren. Verwenden Sie bei Bedarf Punktnotationen, um verschachtelte Felder anzugeben. Sie können beliebig viele Felder hinzufügen.
Außerdem müssen Sie die Aktion In BigQuery speichern aktivieren, um die Ergebnisse nach BigQuery zu exportieren. Beim Export der Ergebnisse nach BigQuery enthält jedes Ergebnis die entsprechenden Werte der identifizierenden Felder. Weitere Informationen finden Sie unter
identifyingFields
.(Optional) Für Schritt 2: Erkennung konfigurieren können Sie festlegen, nach welchen Datentypen (infoTypes) gesucht werden soll. Sie haben die Möglichkeit, einen vordefinierten infoType aus der Liste oder eine Vorlage (sofern vorhanden) auszuwählen. Weitere Informationen finden Sie unter Erkennung konfigurieren.
(Optional) Achten Sie darauf, dass für Schritt 3: Aktionen hinzufügen die Option Per E-Mail benachrichtigen aktiviert ist.
Aktivieren Sie In BigQuery speichern, um die Ergebnisse zum Schutz sensibler Daten in einer BigQuery-Tabelle zu veröffentlichen. Machen Sie folgende Angaben:
- Geben Sie als Projekt-ID die Projekt-ID ein, unter der Ihre Ergebnisse gespeichert werden.
- Geben Sie als Dataset-ID den Namen des Datasets ein, in dem Ihre Ergebnisse gespeichert werden.
- (Optional) Geben Sie als Tabellen-ID den Namen der Tabelle ein, in der Ihre Ergebnisse gespeichert werden. Wenn Sie keine Tabellen-ID angeben, wird neuen Tabellen ein Standardname wie beispielsweise
dlp_googleapis_[DATE]_1234567890
zugewiesen. Bei Angabe einer vorhandenen Tabelle werden die Ergebnisse an diese angehängt.
Wenn Daten in eine BigQuery-Tabelle geschrieben werden, werden die Abrechnungs- und Kontingentnutzung auf das Projekt angewendet, das die Zieltabelle enthält.
Sie können die Ergebnisse auch in Pub/Sub, Security Command Center und Data Catalog speichern. Weitere Informationen finden Sie unter Aktionen hinzufügen.
(Optional) Übernehmen Sie für Schritt 4: Zeitplan die Menüoption Keiner, wenn der Scan nur einmal ausgeführt werden soll. Klicken Sie auf Trigger zum Ausführen des Jobs nach einem regelmäßigen Zeitplan erstellen, um die regelmäßige Ausführung von Scans zu planen. Weitere Informationen finden Sie unter Zeitplan.
Klicken Sie auf Erstellen.
Nachdem der Job zum Schutz sensibler Daten abgeschlossen ist, werden Sie zur Seite mit den Jobdetails weitergeleitet und per E-Mail benachrichtigt. Sie können sich die Ergebnisse der Inspektion auf der Seite mit den Jobdetails ansehen.
(Optional) Wenn Sie Ergebnisse zum Schutz sensibler Daten in BigQuery veröffentlichen möchten, klicken Sie auf der Seite Jobdetails auf Ergebnisse in BigQuery ansehen, um die Tabelle in der BigQuery-Web-UI zu öffnen. Anschließend können Sie die Tabelle abfragen und Ihre Ergebnisse analysieren. Weitere Informationen zum Abfragen der Ergebnisse in BigQuery finden Sie unter Ergebnisse des Schutzes sensibler Daten in BigQuery abfragen.
Protokoll
Es folgt ein JSON-Beispiel, das in einer POST-Anfrage an den angegebenen DLP API-REST-Endpunkt gesendet werden kann. In diesem JSON-Beispiel wird veranschaulicht, wie die DLP API zum Prüfen von BigQuery-Tabellen verwendet wird. Informationen zu den Parametern, die in der Anfrage enthalten sind, finden Sie weiter unten im Abschnitt Speicherinspektion konfigurieren.Sie können dies in APIs Explorer auf der Referenzseite für dlpJobs.create
schnell ausprobieren:
Beachten Sie, dass bei erfolgreicher Ausführung einer Anfrage ein neuer Scanjob erstellt wird, auch in APIs Explorer. Informationen zum Steuern von Scanjobs finden Sie weiter unten in diesem Thema unter Inspektionsergebnisse abrufen. Allgemeine Informationen zur Verwendung von JSON zum Senden von Anfragen an die DLP API finden Sie im JSON-Schnellstart.
JSON-Eingabe:
POST https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs?key={YOUR_API_KEY}
{
"inspectJob":{
"storageConfig":{
"bigQueryOptions":{
"tableReference":{
"projectId":"[PROJECT-ID]",
"datasetId":"[BIGQUERY-DATASET-NAME]",
"tableId":"[BIGQUERY-TABLE-NAME]"
},
"identifyingFields":[
{
"name":"id"
}
]
},
"timespanConfig":{
"startTime":"2017-11-13T12:34:29.965633345Z ",
"endTime":"2018-01-05T04:45:04.240912125Z "
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"excludeInfoTypes":false,
"includeQuote":true,
"minLikelihood":"LIKELY"
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT-ID]",
"datasetId":"[BIGQUERY-DATASET-NAME]",
"tableId":"[BIGQUERY-TABLE-NAME]"
},
"outputSchema": "BASIC_COLUMNS"
}
}
}
]
}
}
Java
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Node.js
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Go
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
PHP
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
C#
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Speicherinspektion konfigurieren
Zum Prüfen eines Cloud Storage-Speicherorts, einer Datastore-Art oder einer BigQuery-Tabelle senden Sie eine Anfrage an die Methode projects.dlpJobs.create
der DLP API, die mindestens den Speicherort der zu scannenden Daten enthält und angibt, wonach gesucht werden soll. Über diese erforderlichen Parameter hinaus können Sie auch angeben, wo die Scanergebnisse, Größen- und Wahrscheinlichkeitsschwellenwerte und mehr gespeichert werden sollen. Eine erfolgreiche Anfrage führt zum Erstellen einer DlpJob
-Objektinstanz, die unter Inspektionsergebnisse abrufen beschrieben wird.
Die verfügbaren Konfigurationsoptionen sind hier zusammengefasst:
Objekt
InspectJobConfig
: Enthält die Konfigurationsinformationen für den Inspektionsjob. Das ObjektInspectJobConfig
wird auch vom ObjektJobTriggers
verwendet, um das Erstellen vonDlpJob
s zu planen. Dieses Objekt beinhaltet:Objekt
StorageConfig
: Erforderlich. Enthält Details zu dem zu prüfenden Speicher-Repository:Je nach Typ des gescannten Speicher-Repositorys muss eines der folgenden Objekte im Objekt
StorageConfig
enthalten sein:Objekt
CloudStorageOptions
: Enthält Informationen zum Cloud Storage-Bucket, der gescannt werden soll.Objekt
DatastoreOptions
: Enthält Informationen zum Datastore-Dataset, das gescannt werden soll.Objekt
BigQueryOptions
: Enthält Informationen zur BigQuery-Tabelle, die gescannt werden soll, und optional zu den Identifikationsfeldern. Dieses Objekt ermöglicht auch Ergebnisstichproben. Weitere Informationen finden Sie unten im Abschnitt Menge des zu prüfenden Inhalts beschränken.Objekt
TimespanConfig
: Optional. Gibt die Zeitspanne der Elemente an, die in den Scan einbezogen werden sollen.
Objekt
InspectConfig
: Erforderlich. Gibt an, wonach gesucht werden soll, zum Beispiel infoTypes und Wahrscheinlichkeitswerte.- Objekte vom Typ
InfoType
: Erforderlich. Ein oder mehrere infoType-Werte, nach denen gesucht werden soll. - Enum
Likelihood
: Optional. Wenn diese Richtlinie festgelegt ist, gibt der Schutz sensibler Daten nur Ergebnisse zurück, die mindestens diesem Wahrscheinlichkeitsgrenzwert entsprechen. Wird diese Enum weggelassen, ist der StandardwertPOSSIBLE
. - Objekt
FindingLimits
: Optional. Wenn dieses Objekt festgelegt ist, können Sie ein Limit für die Anzahl der zurückgegebenen Ergebnisse angeben. - Parameter
includeQuote
: Optional. Die Standardeinstellung istfalse
. Wenn dieser Parameter auftrue
festgelegt ist, enthält jedes Ergebnis ein kontextbezogenes Zitat aus den Daten, die es ausgelöst haben. - Parameter
excludeInfoTypes
: Optional. Die Standardeinstellung istfalse
. Wenn dieser Parameter auftrue
festgelegt ist, sind in den Scanergebnissen keine Typinformationen für die Treffer enthalten. - Objekte vom Typ
CustomInfoType
: Ein oder mehrere benutzerdefinierte, vom Nutzer erstellte infoTypes. Weitere Informationen zum Erstellen von benutzerdefinierten infoTypes finden Sie unter Benutzerdefinierte infoType-Detektoren erstellen.
- Objekte vom Typ
String
inspectTemplateName
: Optional. Gibt eine Vorlage an, die zum Einfügen von Standardwerten imInspectConfig
-Objekt verwendet werden soll. Wenn SieInspectConfig
bereits angegeben haben, werden die Vorlagenwerte zusammengeführt.Objekte vom Typ
Action
: Optional. Eine oder mehrere Aktionen, die nach Abschluss des Jobs ausgeführt werden sollen. Die Aktionen werden in der Reihenfolge ihrer Auflistung ausgeführt. Hier geben Sie an, wo Ergebnisse zu speichern sind oder ob eine Benachrichtigung für ein Pub/Sub-Thema veröffentlicht werden soll.
jobId
: Optional. Eine Kennung für den Job, der vom Schutz sensibler Daten zurückgegeben wird. WennjobId
weggelassen wird oder leer ist, erstellt das System eine ID für den Job. Wenn angegeben, wird dem Job dieser ID-Wert zugewiesen. Die Job-ID darf nur einmal vorkommen und kann Groß- und Kleinbuchstaben, Ziffern und Bindestriche enthalten. Das heißt, sie muss dem folgenden regulären Ausdruck entsprechen:[a-zA-Z\\d-]+
.
Umfang des zu prüfenden Inhalts beschränken
Wenn Sie BigQuery-Tabellen oder Cloud Storage-Buckets scannen, bietet der Schutz sensibler Daten eine Möglichkeit, eine Teilmenge des Datasets zu scannen. Dadurch erhalten Sie eine Probenahme von Scanergebnissen ohne die potenziellen Kosten für das Scannen eines gesamten Datasets.
Die folgenden Abschnitte enthalten Informationen zur Größenbeschränkung von Cloud Storage-Scans und BigQuery-Scans.
Cloud Storage-Scans beschränken
Durch Begrenzung der geprüften Datenmenge können Sie Stichproben in Cloud Storage aktivieren. Sie können die DLP API anweisen, nur Dateien mit einer bestimmten Maximalgröße, nur bestimmte Dateitypen und nur einen bestimmten Prozentsatz der Gesamtzahl der Dateien im Eingabedateisatz zu prüfen. Geben Sie dazu die folgenden optionalen Felder in CloudStorageOptions
an:
bytesLimitPerFile
: Legt die maximale Anzahl von Byte fest, die aus einer Datei gescannt werden sollen. Wenn die Größe einer gescannten Datei diesen Wert überschreitet, wird der Rest der Byte ausgelassen. Das Festlegen dieses Felds hat keine Auswirkungen auf bestimmte Dateitypen. Weitere Informationen finden Sie unter Limits für gescannte Byte pro Datei.fileTypes[]
: Listet dieFileTypes
auf, die im Scan enthalten sein sollen. Dies kann für einen oder mehrere der folgenden Enum-Typen festgelegt werden:filesLimitPercent
: Beschränkt die Anzahl der zu scannenden Dateien auf den angegebenen Prozentsatz des Eingabe-FileSet
. Die Angabe von0
oder100
bedeutet, dass es kein Limit gibt.sampleMethod
: Wie die Probenahme der Byte erfolgen soll, wenn nicht alle Byte gescannt werden. Die Angabe dieses Werts ist nur sinnvoll, wenn er in Verbindung mitbytesLimitPerFile
verwendet wird. Wenn nicht angegeben, beginnt der Scan von oben. Dieses Feld kann auf einen von zwei Werten festgelegt werden:TOP
: Das Scannen beginnt von oben.RANDOM_START
: Für jede Datei, deren Größe die inbytesLimitPerFile
angegebene Größe überschreitet, wird ein zufälliger Offset zum Starten des Scans ausgewählt. Die geprüften Byte sind zusammenhängend.
Die folgenden Beispiele zeigen, wie mit der DLP API eine Teilmenge von 90% eines Cloud Storage-Bucket nach Personennamen gescannt wird. Der Scan beginnt an einer zufälligen Position im Datensatz und berücksichtigt nur Textdateien mit weniger als 200 Byte.
C#
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Go
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Java
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Node.js
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
PHP
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
REST
JSON-Eingabe:
POST https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs?key={YOUR_API_KEY}
{
"inspectJob":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://[BUCKET-NAME]/*"
},
"bytesLimitPerFile":"200",
"fileTypes":[
"TEXT_FILE"
],
"filesLimitPercent":90,
"sampleMethod":"RANDOM_START"
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PERSON_NAME"
}
],
"excludeInfoTypes":true,
"includeQuote":true,
"minLikelihood":"POSSIBLE"
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT-ID]",
"datasetId":"testingdlp"
},
"outputSchema":"BASIC_COLUMNS"
}
}
}
]
}
}
Nachdem die JSON-Eingabe in einer POST-Anfrage an den angegebenen Endpunkt gesendet wurde, wird ein Job zum Schutz sensibler Daten erstellt und die API sendet die folgende Antwort.
JSON-Ausgabe:
{
"name":"projects/[PROJECT-ID]/dlpJobs/[JOB-ID]",
"type":"INSPECT_JOB",
"state":"PENDING",
"inspectDetails":{
"requestedOptions":{
"snapshotInspectTemplate":{
},
"jobConfig":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://[BUCKET_NAME]/*"
},
"bytesLimitPerFile":"200",
"fileTypes":[
"TEXT_FILE"
],
"sampleMethod":"TOP",
"filesLimitPercent":90
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PERSON_NAME"
}
],
"minLikelihood":"POSSIBLE",
"limits":{
},
"includeQuote":true,
"excludeInfoTypes":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT-ID]",
"datasetId":"[DATASET-ID]",
"tableId":"[TABLE-ID]"
},
"outputSchema":"BASIC_COLUMNS"
}
}
}
]
}
}
},
"createTime":"2018-05-30T22:22:08.279Z"
}
BigQuery-Scans beschränken
Geben Sie die folgenden optionalen Felder in BigQueryOptions
an, um die Probenahme in BigQuery durch Beschränkung der zu scannenden Datenmenge zu aktivieren:
rowsLimit
: Die maximale Anzahl der zu scannenden Zeilen. Wenn die Tabelle mehr Zeilen hat als diesen Wert, wird der Rest der Zeilen ausgelassen. Wenn das Feld nicht oder mit 0 festgelegt ist, werden alle Zeilen gescannt.rowsLimitPercent
: Der maximale Prozentsatz der zu scannenden Zeilen (zwischen 0 und 100). Die übrigen Zeilen werden weggelassen. Wenn Sie diesen Wert auf 0 oder 100 festlegen, gibt es keine Begrenzung. Der Standardwert ist 0. Es kann nur entwederrowsLimit
oderrowsLimitPercent
angegeben werden.sampleMethod
: Wie die Probenahme der Zeilen erfolgt, wenn nicht alle Zeilen gescannt werden. Wenn nicht angegeben, beginnt der Scan von oben. Für dieses Feld kann einer der zwei Werte festgelegt werden:TOP
: Das Scannen beginnt von oben.RANDOM_START
: Das Scannen beginnt mit einer zufällig ausgewählten Zeile.
excludedFields
: Tabellenfelder, die Spalten, die vom Lesen ausgeschlossen werden sollen, eindeutig identifizieren. Dies kann die Menge der gescannten Daten reduzieren und die Gesamtkosten eines Inspektionsjobs senken.includedFields
: Tabellenfelder, die bestimmte Zeilen in der zu scannenden Tabelle eindeutig identifizieren.
Ein weiteres nützliches Feature zum Beschränken der zu scannenden Daten, insbesondere beim Scannen von partitionierten Tabellen, ist TimespanConfig
.
Mit TimespanConfig
können Sie durch Angabe von Start- und Endwerten eine Zeitspanne definieren, um BigQuery-Tabellenzeilen herauszufiltern. Der Schutz sensibler Daten scannt dann nur Zeilen, die einen Zeitstempel innerhalb dieses Zeitraums enthalten.
Die folgenden Beispiele zeigen, wie mit der DLP API eine aus 1.000 Zeilen bestehende Teilmenge einer BigQuery-Tabelle gescannt wird. Der Scan beginnt mit einer zufälligen Zeile.
Go
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Java
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Node.js
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
PHP
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
C#
Informationen zum Installieren und Verwenden der Clientbibliothek für den Schutz sensibler Daten finden Sie unter Clientbibliotheken für den Schutz sensibler Daten.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich beim Schutz sensibler Daten zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
REST
JSON-Eingabe:
POST https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs?key={YOUR_API_KEY}
{
"inspectJob":{
"storageConfig":{
"bigQueryOptions":{
"tableReference":{
"projectId":"bigquery-public-data",
"datasetId":"usa_names",
"tableId":"usa_1910_current"
},
"rowsLimit":"1000",
"sampleMethod":"RANDOM_START",
"includedFields":[
{
"name":"name"
}
]
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"FIRST_NAME"
}
],
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT-ID]",
"datasetId":"testingdlp",
"tableId":"bqsample3"
},
"outputSchema":"BASIC_COLUMNS"
}
}
}
]
}
}
Nachdem die JSON-Eingabe in einer POST-Anfrage an den angegebenen Endpunkt gesendet wurde, wird ein Job zum Schutz sensibler Daten erstellt und die API sendet die folgende Antwort.
JSON-Ausgabe:
{
"name": "projects/[PROJECT-ID]/dlpJobs/[JOB-ID]",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "bigquery-public-data",
"datasetId": "usa_names",
"tableId": "usa_1910_current"
},
"rowsLimit": "1000",
"sampleMethod": "RANDOM_START",
"includedFields": [
{
"name": "name"
}
]
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "FIRST_NAME"
}
],
"limits": {},
"includeQuote": true
},
"actions": [
{
"saveFindings": {
"outputConfig": {
"table": {
"projectId": "[PROJECT-ID]",
"datasetId": "[DATASET-ID]",
"tableId": "bqsample"
},
"outputSchema": "BASIC_COLUMNS"
}
}
}
]
}
},
"result": {}
},
"createTime": "2022-11-04T18:53:48.350Z"
}
Wenn der Inspektionsjob abgeschlossen ist und die Ergebnisse von BigQuery verarbeitet wurden, stehen die Ergebnisse des Scans in der angegebenen BigQuery-Ausgabetabelle zur Verfügung. Weitere Informationen zum Abrufen von Inspektionsergebnissen finden Sie im nächsten Abschnitt.
Inspektionsergebnisse abrufen
Mit der Methode projects.dlpJobs.get
können Sie eine Zusammenfassung eines DlpJob
abrufen. Der zurückgegebene DlpJob
enthält sein InspectDataSourceDetails
-Objekt, das sowohl eine Zusammenfassung der Jobkonfiguration (RequestedOptions
) als auch eine Zusammenfassung des Jobergebnisses (Result
) enthält. Die Zusammenfassung der Ergebnisse enthält Folgendes:
processedBytes
: Die verarbeitete Gesamtgröße in Byte.totalEstimatedBytes
: Die geschätzte Anzahl der noch zu verarbeitenden Byte.- Objekt
InfoTypeStatistics
: Statistiken dazu, wie viele Instanzen jedes infoTypes während des Inspektionsjobs gefunden wurden.
Für vollständige Ergebnisse von Inspektionsjobs haben Sie mehrere Möglichkeiten. Je nach ausgewählter Action
werden Inspektionsjobs:
- in BigQuery (Objekt
SaveFindings
) in der angegebenen Tabelle gespeichert. Bevor Sie die Ergebnisse anzeigen oder analysieren, prüfen Sie mithilfe der Methodeprojects.dlpJobs.get
, ob der Job beendet ist. Diese Methode ist nachfolgend beschrieben. Mit dem ObjektOutputSchema
können Sie ein Schema zum Speichern von Ergebnissen angeben. - in einem Pub/Sub-Thema (Objekt
PublishToPubSub
) veröffentlicht. Das Thema muss dem Dienstkonto für den Schutz sensibler Daten, das denDlpJob
ausführt, von dem die Benachrichtigungen gesendet werden, Veröffentlichungszugriffsrechte erteilt haben. - Im Security Command Center veröffentlicht.
- In Data Catalog veröffentlicht.
- In Cloud Monitoring veröffentlicht.
Wenn Sie große Datenmengen durchsehen möchten, die vom Schutz sensibler Daten generiert wurden, können Sie mithilfe von integrierten BigQuery-Tools umfangreiche SQL-Analysen oder Tools wie Looker Studio zum Generieren von Berichten ausführen. Weitere Informationen finden Sie unter Ergebnisse zum Schutz sensibler Daten analysieren und Berichte dazu erstellen. Einige Beispielabfragen finden Sie unter Ergebnisse in BigQuery abfragen.
Wenn Sie eine Anfrage zur Inspektion von Speicher-Repositories an den Schutz sensibler Daten senden, wird als Antwort eine DlpJob
-Objektinstanz erstellt und ausgeführt. Die Ausführung dieser Jobs kann abhängig von der Größe Ihrer Daten und der von Ihnen angegebenen Konfiguration Sekunden, Minuten oder Stunden dauern. Wenn Sie zur Veröffentlichung in einem Pub/Sub-Thema PublishToPubSub
in Action
angeben, werden automatisch Benachrichtigungen an das Thema mit dem angegebenen Namen gesendet, wenn sich der Status des Jobs ändert. Der Name des Pub/Sub-Themas wird im Format projects/[PROJECT-ID]/topics/[PUBSUB-TOPIC-NAME]
angegeben.
Sie haben die volle Kontrolle über die von Ihnen erstellten Jobs, einschließlich der folgenden Verwaltungsmethoden:
- Methode
projects.dlpJobs.cancel
: Beendet einen Job, der gerade ausgeführt wird. Der Server unternimmt alles, um den Job abzubrechen, aber der Erfolg kann nicht garantiert werden.Der Job und seine Konfiguration bleiben bestehen, bis Sie ihn löschen. - Methode
projects.dlpJobs.delete
: Löscht einen Job und seine Konfiguration. - Methode
projects.dlpJobs.get
: Ruft einen einzelnen Job ab und gibt seinen Status, seine Konfiguration und bei Abschluss des Jobs eine Zusammenfassung der Ergebnisse zurück. - Methode
projects.dlpJobs.list
: Ruft eine Liste aller Jobs ab und bietet die Möglichkeit, Ergebnisse zu filtern.
Nächste Schritte
- Weitere Informationen zum Erstellen von Speicherinspektionsjobs finden Sie unter Inspektionsjobs zum Schutz sensibler Daten erstellen und planen.
- Weitere Informationen zum Erstellen einer de-identifizierten Kopie von Daten im Speicher
- Weitere Informationen zu unterstützten Dateitypen bei der Untersuchung von Cloud Storage-Buckets finden Sie unter Unterstützte Dateitypen.