Daten aus externen Quellen mit Hybridjobs prüfen

Mit Hybridjobs und Jobtriggern können Sie den Schutzbereich erweitern, den Cloud DLP über einfache Inhaltsinspektionsanfragen und Google Cloud Storage-Repository-Scans bietet. }. Mit Hybridjobs und Job-Triggern können Sie Daten aus praktisch jeder Quelle, einschließlich außerhalb von Google Cloud, direkt an Cloud DLP streamen. Cloud DLP kann die Daten dann auf vertrauliche Informationen und automatisch prüfen. Speichern und zusammenfassen Sie die Scanergebnisse zur weiteren Analyse.

Hybridjobs werden ausgeführt, sobald sie erstellt wurden, bis Sie sie stoppen. Sie akzeptieren alle eingehenden Daten, solange sie ordnungsgemäß geroutet und formatiert sind. Hybrid-Job-Trigger funktionieren ähnlich wie Hybridjobs. Sie können damit jedoch neue Jobs innerhalb des Triggers anhalten und starten, ohne dass sie an andere Orte gesendet werden müssen. Sie können beispielsweise Daten an den Namen des hybriden Triggers senden und dann den aktiven Job beenden, dessen Konfiguration ändern, einen neuen Job innerhalb dieses Triggers starten und dann Daten an dieselbe Hybridlösung senden. Triggername.

In diesem Thema wird beschrieben, wie Sie mithilfe von Hybridjobs und Job-Trigger Daten auf vertrauliche Informationen prüfen. Weitere Informationen zu Hybridjobs und Job-Triggern, einschließlich Beispielen für Hybridumgebungen und Nutzungsszenarien, finden Sie im Konzept Hybride Jobs und Job-Trigger.

Hybrid-Prüfungsprozess

Der Rest dieses Themas beschreibt, wie Sie Cloud DLP so einrichten, dass der folgende Prozess ausgeführt wird. Die Hybridinspektion umfasst drei verschiedene Schritte, die im folgenden Diagramm dargestellt werden. Die Legende im Diagramm zeigt die einzelnen Schritte im Detail.

Diagramm, das den Ablauf der Hybrid-Jobs zeigt
  1. Wählen Sie zuerst die Daten aus, die Sie an Cloud DLP senden möchten. Die Daten können aus Google Cloud oder außerhalb stammen. Beispielsweise können Sie ein benutzerdefiniertes Skript oder eine benutzerdefinierte Anwendung so konfigurieren, dass Daten an Cloud DLP gesendet werden. So können Sie die Daten während der Übertragung, von einem anderen Clouddienst, einem lokalen Daten-Repository oder praktisch jeden andere Datenquelle. Daten, die an Cloud DLP gesendet werden, müssen Metadaten (auch als "Labels" und "Tabellen-IDs" bezeichnet) enthalten, die die Inhalte beschreiben. Cloud DLP erkennt außerdem die Informationen, die Sie erfassen möchten. Wenn Sie beispielsweise zusammengehörige Daten über mehrere Anfragen scannen (z. B. Zeilen in derselben Datenbanktabelle), können Sie diese Metadaten ebenfalls so durchführen, dass Sie Ergebnisse für sie erfassen, materialisieren und analysieren können. Datenbank Tabelle zusammen.
  2. Richten Sie als Nächstes einen hybriden Job oder einen Job-Trigger in Cloud DLP ein oder erstellen Sie eine Inspektionsvorlage. Sobald Sie einen Hybridjob oder Trigger eingerichtet haben, überwacht Cloud DLP aktiv Daten, die an ihn gesendet werden. Wenn das benutzerdefinierte Skript oder die Anwendung Daten an diesen Hybridjob oder Trigger sendet, werden die Daten geprüft und die Ergebnisse gemäß der Konfiguration gespeichert.
  3. Beim Einrichten des Hybridjobs können Sie angeben, wo Sie die Ergebnisse speichern oder veröffentlichen möchten. Zu den Optionen gehören das Speichern in BigQuery und das Veröffentlichen von Benachrichtigungen in Pub/Sub, Cloud Monitoring oder E-Mails. Während der Hybridjob ausgeführt und Anfragen überprüft wird, stehen die Prüfergebnisse zur Verfügung, sobald Cloud DLP sie generiert. Aktionen wie Pub/Sub-Benachrichtigungen werden jedoch erst übertragen, wenn der Hybridjob von der Anwendung bereitgestellt wurde. auf.

Arten von Metadaten, die du bereitstellen kannst

Im Folgenden sind die Metadatentypen aufgeführt, die Sie beim Senden von Daten an Cloud DLP bereitstellen können. Weitere Informationen zum Formatieren Ihrer Hybriddaten finden Sie unter Daten an den Trigger für den Hybridjob senden weiter unten in diesem Thema.

Container details

In jeder Anfrage können Details zur Datenquelle angegeben werden, einschließlich Elementen wie fullPath, rootPath, relativePath, type, version und anderen. Wenn Sie beispielsweise Tabellen in einer Datenbank scannen möchten, können Sie Folgendes festlegen:

  • fullPath: "10.0.0.20/database1/table1"
  • rootPath: "10.0.0.20/database1"
  • relativePath: "table1"
  • type: "postgres"
  • version: "9.6"

Zusätzliche erforderliche Labels

Sie können bei jeder Anfrage Schlüssel-/Wert-Labels angeben, um zusätzliche Metadaten zu erfassen, die in den Containerdetails nicht erfasst werden. Sie können die Labels im Hybridjob oder in jeder Anfrage angeben. Cloud DLP speichert die Metadaten bei jeder Suche. Der Hybridjob kann optional auch eine Liste der erforderlichen "Schlüssel"-Labels angeben, die enthalten sein müssen. Alle Anfragen für diesen Job, die diese erforderlichen Labels nicht enthalten, werden abgelehnt.

Optionale Labels

In jeder Anfrage können Sie optional zusätzliche Labels angeben, die mit den Ergebnissen dieser Anfrage verknüpft werden. Bei dieser Methode können Sie bei Bedarf unterschiedliche Labels für jede Anfrage verwenden. Wenn Sie in jeder Anfrage denselben Schlüssel und Wert verwenden möchten, können Sie diese auch beim Erstellen des Hybridjobs angeben. Wenn Sie beispielsweise für jede Anfrage das Label "env"="prod" verwenden möchten, können Sie dies beim Erstellen des Hybridjobs angeben.

Tabellarische Datenoptionen

Schließlich können Sie alle Spalten angeben, die Zeilenkennzeichnungen für Tabellenobjekte in Ihren Daten sind. Wenn die angegebenen Spalten in der Tabelle vorhanden sind, ist der Wert für die angegebenen Zellen zusammen mit jedem Ergebnis eingeschlossen, sodass Sie das Ergebnis zur Zeile erfassen können, aus der es stammt. Diese tabellarischen Optionen gelten nur für Anfragen, die tabellarische Daten wie ein item.table- oder byteItem-Format wie CSV senden.

Hinweis

Führen Sie folgende Schritte aus, bevor Sie Hybrid-Job-Trigger und hybride Jobressourcen einrichten und verwenden:

Neues Projekt erstellen, Abrechnung aktivieren und Cloud DLP aktivieren

  1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
  2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  3. Die Abrechnung für das Cloud-Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für Ihr Projekt aktiviert ist.

  4. Aktivieren Sie die Cloud DLP API.

    Aktivieren Sie die API

Datenquelle konfigurieren

Bevor Cloud DLP Ihre Daten prüfen kann, müssen Sie die Daten an Cloud DLP senden. Unabhängig von der Methode, die Sie zum Konfigurieren der Prüfung verwenden (Cloud DLP in der Google Cloud Console, die DLP API oder eine Clientbibliothek), müssen Sie Ihre externe Quelle zum Senden von Daten an die DLP API.

Weitere Informationen zu den Arten von Metadaten, die Sie mit den Daten in Ihrer Anfrage verwenden können, finden Sie oben unter Arten von Metadaten, die Sie bereitstellen können. Im folgenden Abschnitt wird beschrieben, wie Sie diese Metadaten für Cloud DLP angeben.

Hybridjob oder Jobtrigger einrichten

Damit Cloud DLP die Daten überprüfen kann, die Sie an sie senden, müssen Sie zuerst einen Hybridjob oder Job-Trigger einrichten.

So richten Sie einen neuen Hybridjob oder Job-Trigger ein:

  1. Öffnen Sie in der Cloud Console Cloud DLP.

    Zu Cloud DLP

  2. Bewegen Sie den Mauszeiger im Menü Erstellen auf Job oder Job-Trigger und wählen Sie dann Prüfung aus.

    Screenshot: Option "Job oder Job-Trigger" im Menü "Erstellen"

    Klicken Sie alternativ auf die folgende Schaltfläche:

    Neuen Job-Trigger erstellen

Eingabedaten auswählen

In diesem Abschnitt geben Sie die Eingabedaten an, die Cloud DLP prüfen soll.

  1. Geben Sie unter Name optional einen Job in das Feld Job-ID ein. Wenn Sie dieses Feld leer lassen, wird automatisch eine Kennzeichnung durch Cloud DLP generiert.
  2. Wählen Sie im Menü Ressourcenstandort eine Region aus. Weitere Informationen finden Sie unter Verarbeitungsstandorte angeben.
  3. Wählen Sie unter Standort im Menü Speichertyp die Option Hybrid aus. Optional können Sie auch eine Beschreibung für den Job eingeben.

Erkennung konfigurieren

In diesem Abschnitt geben Sie die Typen sensibler Daten an, für die Cloud DLP die Eingabedaten prüft. Sie haben folgende Optionen:

  • Vorlage: Wenn Sie im aktuellen Projekt bereits eine Vorlage erstellt haben, mit der Sie die Cloud DLP-Erkennungsparameter definieren möchten, Klicken Sie auf das Feld Name der Vorlage und wählen Sie die Vorlage aus der angezeigten Liste aus.
  • InfoTypes: Cloud DLP wählt die am häufigsten verwendeten integrierten infoTypes aus. Wenn Sie diese ändern oder einen benutzerdefinierten Infotyp auswählen möchten, klicken Sie auf infoTypes verwalten. Sie können die Erkennungskriterien auch in den Abschnitten Prüfregelsätze und Konfidenzschwellenwert anpassen. Weitere Informationen finden Sie unter Erkennung konfigurieren.

Wenn Sie mit der Konfiguration der Erkennungsparameter fertig sind, klicken Sie auf Weiter.

Aktionen hinzufügen

In diesem Abschnitt legen Sie fest, wo die Ergebnisse der einzelnen Inspektionsscans gespeichert werden und ob per E-Mail oder Pub/Sub-Benachrichtigung benachrichtigt werden soll, wenn ein Scan abgeschlossen ist. Beachten Sie, dass die Jobressource nur dann Statistiken zur Anzahl und infoTypes der Ergebnisse enthält, wenn Sie die Ergebnisse nicht in BigQuery speichern.

  • In BigQuery speichern: Jedes Mal, wenn ein Scan ausgeführt wird, speichert Cloud DLP die Scanergebnisse in der BigQuery-Tabelle, die Sie hier angeben. Wenn Sie keine Tabellen-ID angeben, weist BigQuery einer neuen Tabelle bei der erstmaligen Ausführung des Scans einen Standardnamen zu. Wenn Sie eine vorhandene Tabelle angeben, hängt Cloud DLP die Scanergebnisse an diese an.
  • In Pub/Sub veröffentlichen: Nach Abschluss eines Jobs wird eine Pub/Sub-Nachricht ausgegeben.
  • Per E-Mail benachrichtigen: Wenn ein Job erledigt ist, wird eine E-Mail-Nachricht gesendet.
  • In Cloud Monitoring veröffentlichen: Wenn ein Job abgeschlossen ist, werden die Ergebnisse in Monitoring veröffentlicht.

Wenn Sie fertig sind, klicken Sie auf Weiter.

Zeitraum oder Zeitplan

In diesem Abschnitt geben Sie an, ob Sie einen einzelnen Job erstellen möchten, der sofort ausgeführt wird, oder einen Job-Trigger, der jedes Mal ausgeführt wird, wenn ordnungsgemäß weitergeleitete und formatierte Daten von Cloud DLP empfangen werden.

Wenn Sie den hybriden Job sofort ausführen möchten, wählen Sie None (der Job einmal ausführen nach dem Erstellen) aus. Wenn Sie den Job so konfigurieren möchten, dass von der Quelle empfangene Daten den Job auslösen, wählen Sie Trigger zum Ausführen des Jobs nach einem regelmäßigen Zeitplan erstellen aus. Hybride, von Datenquellen ausgelöste Jobs aggregiert API-Aufrufe, sodass Sie im Laufe der Zeit Ergebnisse und Trends erkennen können.

Zusammenfassung

Eine JSON-Zusammenfassung des Scans finden Sie hier. Notieren Sie den Namen des Job- oder Job-Triggers. Sie benötigen diese Informationen, wenn Sie Daten zur Prüfung an Cloud DLP senden. Weitere Informationen zum Format von Daten, die an Cloud DLP gesendet werden, finden Sie unter Daten an den Trigger für den Hybridjob senden.

Wenn Sie fertig sind, klicken Sie auf Erstellen. Der Hybridjob wird von Cloud DLP sofort gestartet. Ein Prüfscan wird ausgelöst, sobald Cloud DLP Daten empfängt.

Daten an den Hybridjob oder Jobtrigger senden

Damit Daten mit einem hybriden Job oder Jobtrigger überprüft werden können, müssen sie auf eine bestimmte Weise formatiert und an den richtigen Endpunkt gesendet werden.

Formatierung von Hybrid-Inhaltselementen

Im Folgenden finden Sie ein einfaches Beispiel für eine Anfrage, die zur Verarbeitung durch einen Hybridjob an Cloud DLP gesendet wird. Beachten Sie die Struktur des JSON-Objekts, einschließlich des Attributs "hybridItem", in der diese Attribute verschachtelt sind:

  • "item": Enthält den zu prüfenden Inhalt.
  • "findingDetails" enthält Metadaten, die mit dem Inhalt verknüpft werden können.
{
  "hybridItem": {
    "item": {
      "value": "My email is test@example.org"
    },
    "findingDetails": {
      "containerDetails": {
        "fullPath": "10.0.0.2:logs1:app1",
        "relativePath": "app1",
        "rootPath": "10.0.0.2:logs1",
        "type": "logging_sys",
        "version": "1.2"
      },
      "labels": {
        "env": "prod"
      }
    }
  }
}

Ausführliche Informationen zum Inhalt von Elementen der Hybridprüfung finden Sie in der API-Referenzinhalte für das Objekt HybridContentItem.

Hybridendpunkte

Damit Cloud DLP das Objekt verarbeiten kann, muss es entweder an einen Hybridjob oder einen Jobtrigger übergeben werden. Beispiel für Endpunktendpunkte für beide Ersetzen Sie die folgenden Platzhalter durch ihre tatsächlichen Werte:

  • PROJECT_ID: Ihre Projekt-ID (ID).
  • LOCATION_ID: Der Standort Ihres Projekts
  • JOB_ID: Die Job-ID. Dieser Wert ist der Name, den Sie dem Hybridjob gegeben haben, mit dem Präfix i-. Wenn Sie den Job nicht benannt haben oder den Namen des Jobs in Cloud DLP abrufen möchten, wählen SieJobs und Job-Trigger und wählen Sie dannJobs prüfen auf. Unter demMaßnahmen klicken Sie auf die Schaltflächeweitere Aktionen Menü (drei vertikal angeordnete Punkte) und dann aufDetails ansehen auf. Die Job-ID befindet sich in der Zeile nach "Container: Hybrid".
  • TRIGGER_NAME: Der Name des Job-Triggers. Dieser Wert ist der Name, den Sie dem Trigger für den Hybridjob erhalten haben. Wenn Sie den Job nicht benannt haben oder den Namen des Triggers in Cloud DLP abrufen möchten, wählen SieJobs und Job-Trigger und wählen Sie dannJob-Trigger auf. Unter demMaßnahmen klicken Sie auf die Schaltflächeweitere Aktionen Menü (drei vertikal angeordnete Punkte) und dann aufDetails ansehen auf.

Hybrid-DLP-Jobs:

https://dlp.googleapis.com/v2/{name=projects/PROJECT_ID/locations/LOCATION_ID/dlpJobs/JOB_ID}:hybridInspect

Weitere Informationen zu diesem Endpunkt finden Sie auf der API-Referenzseite für die Methode projects.locations.dlpJobs.hybridInspect.

Hybrid-DLP-Job-Trigger:

https://dlp.googleapis.com/v2/{name=projects/PROJECT_ID/locations/LOCATION_ID/jobTriggers/TRIGGER_NAME}:hybridInspect

Weitere Informationen zu diesem Endpunkt finden Sie auf der API-Referenzseite für die Methode projects.locations.jobTriggers.hybridInspect.

Nächste Schritte