Datenverarbeitungspipelines einrichten und verwalten

Unterstützt in:

Mit der Funktion Data Processing Pipeline (Datenverarbeitungspipeline) haben Sie die Möglichkeit, die Datenerfassung in Google Security Operations zu steuern. Mit Datenverarbeitungs-Pipelines können Sie eingehende Daten bearbeiten, bevor sie von Google Security Operations geparst werden. Sie können beispielsweise Ereignisse filtern und transformieren oder vertrauliche Werte entfernen. Dieser Prozess kann dazu beitragen, Daten für Google SecOps zu optimieren, Kosten zu senken, vertrauliche Informationen zu schützen und die Kompatibilität zu verbessern.

In diesem Dokument wird beschrieben, wie Sie mit der Bindplane-Konsole eine Verbindung zu einer Google SecOps-Zielinstanz konfigurieren, einen neuen Stream erstellen, die Datenverarbeitungspipeline (Quellen und Prozessoren) einrichten, sie bereitstellen, um die Datenverarbeitung zu starten, und Pipelinequellen und ‑prozessoren in der Google SecOps-Konsole ansehen. Beispiel-Anwendungsfälle umfassen Folgendes:

  • Leere Schlüssel/Wert-Paare aus Rohlogs entfernen
  • Entfernen Sie sensible Daten.
  • Aufnahmelabels aus Rohlog-Inhalten hinzufügen
  • In Umgebungen mit mehreren Instanzen müssen Sie Erfassungslabel auf Logdaten für die Direkterfassung anwenden, um anzugeben, aus welcher Quellinstanz die Daten stammen (z. B. Google Cloud, Workspace).
  • Palo Alto Cortex-Daten nach Feldwerten filtern
  • SentinelOne-Daten nach Kategorie reduzieren
  • Hosts aus Feeds und Logs für die direkte Aufnahme in das Feld ingestion_source für Cloud Monitoring parsen.

Sie können Datenverarbeitungspipelines für lokale und Cloud-Datenquellen konfigurieren. Dazu können Sie entweder die Bindplane-Verwaltungskonsole oder direkt die öffentlichen Google SecOps Data Pipeline APIs verwenden.

Eine Datenverarbeitungspipeline besteht aus den folgenden Elementen:

  • Quellen: Eine oder mehrere Datenquellen liefern Daten für die Datenverarbeitungs-Pipeline. Jede Quelle ist für verschiedene Datenquellentypen konfiguriert.
  • Prozessorknoten: Eine Datenverarbeitungs-Pipeline hat einen Prozessorknoten, der einen oder mehrere Prozessoren enthält. Jeder Prozessor gibt eine Aktion an, die für die Daten ausgeführt werden soll (z. B. filtern, transformieren und unkenntlich machen), während sie durch die Pipeline fließen.
  • Ziel: Die Google SecOps-Zielinstanz, an die die verarbeiteten Daten gesendet werden.

Vorbereitung

Wenn Sie die Bindplane-Konsole zum Verwalten Ihrer Google SecOps-Datenverarbeitungs-Pipeline verwenden möchten, führen Sie die folgenden Schritte aus:

  1. Weisen Sie dem Installer in der Google Security Operations-Konsole die erforderlichen vordefinierten Administratorrollen zu. Weitere Informationen finden Sie unter Rolle „Project IAM Admin“ in einem dedizierten Projekt zuweisen. Wählen Sie unter Rollen zuweisen die folgenden vordefinierten IAM-Rollen (Identity and Access Management) aus:
    • Chronicle API-Administrator (roles/chronicle.admin)
    • Administrator von Chronicle-Dienst (roles/chroniclesm.admin)
    • Chronicle SOAR Admin Beta (roles/chronicle.soarAdmin)
    • Projekt-IAM-Administrator (roles/resourcemanager.projectIamAdmin)
  2. Installieren Sie die BindPlane-Serverkonsole. Informationen zur SaaS- oder On-Premise-Installation finden Sie unter BindPlane Server-Konsole installieren.
  3. Stellen Sie in der BindPlane-Konsole eine Verbindung zwischen einer Google SecOps-Zielinstanz und Ihrer BindPlane-Organisation her. Weitere Informationen finden Sie unter Verbindung zu einer Google SecOps-Instanz herstellen.

Möglicherweise längere Bestätigungszeit für Streams mit geringem Volumen

Bei Nutzern der Ingestion API, die ihren eigenen Agent konfigurieren, kann es bei Streams mit geringem Volumen in der Datenverarbeitungs-Pipeline zu einer längeren Bestätigungszeit kommen. Die durchschnittliche erwartete Bestätigungszeit kann von 700 ms auf bis zu 2 Sekunden ansteigen. In diesem Fall müssen Sie möglicherweise die Zeitüberschreitungszeiträume und den Speicher entsprechend erhöhen. Die Bestätigungszeit sollte sinken, wenn der Datendurchsatz auf mehr als 4 MB/s steigt.

Verbindung zu einer Google SecOps-Instanz herstellen

Stellen Sie eine Verbindung zu einer Google SecOps-Instanz her, die als Ziel für die Ausgabe Ihrer Datenverarbeitungspipelines dient.

So stellen Sie über die Bindplane-Konsole eine Verbindung zu einer Google SecOps-Instanz her:

  1. Rufen Sie in der Bindplane-Konsole die Seite Manage your organization (Organisation verwalten) auf.
  2. Klicken Sie auf der Karte Integrations (Integrationen) auf Connect to Google SecOps (Mit Google SecOps verbinden).

  3. Geben Sie im Fenster Integration bearbeiten, das sich öffnet, die Details der Google SecOps-Zielinstanz ein, in die die Ausgabe Ihrer Datenverarbeitungspipelines aufgenommen wird:

    Feld Beschreibung
    Region Die Region Ihrer Google SecOps-Instanz. Rufen Sie die Google Cloud -Konsole auf, gehen Sie zur Seite Google Security Operations und klicken Sie auf Instanzdetails, um die Instanz zu finden.
    Kundennummer Die Kundennummer Ihrer Google SecOps-Instanz. Rufen Sie in der Google SecOps-Konsole Einstellungen > Profil > Organisationsdetails auf.
    Google Cloud Projektnummer Die Google Cloud Projektnummer Ihrer Google SecOps-Instanz
    .Sie finden die Projektnummer in der Google SecOps-Konsole unter Einstellungen > Profil > Organisationsdetails.
    Anmeldedaten Anmeldedaten für das Dienstkonto für den Zugriff auf die Google SecOps Data Pipeline APIs.
    Dies ist ein JSON-Wert, der in der Datei mit den Anmeldedaten für das Google-Dienstkonto verfügbar ist. Das Dienstkonto muss sich im selben Projekt wie Ihre Google SecOps-Instanz befinden. Informationen zum Erstellen eines Dienstkontos und zum Herunterladen der JSON-Datei finden Sie unter Dienstkontoschlüssel erstellen und löschen.

  4. Klicken Sie auf Verbinden. Wenn Ihre Verbindungsdetails korrekt sind und Sie erfolgreich eine Verbindung zu Google SecOps herstellen, können Sie Folgendes erwarten:

    • Details zur Google SecOps-Instanz (verschlüsselt) werden im Organization-Objekt gespeichert.
    • Eine Verbindung zur Google SecOps-Instanz wird geöffnet.
    • Wenn Sie sich zum ersten Mal verbinden, sehen Sie den Tab Streams in der Bindplane-Konsole.
    • In der BindPlane-Konsole werden jetzt alle Datenverarbeitungspipelines angezeigt, die Sie zuvor für diese Instanz über die API eingerichtet haben. Das System konvertiert einige Prozessoren, die Sie mit der API konfiguriert haben, in Bindplane-Prozessoren und zeigt andere im Rohformat der OpenTelemetry Transformation Language (OTTL) an. Sie können die Bindplane-Konsole verwenden, um Pipelines und Prozessoren zu bearbeiten, die zuvor mit der API eingerichtet wurden.

  5. Nachdem Sie eine Verbindung zu einer Google SecOps-Instanz hergestellt haben, können Sie einen Stream erstellen und die Datenverarbeitungs-Pipeline einrichten. Weitere Informationen finden Sie unter Datenverarbeitungs-Pipeline mit der Bindplane-Konsole einrichten.

Datenverarbeitungs-Pipeline mit der Bindplane-Konsole einrichten

Mit der Bindplane-Konsole können Sie Ihre Google SecOps-Pipelines für die Datenverarbeitung verwalten, einschließlich der Pipelines, die über die API eingerichtet wurden.

So erstellen Sie einen neuen Stream, richten die Datenverarbeitungspipeline ein, konfigurieren Quellen und Prozessoren für die Datenverarbeitungspipeline und stellen eine Datenverarbeitungspipeline bereit, um die Datenverarbeitung zu starten:

  1. Neuen Stream erstellen
  2. Datenverarbeitungs-Pipeline konfigurieren
    1. Quellen konfigurieren
    2. Prozessoren konfigurieren
  3. Datenverarbeitungs-Pipeline bereitstellen

Neuen Stream erstellen

Ein Stream ist ein Container, in dem Sie eine Datenverarbeitungspipeline konfigurieren können.
So erstellen Sie einen neuen Stream:

  1. Klicken Sie in der Bindplane-Konsole auf den Tab Streams, um die Seite Streams zu öffnen.
  2. Klicken Sie auf Stream erstellen.
  3. Legen Sie im Fenster Create new stream (Neuen Stream erstellen) den Stream type (Streamtyp) auf Google SecOps (Standard) fest.
  4. Gib einen Stream-Namen und eine Beschreibung ein.
  5. Klicken Sie auf Erstellen.
    • Die Details des neuen Streams werden auf der Seite Streams angezeigt.
    • Informationen zum Konfigurieren einer Datenverarbeitungs-Pipeline im neuen Stream finden Sie unter Datenverarbeitungs-Pipeline konfigurieren.

Datenverarbeitungs-Pipeline konfigurieren

In einer Datenverarbeitungs-Pipeline werden Datenquellen zum Erfassen und Prozessoren (z. B. zum Filtern, Transformieren oder Entfernen) zum Bearbeiten der Daten angegeben, während sie zur Zielinstanz von Google SecOps fließen.

Eine Pipeline-Konfigurationskarte ist eine Visualisierung der Datenverarbeitungspipeline, in der Sie die Datenquellen und den Prozessorknoten konfigurieren können. Der Knoten Processor besteht aus Prozessoren, die die Daten bearbeiten, während sie zur Destination-Instanz von Google SecOps fließen.

Wenn Sie eine Datenverarbeitungs-Pipeline konfigurieren möchten, müssen Sie zuerst einen neuen Stream erstellen und dann so vorgehen:

  1. Klicken Sie in der Bindplane-Konsole auf den Tab Streams, um die Seite Streams zu öffnen.
  2. Wählen Sie den Stream aus, für den Sie die neue Datenverarbeitungspipeline konfigurieren möchten. Die Konfigurationskarte Pipeline wird geöffnet.

  3. Nehmen Sie folgende Einstellungen vor:

    1. Eine Quelle. Weitere Informationen finden Sie unter Quellen konfigurieren.

    2. Der Prozessorknoten:

      • Informationen zum Hinzufügen eines Prozessors über die Bindplane-Konsole finden Sie unter Prozessoren konfigurieren.
      • Bei einigen benutzerdefinierten Prozessoren können Sie den zugehörigen OTTL-Rohcode direkt bearbeiten.

  4. Nachdem Sie diese Konfigurationen abgeschlossen haben, können Sie mit der Verarbeitung der Daten beginnen. Weitere Informationen finden Sie unter Datenverarbeitungspipeline einführen.

Quellen konfigurieren

Eine Quelle erfasst Daten gemäß ihrer konfigurierten Spezifikationen und speist sie in die Pipeline ein. Eine Datenverarbeitungspipeline kann eine oder mehrere Quellen haben, die jeweils für eine andere Datenquelle konfiguriert sind.

So fügen Sie eine Quelle hinzu:

  1. Klicken Sie auf der Konfigurationskarte Pipeline auf  Quelle hinzufügen, um das Fenster SecOps-Datenquelle erstellen zu öffnen.

  2. Geben Sie im Fenster SecOps-Datenquelle erstellen Details für die folgenden Felder ein:

    Feld Beschreibung
    Logtyp Der Logtyp der aufzunehmenden Daten.
    Wählen Sie den Logtyp aus, der aufgenommen werden soll. Beispiel: „CrowdStrike Falcon (CS_EDR)“.

    Hinweis: Sie können keinen Log-Typ mit einem Warnsymbol auswählen.
    Ein Warnsymbol weist darauf hin, dass der Protokolltyp bereits in einer anderen Quelle konfiguriert ist (in dieser oder einer anderen Pipeline in Ihrer Google SecOps-Instanz).
    Wenn Sie einen solchen Protokolltyp verwenden möchten, müssen Sie ihn zuerst aus der anderen Quellkonfiguration löschen.
    Informationen zum Auffinden der anderen Quellkonfiguration, in der der Protokolltyp konfiguriert ist, finden Sie unter Streamkonfigurationen (Pipelines) filtern.
    Aufnahmemethode Die Erfassungsmethode, die zum Erfassen der Daten für den ausgewählten Logtyp verwendet werden soll.
    Diese Erfassungsmethoden wurden zuvor für Ihre Google SecOps-Instanz definiert.
    Wählen Sie eine der folgenden Optionen aus:
    • Alle Aufnahmemethoden

      Hinweis:Wenn Sie diese Option auswählen, werden Ihre Optionen beim Hinzufügen der nächsten Quellen eingeschränkt.
      Wenn Sie Alle Aufnahmemethoden auswählen, können Sie für diesen Logtyp keine weiteren Quellen für bestimmte Aufnahmemethoden hinzufügen.
    • Wählen Sie eine bestimmte Aufnahmemethode aus.
      Beispiel: „Bindplane Agent“, „Cloud Native Ingestion“, „Feed“, „Ingestion API“ oder „Workspace“.
      • Hinweis: Wenn Sie diese Option auswählen, werden Ihre Optionen eingeschränkt, wenn Sie die nächsten Quellen hinzufügen möchten:
        Wenn Sie eine bestimmte Erfassungsmethode auswählen, können Sie für diesen Logtyp keine weitere Quelle mit „Alle Erfassungsmethoden“ hinzufügen.
        Sie können weiterhin andere nicht konfigurierte spezifische Aufnahmemethoden für diesen Logtyp auswählen.
      • Wenn Sie Feed ausgewählt haben, wird im nächsten Feld eine Liste mit Feeds angezeigt, aus der Sie die Erfassungsquelle auswählen können. (Siehe nächstes Feld.)
    Feed Der Feed, der zum Erfassen von Quelldaten verwendet werden soll.
    Wenn Sie im Feld Aufnahmemethode die Option Feed auswählen, wird im Feld Feed eine Liste mit Feednamen (die zuvor für Ihre Google SecOps-Instanz definiert wurden) für den ausgewählten Logtyp angezeigt.
    Wählen Sie einen bestimmten Feed aus der Liste aus.

    Hinweis: Eine Liste Ihrer Feeds finden Sie in der Google SecOps-Konsole unter Einstellungen > Feedtabelle.

  3. Klicken Sie auf Quelle hinzufügen, um die neue Datenquelle zu speichern.

    • Die neue Quelle wird jetzt in der Datenverarbeitungspipeline auf der Konfigurationskarte Pipeline angezeigt.
    • Sie wird automatisch mit dem Processor-Knoten und dem Google SecOps-Ziel verbunden.
Stream- (Pipeline-)Konfigurationen filtern

Mit der Suchleiste auf der Seite Streams können Sie Ihre Streams (Pipelines zur Datenverarbeitung) anhand verschiedener Konfigurationselemente filtern, z. B. nach Protokolltyp, Aufnahmemethode und Feedname. Sie können die folgenden Syntaxelemente zum Filtern verwenden: logtype:value, ingestionmethod:value und feed:value.

Wenn Sie beispielsweise die Suchleiste verwenden möchten, um Quellkonfigurationen mit einem bestimmten Logtyp zu identifizieren, geben Sie logtype: in die Suchleiste ein und wählen Sie den Logtyp aus der Liste aus.

Prozessoren konfigurieren

Eine Datenverarbeitungspipeline hat einen Prozessorknoten, der einen oder mehrere Prozessoren enthält. Jeder Prozessor bearbeitet die Quelldaten, während sie durch die Pipeline fließen, und zwar in der Reihenfolge, in der die Prozessoren im Bereich Prozessoren angezeigt werden. Der erste Prozessor verarbeitet die Quelldaten. Die resultierende Ausgabe wird dann vom nächsten Prozessor und anschließend von den nachfolgenden Prozessoren verarbeitet.

Konfigurieren Sie den Prozessorknoten, indem Sie einen oder mehrere Prozessoren hinzufügen, entfernen oder die Reihenfolge ändern.

So fügen Sie einen Prozessor hinzu:

  1. Klicken Sie auf der Konfigurationskarte Pipeline auf den Knoten Prozessor, um das Fenster Prozessoren bearbeiten zu öffnen.
    Das Fenster Prozessoren bearbeiten besteht aus drei Bereichen:

    • Linker Bereich: Aktuelle eingehende Quell-Logdaten (vor der Verarbeitung)
    • Mittlerer Bereich: Prozessoren und ihre Konfigurationen
    • Rechter Bereich: Aktuelle Logdaten für ausgehende Ergebnisse (nach der Verarbeitung)

    Wenn die Pipeline bereits eingeführt wurde, werden im System die letzten eingehenden Logdaten (vor der Verarbeitung) und die letzten ausgehenden Logdaten (nach der Verarbeitung) in den Bereichen angezeigt.

  2. Klicken Sie auf Prozessor hinzufügen, um die Prozessorliste aufzurufen. Die Liste der Auftragsverarbeiter ist nach Auftragsverarbeitertyp gruppiert.
    (Wenn Sie die Prozessorliste organisieren möchten, können Sie eigene Bundles hinzufügen. Wählen Sie dazu einen oder mehrere Prozessoren aus und klicken Sie auf Neue Prozessor-Bundles hinzufügen.)

  3. Wählen Sie einen Prozessor aus der Liste aus, den Sie hinzufügen möchten.

  4. Konfigurieren Sie den Prozessor nach Bedarf.

  5. Klicken Sie auf Speichern, um die Prozessorkonfiguration im Knoten Prozessor zu speichern.

Das System testet die neue Prozessorkonfiguration, indem es eine neue Stichprobe der eingehenden Quell-Log-Daten (im linken Bereich) verarbeitet und die ausgehenden Ergebnisdaten (im rechten Bereich) anzeigt.

Datenverarbeitungspipeline einführen

Sobald die Konfigurationen für Quelle und Prozessor abgeschlossen sind, stellen Sie die Pipeline bereit, um mit der Verarbeitung von Daten zu beginnen.

Klicken Sie auf Einführung starten, um eine Datenverarbeitungs-Pipeline einzuführen. Dadurch wird die Datenverarbeitungspipeline aktiviert und die sichere Infrastruktur von Google kann mit der Verarbeitung von Daten gemäß der Konfiguration der Datenverarbeitungspipeline beginnen.

Wenn die Einführung erfolgreich ist, wird die Versionsnummer der Konfiguration der Datenverarbeitungspipeline erhöht und neben dem Namen der Datenverarbeitungspipeline angezeigt.

Klicken Sie neben dem Namen der Datenverarbeitungs-Pipeline auf den Link Verlauf, um den Konfigurationsverlauf aufzurufen. Die Konfigurationsänderungen zwischen den einzelnen Versionen der Datenverarbeitungspipeline werden angezeigt.

Nächste Schritte

Sie können aktive Datenstreams in Google SecOps im schreibgeschützten Modus ansehen. Weitere Informationen finden Sie unter Informationen zur Datenverarbeitungs-Pipeline in der Google SecOps Console ansehen.

Informationen zur Datenverarbeitungspipeline in der Google SecOps Console ansehen

In den folgenden Abschnitten wird beschrieben, wie Sie Informationen zur Datenverarbeitungs-Pipeline in der Google SecOps Console aufrufen:

Konfigurierte Feeds ansehen

Auf der Seite Feeds werden alle von Ihnen konfigurierten Feeds angezeigt.

  1. Rufen Sie in der Google SecOps Console Einstellungen > Feeds auf. Auf der Hauptseite werden alle konfigurierten Feeds angezeigt.
  2. Bewegen Sie den Mauszeiger auf die einzelnen Zeilen, um das Menü ⋮ Mehr aufzurufen. Über das Menü können Sie Feeddetails aufrufen, den Feed bearbeiten, deaktivieren oder löschen.
  3. Klicken Sie auf Details ansehen, um das Detailfenster aufzurufen.
  4. Klicken Sie auf In Bindplane öffnen, um die Quellkonfiguration für diesen Feed in der Bindplane-Konsole zu öffnen.

Informationen zur Datenverarbeitungspipeline auf der Seite „Logtypes“ ansehen

Auf der Seite Logtypen werden alle verfügbaren Logtypen angezeigt. So rufen Sie Details zur Datenverarbeitungspipeline auf:

  1. Rufen Sie in der Google SecOps Console Settings > Logtypes auf. Auf der Hauptseite werden alle Ihre Logtypen angezeigt.
  2. Bewegen Sie den Mauszeiger auf die einzelnen Zeilen, um das Menü ⋮ Mehr aufzurufen. Im Menü können Sie Details zum Protokolltyp aufrufen.
  3. Klicken Sie auf Datenverarbeitung ansehen, um das Detailfenster aufzurufen.
  4. Klicken Sie auf In Bindplane öffnen, um die Prozessorkonfiguration für diesen Prozessor in der Bindplane-Konsole zu öffnen.

Google SecOps Data Pipeline APIs verwenden

Mit den Google SecOps Data Pipeline APIs können Sie Ihre Datenverarbeitungspipelines verwalten. Die APIs decken alle Funktionen der Datenpipeline ab, z. B. das Erstellen, Aktualisieren, Löschen und Auflisten von Pipelines sowie der zugehörigen Feeds und Logtypen.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten