Ergebnisse zur Analyse nach BigQuery streamen

Auf dieser Seite wird beschrieben, wie Sie neue und aktualisierte Ergebnisse mit der Exportfunktion von Security Command Center für BigQuery in ein BigQuery-Dataset streamen. Vorhandene Ergebnisse werden nur dann an BigQuery gesendet, wenn sie aktualisiert werden.

BigQuery ist das vollständig verwaltete, kostengünstige Data Warehouse für Analysen im Petabyte-Bereich von Google Cloud. Damit können Sie große Datenmengen nahezu in Echtzeit analysieren. Sie können BigQuery verwenden, um Abfragen für neue und aktualisierte Ergebnisse auszuführen, Daten nach den benötigten Filtern zu filtern und benutzerdefinierte Berichte zu generieren. Um mehr über BigQuery zu erfahren, lesen Sie die BigQuery-Dokumentation.

Übersicht

Wenn Sie diese Funktion aktivieren, werden neue Ergebnisse, die in das Security Command Center geschrieben werden, nahezu in Echtzeit in eine BigQuery-Tabelle exportiert. Anschließend können Sie die Daten in vorhandene Workflows einbinden und benutzerdefinierte Analysen erstellen. Sie können diese Funktion auf Organisations-, Ordner- und Projektebene aktivieren, um Ergebnisse entsprechend Ihren Anforderungen zu exportieren.

Dieses Feature ist die empfohlene Methode zum Exportieren von Security Command Center-Ergebnissen in BigQuery, da es vollständig verwaltet wird und keine manuellen Vorgänge oder das Schreiben von benutzerdefiniertem Code erfordert.

Dataset-Struktur

Dieses Feature fügt jedes neue Ergebnis und die nachfolgenden Aktualisierungen als neue Zeilen in die findings-Tabelle ein. Diese ist geclustert nach source_id, finding_id und event_time.

Wenn ein Ergebnis aktualisiert wird, erstellt dieses Feature mehrere Ergebnisdatensätze mit denselben source_id- und finding_id-Werten, aber mit unterschiedlichen event_time-Werten. Mit dieser Dataset-Struktur können Sie sehen, wie sich der Zustand jedes Ergebnisses im Laufe der Zeit ändert.

Beachten Sie, dass doppelte Einträge in Ihrem Dataset vorhanden sein können. Zum Herausfiltern dieser Einträge können Sie die Klausel DISTINCT verwenden, wie in der ersten Beispielabfrage gezeigt.

Jedes Dataset enthält die Tabelle findings mit den folgenden Feldern:

Feld Beschreibung
source_id

Eine eindeutige Kennung, die Security Command Center der Quelle eines Ergebnisses zuweist. Beispielsweise haben alle Ergebnisse der Quelle „Cloud-Anomalieerkennung“ denselben „source_id“-Wert.

Beispiel: 1234567890
finding_id Eindeutige Kennung für das Ergebnis. Sie ist innerhalb der Quelle für die Organisation eindeutig. Sie ist alphanumerisch und besteht aus höchstens 32 Zeichen.
event_time

Die Zeit, zu der das Ereignis aufgetreten ist, oder die Zeit, zu der eine Aktualisierung des Ergebnisses erfolgt ist. Wenn das Ergebnis beispielsweise eine offene Firewall darstellt, erfasst event_time den Zeitpunkt, zu dem der Detektor der Meinung ist, dass die Firewall geöffnet ist. Wenn das Ergebnis später behoben wird, gibt dieser Zeitpunkt an, wann das Ergebnis behoben wurde.

Beispiel: 2019-09-26 12:48:00.985000 UTC
finding

Ein Datensatz von Bewertungsdaten wie Sicherheit, Risiko, Zustand oder Datenschutz, die in Security Command Center für Darstellung, Benachrichtigung, Analyse, Richtlinientests und Durchsetzung aufgenommen werden. Eine XSS-Sicherheitslücke (Cross-Site-Scripting) in einer App Engine-Anwendung ist beispielsweise ein Ergebnis.

Weitere Informationen zu den verschachtelten Feldern finden Sie in der API-Referenz zum Objekt Finding.

Ressource

Informationen zu der Google Cloud-Ressource, die diesem Ergebnis zugeordnet ist.

Weitere Informationen zu den verschachtelten Feldern finden Sie in der API-Referenz zum Objekt Resource.

Kosten

Für diese Funktion fallen BigQuery-Gebühren an. Weitere Informationen finden Sie unter BigQuery-Preise.

Hinweise

Führen Sie die folgenden Schritte aus, bevor Sie diese Funktion aktivieren.

Berechtigungen einrichten

Zum Durcharbeiten dieser Anleitung benötigen Sie die folgenden IAM-Rollen (Identity and Access Management):

BigQuery-Dataset erstellen

BigQuery-Dataset erstellen Weitere Informationen finden Sie unter Datasets erstellen.

Datenstandort planen

Wenn die Datenspeicherung für Security Command Center aktiviert ist, unterliegen die Konfigurationen, die Streaming-Exporte nach BigQuery definieren (BigQueryExport-Ressourcen), der Datenspeicherungssteuerung und werden an einem von Ihnen ausgewählten Security Command Center-Speicherort gespeichert.

Wenn Sie Ergebnisse an einem Security Command Center-Speicherort nach BigQuery exportieren möchten, müssen Sie den BigQuery-Export an demselben Security Command Center-Speicherort wie die Ergebnisse konfigurieren.

Da die Filter, die in BigQuery-Exporten verwendet werden, Daten enthalten können, die den Steuerregeln für Personen mit Wohnsitz in der EU unterliegen, müssen Sie vor dem Erstellen den richtigen Standort angeben. Im Security Command Center ist nicht festgelegt, an welchem Speicherort Sie Exporte erstellen.

BigQuery-Exporte werden nur an dem Speicherort gespeichert, an dem sie erstellt wurden. Sie können an anderen Speicherorten nicht angezeigt oder bearbeitet werden.

Nachdem Sie einen BigQuery-Export erstellt haben, können Sie seinen Speicherort nicht mehr ändern. Wenn Sie den Speicherort ändern möchten, müssen Sie den BigQuery-Export löschen und am neuen Speicherort neu erstellen.

Wenn Sie einen BigQuery-Export mit API-Aufrufen abrufen möchten, müssen Sie den Speicherort im vollständigen Ressourcennamen der bigQueryExport angeben. Beispiel:

GET https://securitycenter.googleapis.com/v2/organizations/123/locations/eu/bigQueryExports/my-export-01

Wenn Sie einen BigQuery-Export mit der gcloud CLI abrufen möchten, müssen Sie den Speicherort mit dem Flag --location angeben. Beispiel:

gcloud scc bqexports get myBigQueryExport --organization=123 \
    --location=us

Ergebnisse aus Security Command Center in BigQuery exportieren

Aktivieren Sie zum Exportieren der Ergebnisse zuerst die Security Command Center API.

Security Command Center API aktivieren

So aktivieren Sie das Security Command Center API:

  1. Rufen Sie in der Google Cloud Console die Seite „API-Bibliothek“ auf.

    Zur API-Bibliothek

  2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktivieren möchten.

  3. Geben Sie im Feld Suchen Security Command Center ein und klicken Sie dann in den Suchergebnissen auf Security Command Center.

  4. Klicken Sie auf der angezeigten API-Seite auf Aktivieren.

Die Security Command Center API ist für Ihr Projekt aktiviert. Als Nächstes erstellen Sie mit der gcloud CLI eine neue Exportkonfiguration nach BigQuery.

Perimeterzugriff in VPC Service Controls gewähren

Wenn Sie VPC Service Controls verwenden und Ihr BigQuery-Dataset Teil eines Projekts innerhalb eines Dienstperimeters ist, müssen Sie Zugriff auf Projekte gewähren, um Ergebnisse exportieren zu können.

Wenn Sie Zugriff auf Projekte gewähren möchten, erstellen Sie Regeln für eingehenden und ausgehenden Traffic für die Hauptpersonen und Projekte, aus denen Sie Ergebnisse exportieren. Die Regeln ermöglichen den Zugriff auf geschützte Ressourcen und BigQuery kann prüfen, ob Nutzer die Berechtigung setIamPolicy für das BigQuery-Dataset haben.

Bevor Sie einen neuen Export nach BigQuery einrichten

  1. Rufen Sie in der Google Cloud Console die Seite „VPC Service Controls“ auf.

    Zu „VPC Service Controls“

  2. Wählen Sie gegebenenfalls Ihre Organisation aus.

  3. Klicken Sie auf den Namen des Dienstperimeters, den Sie ändern möchten.

    Um den Dienstperimeter zu finden, den Sie ändern müssen, können Sie Ihre Logs auf Einträge prüfen, die RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER-Verstöße enthalten. Prüfen Sie in diesen Einträgen das Feld servicePerimeterName: accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME.

  4. Klicken Sie auf Perimeter bearbeiten.

  5. Klicken Sie im Navigationsmenü auf Richtlinie für eingehenden Traffic.

  6. Verwenden Sie die folgenden Parameter, um Regeln für eingehenden Traffic für Nutzer oder Dienstkonten zu konfigurieren:

    • FROM-Attribute des API-Clients:
      • Wählen Sie im Menü Identitäten die Option Ausgewählte Identitäten aus.
      • Wählen Sie im Menü Quelle die Option Alle Quellen aus.
      • Klicken Sie auf Auswählen und geben Sie dann den Nutzer ein, mit dem die Security Command Center API aufgerufen wird.
    • TO-Attribute von Google Cloud-Diensten/-Ressourcen:
      • Wählen Sie im Menü Projekt die Option Ausgewählte Projekte aus.
      • Klicken Sie auf Auswählen und geben Sie das Projekt ein, das das BigQuery-Dataset enthält.
      • Wählen Sie im Menü Dienste die Option Ausgewählte Dienste und dann BigQuery API aus.
      • Wählen Sie im Menü Methoden die Option Alle Aktionen aus.

  7. Klicken Sie auf Speichern.

  8. Klicken Sie im Navigationsmenü auf Richtlinie für ausgehenden Traffic.

  9. Klicken Sie auf Add Rule (Regel hinzufügen).

  10. Geben Sie folgende Parameter ein, um Regeln für ausgehenden Traffic für Nutzer- oder Dienstkonten zu konfigurieren:

    • FROM-Attribute des API-Clients:
      • Wählen Sie im Menü Identitäten die Option Ausgewählte Identitäten aus.
      • Klicken Sie auf Auswählen und geben Sie dann den Nutzer ein, mit dem die Security Command Center API aufgerufen wird.
    • TO-Attribute von Google Cloud-Diensten/-Ressourcen:
      • Wählen Sie im Menü Projekt die Option Alle Projekte aus.
      • Wählen Sie im Menü Dienste die Option Ausgewählte Dienste und dann BigQuery API aus.
      • Wählen Sie im Menü Methoden die Option Alle Aktionen aus.

  11. Klicken Sie auf Speichern.

Neuen Export nach BigQuery einrichten

In diesem Schritt erstellen Sie eine Exportkonfiguration, um Ergebnisse in eine BigQuery-Instanz zu exportieren. Sie können Exportkonfigurationen auf Projekt-, Ordner- oder Organisationsebene erstellen. Wenn Sie beispielsweise Ergebnisse aus einem Projekt in ein BigQuery-Dataset exportieren möchten, erstellen Sie eine Exportkonfiguration auf Projektebene, um nur die Ergebnisse zu exportieren, die sich auf dieses Projekt beziehen. Optional können Sie Filter angeben, um nur bestimmte Ergebnisse zu exportieren.

Erstellen Sie Ihre Exportkonfigurationen auf der entsprechenden Ebene. Wenn Sie beispielsweise eine Exportkonfiguration in Projekt B erstellen, um Ergebnisse aus Projekt A zu exportieren, und Sie Filter wie resource.project_display_name: project-a-id definieren, exportiert die Konfiguration keine Ergebnisse.

Sie können für Ihre Organisation maximal 500 Exportkonfigurationen in BigQuery erstellen. Sie können dasselbe Dataset für mehrere Exportkonfigurationen verwenden. Wenn Sie dasselbe Dataset verwenden, werden alle Aktualisierungen in derselben Ergebnistabelle vorgenommen.

Wenn Sie Ihre erste Exportkonfiguration erstellen, wird automatisch ein Dienstkonto für Sie angelegt. Dieses Dienstkonto ist erforderlich, um die Ergebnistabelle in einem Dataset zu erstellen oder zu aktualisieren und Ergebnisse in die Tabelle zu exportieren. Es hat das Format service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gservicaccount.com und erhält die Rolle „BigQuery-Datenbearbeiter“ (roles/bigquery.dataEditor) auf BigQuery-Dataset-Ebene.

In der Google Cloud Console haben einige BigQueryExport-Ressourcen möglicherweise das Label Legacy. Das bedeutet, dass sie mit der Security Command Center API v1 erstellt wurden. Sie können diese BigQueryExport-Ressourcen mit der Google Cloud Console, der gcloud CLI, der Security Command Center API v1 oder den Clientbibliotheken v1 für Security Command Center verwalten.

Wenn Sie diese BigQueryExport-Ressourcen mit der gcloud CLI verwalten möchten, müssen Sie beim Ausführen des gcloud CLI-Befehls keinen Speicherort angeben.

gcloud

  1. Öffnen Sie die Google Cloud Console.

    Weiter zur Google Cloud Console

  2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.

  3. Klicken Sie auf Cloud Shell aktivieren .

  4. Führen Sie den folgenden Befehl aus, um eine neue Exportkonfiguration zu erstellen:

    gcloud scc bqexports create BIGQUERY_EXPORT \
    --dataset=DATASET_NAME \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION \
    [--description=DESCRIPTION] \
    [--filter=FILTER]

    Ersetzen Sie Folgendes:

    • BIGQUERY_EXPORT durch einen Namen für diese Exportkonfiguration.
    • DATASET_NAME durch den Namen des BigQuery-Datasets, z. B. projects/PROJECT_ID/datasets/DATASET_ID.
    • FOLDER_ID, ORGANIZATION_ID oder PROJECT_ID durch den Namen Ihres Ordners, Ihrer Organisation oder Ihres Projekts. Sie müssen eine dieser Optionen festlegen. Bei Ordnern und Organisationen ist der Name die Ordner-ID oder die Organisations-ID. Bei Projekten ist der Name die Projektnummer oder die Projekt-ID.
    • LOCATION: Wenn die Datenspeicherung aktiviert ist, der Standort im Security Command Center, an dem eine Exportkonfiguration erstellt werden soll. Wenn die Datenspeicherung nicht aktiviert ist, verwenden Sie den Wert global.
    • DESCRIPTION mit einer für Menschen lesbaren Beschreibung der Exportkonfiguration. Diese Variable ist optional.
    • FILTER durch einen Ausdruck, der definiert, welche Ergebnisse in den Export einbezogen werden. Wenn Sie beispielsweise nach der XSS_SCRIPTING-Kategorie filtern möchten, geben Sie "category=\"XSS_SCRIPTING\" ein. Diese Variable ist optional.

Java

Richten Sie zur Authentifizierung bei Security Command Center die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten. 


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.CreateBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.OrganizationLocationName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;
import java.util.UUID;

public class CreateBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // projectId: Google Cloud Project id.
    String projectId = "{your-project}";

    // Specify the location.
    String location = "global";

    // filter: Expression that defines the filter to apply across create/update events of findings.
    String filter = "severity=\"LOW\" OR severity=\"MEDIUM\"";

    // bigQueryDatasetId: The BigQuery dataset to write findings' updates to.
    String bigQueryDatasetId = "{bigquery-dataset-id}";

    // bigQueryExportId: Unique identifier provided by the client.
    // For more info, see:
    // https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    String bigQueryExportId = "default-" + UUID.randomUUID().toString().split("-")[0];

    createBigQueryExport(organizationId, location, projectId, filter, bigQueryDatasetId,
        bigQueryExportId);
  }

  // Create export configuration to export findings from a project to a BigQuery dataset.
  // Optionally specify filter to export certain findings only.
  public static BigQueryExport createBigQueryExport(String organizationId, String location,
      String projectId, String filter, String bigQueryDatasetId, String bigQueryExportId)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      OrganizationLocationName organizationName = OrganizationLocationName.of(organizationId,
          location);
      // Create the BigQuery export configuration.
      BigQueryExport bigQueryExport =
          BigQueryExport.newBuilder()
              .setDescription(
                  "Export low and medium findings if the compute resource "
                      + "has an IAM anomalous grant")
              .setFilter(filter)
              .setDataset(String.format("projects/%s/datasets/%s", projectId, bigQueryDatasetId))
              .build();

      CreateBigQueryExportRequest bigQueryExportRequest =
          CreateBigQueryExportRequest.newBuilder()
              .setParent(organizationName.toString())
              .setBigQueryExport(bigQueryExport)
              .setBigQueryExportId(bigQueryExportId)
              .build();

      // Create the export request.
      BigQueryExport response = client.createBigQueryExport(bigQueryExportRequest);

      System.out.printf("BigQuery export request created successfully: %s\n", response.getName());
      return response;
    }
  }
}

Python

Richten Sie zur Authentifizierung bei Security Command Center die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten. 



def create_bigquery_export(
    parent: str, export_filter: str, bigquery_dataset_id: str, bigquery_export_id: str
):
    from google.cloud import securitycenter_v2

    """
    Create export configuration to export findings from a project to a BigQuery dataset.
    Optionally specify filter to export certain findings only.

    Args:
        parent: Use any one of the following resource paths:
             - organizations/{organization_id}/locations/{location_id}
             - folders/{folder_id}/locations/{location_id}
             - projects/{project_id}/locations/{location_id}
        export_filter: Expression that defines the filter to apply across create/update events of findings.
        bigquery_dataset_id: The BigQuery dataset to write findings' updates to.
             - projects/{PROJECT_ID}/datasets/{BIGQUERY_DATASET_ID}
        bigquery_export_id: Unique identifier provided by the client.
             - example id: f"default-{str(uuid.uuid4()).split('-')[0]}"
        For more info, see:
        https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    """
    client = securitycenter_v2.SecurityCenterClient()

    # Create the BigQuery export configuration.
    bigquery_export = securitycenter_v2.BigQueryExport()
    bigquery_export.description = "Export low and medium findings if the compute resource has an IAM anomalous grant"
    bigquery_export.filter = export_filter
    bigquery_export.dataset = bigquery_dataset_id

    request = securitycenter_v2.CreateBigQueryExportRequest()
    request.parent = parent
    request.big_query_export = bigquery_export
    request.big_query_export_id = bigquery_export_id

    # Create the export request.
    response = client.create_big_query_export(request)

    print(f"BigQuery export request created successfully: {response.name}\n")
    return response

Die Ergebnisse sollten innerhalb von etwa 15 Minuten nach dem Erstellen der Exportkonfiguration in Ihrem BigQuery-Dataset angezeigt werden. Nachdem die BigQuery-Tabelle erstellt wurde, werden neue und aktualisierte Ergebnisse, die Ihrem Filter und Bereich entsprechen, nahezu in Echtzeit in der Tabelle angezeigt.

Informationen zum Ansehen der Ergebnisse finden Sie unter Ergebnisse prüfen.

Ingress-Regel für den neuen Export nach BigQuery erstellen

Wenn Sie VPC Service Controls verwenden und Ihr BigQuery-Dataset Teil eines Projekts innerhalb eines Dienstperimeters ist, müssen Sie eine Ingress-Regel für einen neuen Export nach BigQuery erstellen.

  1. Öffnen Sie den Dienstperimeter noch einmal unter Neuen Export nach BigQuery einrichten.

    Zu „VPC Service Controls“

  2. Klicken Sie auf Richtlinie für eingehenden Traffic.

  3. Klicken Sie auf Add Rule (Regel hinzufügen).

  4. Geben Sie die folgenden Parameter ein, um die Regel für eingehenden Traffic für die Exportkonfigurationen zu konfigurieren:

    • FROM-Attribute des API-Clients:
      • Wählen Sie im Drop-down-Menü Quelle die Option Alle Quellen aus.
      • Wählen Sie im Drop-down-Menü Identitäten die Option Ausgewählte Identitäten aus.
      • Klicken Sie auf Auswählen und geben Sie den Namen des Dienstkontos für die BigQuery-Exportkonfiguration ein: service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gserviceaccount.com.
    • TO-Attribute von GCP-Diensten/-Ressourcen:
      • Wählen Sie im Drop-down-Menü Projekt die Option Ausgewählte Projekte aus.
      • Klicken Sie auf Auswählen und wählen Sie das Projekt aus, das das BigQuery-Dataset enthält.
      • Wählen Sie im Drop-down-Menü Dienste die Option Ausgewählte Dienste und dann BigQuery API aus.
      • Wählen Sie im Drop-down-Menü Methoden die Option Alle Aktionen aus.

  5. Klicken Sie im Navigationsmenü auf Speichern.

Die ausgewählten Projekte, Nutzer und Dienstkonten können jetzt auf die geschützten Ressourcen zugreifen und Ergebnisse exportieren.

Wenn Sie alle Schritte in dieser Anleitung ausgeführt haben und Exporte ordnungsgemäß funktionieren, können Sie jetzt Folgendes löschen:

  • Die Regel für eingehenden Traffic für das Hauptkonto
  • Die Regel für ausgehenden Traffic für das Hauptkonto

Diese Regeln waren nur für die Konfiguration der Exportkonfiguration erforderlich. Damit Exportkonfigurationen jedoch weiterhin funktionieren, müssen Sie die zuvor erstellte Regel für eingehenden Traffic beibehalten, damit Security Command Center Ergebnisse in Ihr BigQuery-Dataset hinter dem Dienstperimeter exportieren kann.

Details einer Exportkonfiguration aufrufen

gcloud

  1. Öffnen Sie die Google Cloud Console.

    Weiter zur Google Cloud Console

  2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.

  3. Klicken Sie auf Cloud Shell aktivieren .

  4. Führen Sie den folgenden Befehl aus, um die Details der Exportkonfiguration zu prüfen:

    gcloud scc bqexports get BIGQUERY_EXPORT \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION

    Ersetzen Sie Folgendes:

    • BIGQUERY_EXPORT durch den Namen dieser Exportkonfiguration.
    • FOLDER_ID, ORGANIZATION_ID oder PROJECT_ID durch den Namen Ihres Ordners, Ihrer Organisation oder Ihres Projekts. Sie müssen eine dieser Optionen festlegen. Bei Ordnern und Organisationen ist der Name die Ordner-ID oder die Organisations-ID. Bei Projekten ist der Name die Projektnummer oder die Projekt-ID.

    • LOCATION: Wenn die Datenspeicherung aktiviert ist, der Standort im Security Command Center, an dem eine Exportkonfiguration erstellt werden soll. Wenn die Datenspeicherung nicht aktiviert ist, verwenden Sie den Wert global.

      Führen Sie beispielsweise den folgenden Befehl aus, um eine Exportkonfiguration mit dem Namen my-bq-export aus einer Organisation mit einer Organisations-ID abzurufen, die auf 123 festgelegt ist:

      gcloud scc bqexports get my-bq-export \
    --organization=123 \
    --location=global

Exportkonfiguration aktualisieren

Bei Bedarf können Sie den Filter, das Dataset und die Beschreibung einer vorhandenen Exportkonfiguration ändern. Der Name der Exportkonfiguration kann nicht geändert werden.

gcloud

  1. Öffnen Sie die Google Cloud Console.

    Weiter zur Google Cloud Console

  2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.

  3. Klicken Sie auf Cloud Shell aktivieren .

  4. Führen Sie den folgenden Befehl aus, um eine Exportkonfiguration zu aktualisieren:

    gcloud scc bqexports update BIGQUERY_EXPORT \
    --dataset=DATASET_NAME \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION \
    [--description=DESCRIPTION] \
    [--filter=FILTER]

    Ersetzen Sie Folgendes:

    • BIGQUERY_EXPORT durch den Namen der Exportkonfiguration, die Sie aktualisieren möchten.
    • DATASET_NAME durch den Namen des BigQuery-Datasets, z. B. projects/PROJECT_ID/datasets/DATASET_ID.
    • FOLDER_ID, ORGANIZATION_ID oder PROJECT_ID durch den Namen Ihres Ordners, Ihrer Organisation oder Ihres Projekts. Sie müssen eine dieser Optionen festlegen. Bei Ordnern und Organisationen ist der Name die Ordner-ID oder die Organisations-ID. Bei Projekten ist der Name die Projektnummer oder die Projekt-ID.
    • LOCATION: Wenn der Datenstandort aktiviert ist, der Security Command Center-Standort, an dem die Exportkonfiguration aktualisiert werden soll. Wenn der Datenstandort nicht aktiviert ist, verwenden Sie den Wert global.
    • DESCRIPTION mit einer für Menschen lesbaren Beschreibung der Exportkonfiguration. Diese Variable ist optional.
    • FILTER durch einen Ausdruck, der definiert, welche Ergebnisse in den Export einbezogen werden. Wenn Sie beispielsweise nach der XSS_SCRIPTING-Kategorie filtern möchten, geben Sie "category=\"XSS_SCRIPTING\" ein. Diese Variable ist optional.

Alle Exportkonfigurationen anzeigen

Sie können alle Exportkonfigurationen in Ihrer Organisation, in Ihrem Ordner oder in Ihrem Projekt anzeigen.

gcloud

  1. Öffnen Sie die Google Cloud Console.

    Weiter zur Google Cloud Console

  2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.

  3. Klicken Sie auf Cloud Shell aktivieren .

  4. Führen Sie den folgenden Befehl aus, um die Exportkonfigurationen aufzulisten:

    gcloud scc bqexports list \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION \
    [--limit=LIMIT] \
    [--page-size=PAGE_SIZE]

    Ersetzen Sie Folgendes:

    • FOLDER_ID, ORGANIZATION_ID oder PROJECT_ID durch den Namen Ihres Ordners, Ihrer Organisation oder Ihres Projekts. Sie müssen eine dieser Optionen festlegen. Bei Ordnern und Organisationen ist der Name die Ordner-ID oder die Organisations-ID. Bei Projekten ist der Name die Projektnummer oder die Projekt-ID.

      Wenn Sie eine Organisations-ID angeben, enthält die Liste alle Exportkonfigurationen, die in dieser Organisation definiert sind, einschließlich der Konfigurationen auf Ordner- und Projektebene. Wenn Sie eine Ordner-ID angeben, enthält die Liste alle Exportkonfigurationen, die auf Ordnerebene und in den Projekten in diesem Ordner definiert sind. Wenn Sie eine Projektnummer oder Projekt-ID angeben, enthält die Liste alle Exportkonfigurationen nur für dieses Projekt.

    • LOCATION: Wenn die Datenspeicherung aktiviert ist, der Speicherort im Security Command Center, an dem Exportkonfigurationen aufgeführt werden sollen. Wenn die Datenspeicherung nicht aktiviert ist, verwenden Sie den Wert global.

    • LIMIT durch die Anzahl der Exportkonfigurationen, die Sie anzeigen möchten. Diese Variable ist optional.

    • PAGE_SIZE durch einen Wert für die Seitengröße. Diese Variable ist optional.

Java

Richten Sie zur Authentifizierung bei Security Command Center die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten. 


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.ListBigQueryExportsRequest;
import com.google.cloud.securitycenter.v2.OrganizationLocationName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import com.google.cloud.securitycenter.v2.SecurityCenterClient.ListBigQueryExportsPagedResponse;
import java.io.IOException;

public class ListBigQueryExports {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    listBigQueryExports(organizationId, location);
  }

  // List BigQuery exports in the given parent.
  public static ListBigQueryExportsPagedResponse listBigQueryExports(String organizationId,
      String location) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      OrganizationLocationName organizationName = OrganizationLocationName.of(organizationId,
          location);

      ListBigQueryExportsRequest request = ListBigQueryExportsRequest.newBuilder()
          .setParent(organizationName.toString())
          .build();

      ListBigQueryExportsPagedResponse response = client.listBigQueryExports(request);

      System.out.println("Listing BigQuery exports:");
      for (BigQueryExport bigQueryExport : response.iterateAll()) {
        System.out.println(bigQueryExport.getName());
      }
      return response;
    }
  }
}

Python

Richten Sie zur Authentifizierung bei Security Command Center die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten. 

def list_bigquery_exports(parent: str):
    from google.cloud import securitycenter_v2

    """
    List BigQuery exports in the given parent.
    Args:
         parent: The parent which owns the collection of BigQuery exports.
             Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
    """

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.ListBigQueryExportsRequest()
    request.parent = parent

    response = client.list_big_query_exports(request)

    print("Listing BigQuery exports:")
    for bigquery_export in response:
        print(bigquery_export.name)
    return response

Exportkonfiguration löschen

Wenn Sie eine Exportkonfiguration nicht mehr benötigen, können Sie sie löschen.

gcloud

  1. Öffnen Sie die Google Cloud Console.

    Weiter zur Google Cloud Console

  2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.

  3. Klicken Sie auf Cloud Shell aktivieren .

  4. Führen Sie den folgenden Befehl aus, um eine Exportkonfiguration zu löschen:

    gcloud scc bqexports delete BIGQUERY_EXPORT \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION

    Ersetzen Sie Folgendes:

    • BIGQUERY_EXPORT durch einen Namen für die Exportkonfiguration, die Sie löschen möchten.
    • FOLDER_ID, ORGANIZATION_ID oder PROJECT_ID durch den Namen Ihres Ordners, Ihrer Organisation oder Ihres Projekts. Sie müssen eine dieser Optionen festlegen. Bei Ordnern und Organisationen ist der Name die Ordner-ID oder die Organisations-ID. Bei Projekten ist der Name die Projektnummer oder die Projekt-ID.

    • LOCATION: Wenn die Datenspeicherung aktiviert ist, der SCC-Speicherort, an dem die Exportkonfiguration gelöscht werden soll. Wenn die Datenspeicherung nicht aktiviert ist, verwenden Sie den Wert global.

      Führen Sie beispielsweise den folgenden Befehl aus, um eine Exportkonfiguration mit dem Namen my-bq-export aus einer Organisation mit einer Organisations-ID zu löschen, die auf 123 gesetzt ist:

      gcloud scc bqexports delete my-bq-export \
    --organization=123 \
    --location=global

Java

Richten Sie zur Authentifizierung bei Security Command Center die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten. 


import com.google.cloud.securitycenter.v2.BigQueryExportName;
import com.google.cloud.securitycenter.v2.DeleteBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;

public class DeleteBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    // bigQueryExportId: Unique identifier that is used to identify the export.
    String bigQueryExportId = "{bigquery-export-id}";

    deleteBigQueryExport(organizationId, location, bigQueryExportId);
  }

  // Delete an existing BigQuery export.
  public static void deleteBigQueryExport(String organizationId, String location,
      String bigQueryExportId)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      // Optionally BigQueryExportName or String can be used
      // String bigQueryExportName = String.format("organizations/%s/locations/%s
      // /bigQueryExports/%s",organizationId,location, bigQueryExportId);
      BigQueryExportName bigQueryExportName = BigQueryExportName.of(organizationId, location,
          bigQueryExportId);

      DeleteBigQueryExportRequest bigQueryExportRequest =
          DeleteBigQueryExportRequest.newBuilder()
              .setName(bigQueryExportName.toString())
              .build();

      client.deleteBigQueryExport(bigQueryExportRequest);
      System.out.printf("BigQuery export request deleted successfully: %s", bigQueryExportId);
    }
  }
}

Python

Richten Sie zur Authentifizierung bei Security Command Center die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten. 

def delete_bigquery_export(parent: str, bigquery_export_id: str):
    """
    Delete an existing BigQuery export.
    Args:
        parent: Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
        bigquery_export_id: Unique identifier that is used to identify the export.
    """
    from google.cloud import securitycenter_v2

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.DeleteBigQueryExportRequest()
    request.name = f"{parent}/bigQueryExports/{bigquery_export_id}"

    client.delete_big_query_export(request)
    print(f"BigQuery export request deleted successfully: {bigquery_export_id}")

Nachdem Sie die Exportkonfiguration gelöscht haben, können Sie die Daten aus Looker Studio entfernen. Weitere Informationen finden Sie unter Datenquelle entfernen, löschen und wiederherstellen.

Ergebnisse in BigQuery prüfen

Nachdem Sie eine Exportkonfiguration erstellt haben, werden neue Ergebnisse in das BigQuery-Dataset in dem von Ihnen angegebenen Projekt exportiert.

So prüfen Sie die Ergebnisse in BigQuery:

  1. Wechseln Sie zum Projekt in BigQuery.

    BigQuery aufrufen

  2. Wählen Sie ein Projekt aus.

  3. Maximieren Sie im Bereich Explorer den Knoten für Ihr Projekt.

  4. Erweitern Sie Ihr Dataset.

  5. Klicken Sie auf die Tabelle Ergebnisse.

  6. Klicken Sie im geöffneten Tab auf Vorschau. Ein Beispielsatz mit Daten wird angezeigt.

Nützliche Abfragen

Dieser Abschnitt enthält Beispielabfragen für die Analyse von Ergebnisdaten. Ersetzen Sie in den folgenden Beispielen DATASET durch den Ihrem Dataset zugewiesenen Namen und PROJECT_ID durch den Projektnamen für Ihr Dataset.

Informationen zur Behebung von Fehlern finden Sie unter Fehlermeldungen.

Die Anzahl neuer Ergebnisse, die täglich erstellt und aktualisiert werden

SELECT
    FORMAT_DATETIME("%Y-%m-%d", event_time) AS date,
    count(DISTINCT finding_id)
FROM `PROJECT_ID.DATASET.findings`
GROUP BY date
ORDER BY date DESC

Der neueste Ergebnisdatensatz für jedes Ergebnis

SELECT
    * EXCEPT(row)
FROM (
    SELECT *, ROW_NUMBER() OVER(
        PARTITION BY finding_id
        ORDER BY event_time DESC, finding.mute_update_time DESC
    ) AS row
    FROM `PROJECT_ID.DATASET.findings`
)
WHERE row = 1

Aktive Ergebnisse, sortiert nach Zeit

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
ORDER BY event_time DESC

Aktuelle Ergebnisse in einem Projekt

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
WHERE resource.project_display_name = 'PROJECT'

Ersetzen Sie PROJECT durch den Projektnamen.

Aktuelle Ergebnisse in einem Ordner

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
CROSS JOIN UNNEST(resource.folders) AS folder
WHERE folder.resource_folder_display_name = 'FOLDER'

Ersetzen Sie FOLDER durch den Ordnernamen.

Aktuelle Ergebnisse des Scanners Logging Scanner

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
CROSS JOIN UNNEST(finding.source_properties) AS source_property
WHERE source_property.key = "ScannerName"
  AND source_property.value = "LOGGING_SCANNER"

Aktuell aktive Ergebnisse vom Typ Persistence: IAM Anomalous Grant

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
  AND finding.category = "Persistence: IAM Anomalous Grant"

Aktive Ergebnisse eines bestimmten Typs mit Cloud-Audit-Logs korrelieren

Diese Beispielabfrage hilft, anomale IAM-Erteilungsergebnisse aus Event Threat Detection mithilfe von Cloud-Audit-Logs zu untersuchen. Dazu wird die Sequenz der Administratoraktivitätsaktion während des Zeitfensters vor und auf die Ausführung der anomalen IAM-Zuweisungsaktion angezeigt. Die folgende Abfrage korreliert Administratoraktivitätslogs zwischen einer Stunde vor und einer Stunde nach dem Zeitstempel des Ergebnisses.

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT
  finding_id,
  ANY_VALUE(event_time) as event_time,
  ANY_VALUE(finding.access.principal_email) as grantor,
  JSON_VALUE_ARRAY(ANY_VALUE(finding.source_properties_json), '$.properties.sensitiveRoleGrant.members') as grantees,
  ARRAY_AGG(
    STRUCT(
      timestamp,
      IF(timestamp < event_time, 'before', 'after') as timeline,
      protopayload_auditlog.methodName,
      protopayload_auditlog.resourceName,
      protopayload_auditlog.serviceName
    )
    ORDER BY timestamp ASC
  ) AS recent_activity
FROM (
  SELECT
    f.*,
    a.*,
  FROM latestFindings AS f
  LEFT JOIN `PROJECT_ID.DATASET.cloudaudit_googleapis_com_activity` AS a
  ON a.protopayload_auditlog.authenticationInfo.principalEmail = f.finding.access.principal_email
  WHERE f.finding.state = "ACTIVE"
    AND f.finding.category = "Persistence: IAM Anomalous Grant"
    AND a.timestamp >= TIMESTAMP_SUB(f.event_time, INTERVAL 1 HOUR)
    AND a.timestamp <= TIMESTAMP_ADD(f.event_time, INTERVAL 1 HOUR)
  )
GROUP BY
  finding_id
ORDER BY
  event_time DESC

Die Ausgabe sieht in etwa so aus:

Screenshot von Abfrageergebnissen mit Ergebnissen korrelierter Audit-Logs

Diagramme in Looker Studio erstellen

Mit Looker Studio können Sie interaktive Berichte und Dashboards erstellen.

Im Allgemeinen fallen Kosten für die BigQuery-Nutzung an, wenn Sie über Looker Studio auf BigQuery zugreifen. Weitere Informationen finden Sie unter BigQuery-Daten mit Looker Studio visualisieren.

So erstellen Sie ein Diagramm, das die Ergebnisdaten nach Schweregrad und Kategorie visualisiert:

  1. Öffnen Sie Looker Studio und melden Sie sich an.
  2. Wenn Sie dazu aufgefordert werden, geben Sie zusätzliche Informationen an und richten Sie andere Einstellungen ein. Lesen Sie die Nutzungsbedingungen und fahren Sie fort, wenn Sie zufrieden sind.
  3. Klicken Sie auf Leerer Bericht.
  4. Klicken Sie auf dem Tab Datenverbindung herstellen auf die Karte BigQuery.
  5. Autorisieren Sie Looker Studio für den Zugriff auf BigQuery-Projekte, wenn Sie dazu aufgefordert werden.

  6. Stellen Sie eine Verbindung zu Ihren Ergebnisdaten her:

    1. Wählen Sie unter Projekt das Projekt für Ihr Dataset aus. Sie können auch auf dem Tab Meine Projekte Ihre Projekt-ID eingeben, um danach zu suchen.
    2. Klicken Sie unter Dataset auf den Namen Ihres Datasets.
    3. Klicken Sie unter Tabelle auf Ergebnisse.
    4. Klicken Sie auf Add.
    5. Klicken Sie im Dialogfeld auf Zum Bericht hinzufügen.

  7. Nachdem der Bericht hinzugefügt wurde, klicken Sie auf Diagramm hinzufügen.

  8. Klicken Sie auf Gestapeltes Säulendiagramm und dann auf den Bereich, in dem Sie das Diagramm platzieren möchten.

    Screenshot der Diagrammauswahl

  9. Legen Sie im Bereich Diagramm > Balken auf dem Tab Daten die folgenden Felder fest:

    1. Wählen Sie im Feld Dimension die Option finding.severity aus.
    2. Wählen Sie im Feld Aufschlüsselungsdimension die Option finding.category aus.
    Screenshot eines Diagramms mit Ergebnissen nach Schweregrad und nach Kategorie kategorisiert

Der Bericht wird so aktualisiert, dass er mehrere Spalten mit nach Schweregrad und Kategorie aufgeschlüsselten Ergebnissen enthält.

Nächste Schritte

Weitere Informationen zum Ausführen einer Abfrage in BigQuery