Transmite los resultados a BigQuery para su análisis

En esta página, se describe cómo transmitir resultados nuevos y actualizados a un conjunto de datos de BigQuery con la función de exportación de Security Command Center para BigQuery. Los resultados existentes no se envían a BigQuery, a menos que se actualicen.

BigQuery es el almacén de datos de estadísticas rentable, a escala de petabytes y completamente administrado de Google Cloud que te permite ejecutar estadísticas en grandes cantidades de datos casi en tiempo real. Puedes usar BigQuery para ejecutar consultas con resultados nuevos y actualizados, filtrar datos para encontrar lo que necesitas y generar informes personalizados. Para aprender más sobre BigQuery, consulta la documentación de BigQuery.

Descripción general

Cuando habilitas esta función, los resultados nuevos que se escriben en Security Command Center se exportan a una tabla de BigQuery casi en tiempo real. Luego, puedes integrar los datos en flujos de trabajo existentes y crear análisis personalizados. Puedes habilitar esta función a nivel de organización, carpeta y proyecto para exportar los resultados según tus requisitos.

Esta característica es la forma recomendada de exportar los resultados de Security Command Center a BigQuery, ya que está completamente administrada y no requiere realizar operaciones manuales o escribir código personalizado.

Estructura del conjunto de datos

Esta función agrega cada resultado nuevo y sus actualizaciones posteriores como filas nuevas en la tabla findings, que se agrupa en clústeres por source_id, finding_id y event_time.

Cuando se actualiza un resultado, esta función crea varios registros de resultados con los mismos valores de source_id y finding_id, pero con valores de event_time diferentes. Esta estructura de conjunto de datos te permite ver cómo cambia el estado de cada resultado con el tiempo.

Ten en cuenta que pueden existir entradas duplicadas en tu conjunto de datos. Para analizarlas, puedes usar la cláusula DISTINCT, como se muestra en la primera consulta de ejemplo.

Cada conjunto de datos contiene una tabla de findings, que tiene los siguientes campos:

Campo Descripción
source_id

Un identificador único que Security Command Center asigna a la fuente de un resultado. Por ejemplo, todos los resultados de la fuente de detección de anomalías de Cloud tienen el mismo valor de source_id.

Ejemplo: 1234567890
finding_id Identificador único que representa el resultado. Es único dentro de una fuente para una organización. Es alfanumérico y tiene 32 caracteres o menos.
event_time

La hora en que ocurrió el evento o la hora en que se produjo una actualización del resultado. Por ejemplo, si el resultado representa un firewall abierto, event_time captura la hora en que el detector cree que se abrió el firewall. Si el resultado se resuelve después, esta hora refleja cuándo se resolvió ese resultado.

Ejemplo: 2019-09-26 12:48:00.985000 UTC
Buscando

Un registro de los datos de evaluación, como seguridad, riesgo, estado o privacidad, que se transfieren a Security Command Center para fines de presentación, notificación, análisis, pruebas de políticas y aplicación. Por ejemplo, una vulnerabilidad de secuencia de comandos entre sitios (XSS) en una aplicación de App Engine es un resultado.

Para obtener más información sobre los campos anidados, consulta la referencia de la API del objeto Finding.

recurso

Información relacionada con el recurso de Google Cloud asociado a este resultado.

Para obtener más información sobre los campos anidados, consulta la referencia de la API del objeto Resource.

Costo

Se generarán cargos de BigQuery relacionados con esta función. Para obtener más información, consulta los precios de BigQuery.

Antes de comenzar

Debes completar estos pasos antes de habilitar esta función.

Configura los permisos

Para completar esta guía, debes tener las siguientes funciones de Identity and Access Management (IAM):

Crea un conjunto de datos de BigQuery

Crear un conjunto de datos de BigQuery Para obtener más información, consulta Crea conjuntos de datos.

Planifica la residencia de datos

Si la residencia de datos está habilitada para Security Command Center, las configuraciones que definen las exportaciones de transmisión continua a BigQuery (recursos BigQueryExport) están sujetas al control de residencia de datos y se almacenan en una ubicación de Security Command Center que selecciones.

Para exportar resultados de una ubicación de Security Command Center a BigQuery, debes configurar la exportación de BigQuery en la misma ubicación de Security Command Center que los resultados.

Debido a que los filtros que se usan en las exportaciones de BigQuery pueden contener datos sujetos a controles de residencia, asegúrate de especificar la ubicación correcta antes de crearlos. Security Command Center no restringe la ubicación en la que creas las exportaciones.

Las exportaciones de BigQuery se almacenan solo en la ubicación en la que se crean y no se pueden ver ni editar en otras ubicaciones.

Después de crear una exportación a BigQuery, no puedes cambiar su ubicación. Para cambiar la ubicación, debes borrar la exportación de BigQuery y volver a crearla en la ubicación nueva.

Para recuperar una exportación de BigQuery con llamadas a la API, debes especificar la ubicación en el nombre de recurso completo de bigQueryExport. Por ejemplo:

GET https://securitycenter.googleapis.com/v2/organizations/123/locations/eu/bigQueryExports/my-export-01

De manera similar, para recuperar una exportación de BigQuery con la gcloud CLI, debes especificar la ubicación con la marca --location. Por ejemplo:

gcloud scc bqexports get myBigQueryExport --organization=123 \
    --location=us

Exporta resultados de Security Command Center a BigQuery

Para exportar los resultados, primero habilita la API de Security Command Center.

Habilita la API de Security Command Center

Para habilitar la API de Security Command Center, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página Biblioteca de API.

    Ir a la biblioteca de la API

  2. Selecciona el proyecto para el que deseas habilitar la API de Security Command Center.

  3. En el cuadro Buscar, ingresa Security Command Center y, luego, haz clic en Security Command Center en los resultados de la búsqueda.

  4. En la página de la API que aparece, haz clic en Habilitar.

La API de Security Command Center ahora está habilitada para tu proyecto. Luego, usa gcloud CLI para crear una nueva configuración de exportación a BigQuery.

Otorga acceso al perímetro en los Controles del servicio de VPC

Si usas los Controles del servicio de VPC y tu conjunto de datos de BigQuery forma parte de un proyecto dentro de un perímetro de servicio, debes otorgar acceso a los proyectos para exportar los resultados.

Para otorgar acceso a los proyectos, crea reglas de entrada y salida para los principales y los proyectos de los que exportas los resultados. Las reglas permiten el acceso a recursos protegidos y permiten que BigQuery verifique que los usuarios tengan el permiso setIamPolicy en el conjunto de datos de BigQuery.

Antes de configurar una exportación nueva a BigQuery

  1. Ve a la página Controles del servicio de VPC en la consola de Google Cloud.

    Ir a los Controles del servicio de VPC

  2. Si es necesario, selecciona tu organización.

  3. Haz clic en el nombre del perímetro de servicio que deseas cambiar.

    Para encontrar el perímetro de servicio que necesitas modificar, puedes revisar los registros en busca de entradas que muestren incumplimientos de RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. En esas entradas, verifica el campo servicePerimeterName: accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME.

  4. Haz clic en Editar perímetro.

  5. En el menú de navegación, haz clic en Política de entrada.

  6. Para configurar reglas de entrada para usuarios o cuentas de servicio, usa los siguientes parámetros:

    • DESDE atributos del cliente de la API:
      • En el menú Identidades, elige Identidades seleccionadas.
      • En el menú Fuente, selecciona Todas las fuentes.
      • Haz clic en Seleccionar y, luego, ingresa el principal que se usa para llamar a la API de Security Command Center.
    • HACIA atributos de los servicios o recursos de Google Cloud:
      • En el menú Proyecto, elige Proyectos seleccionados.
      • Haz clic en Seleccionar y, luego, ingresa el proyecto que contiene el conjunto de datos de BigQuery.
      • En el menú Servicios, elige Servicios seleccionados y, luego, selecciona API de BigQuery.
      • En el menú Métodos, selecciona Todas las acciones.

  7. Haz clic en Guardar.

  8. En el menú de navegación, haz clic en Política de salida.

  9. Haz clic en Agregar regla.

  10. Para configurar reglas de salida para cuentas de usuario o servicio, ingresa los siguientes parámetros:

    • DESDE atributos del cliente de la API:
      • En el menú Identidades, elige Identidades seleccionadas.
      • Haz clic en Seleccionar y, luego, ingresa el principal que se usa para llamar a la API de Security Command Center.
    • HACIA atributos de los servicios o recursos de Google Cloud:
      • En el menú Proyecto, elige Todos los proyectos.
      • En el menú Servicios, selecciona Servicios seleccionados y, luego, selecciona API de BigQuery.
      • En el menú Métodos, selecciona Todas las acciones.

  11. Haz clic en Guardar.

Configura una exportación nueva a BigQuery

En este paso, crearás una configuración de exportación para exportar los resultados a una instancia de BigQuery. Puedes crear configuraciones de exportación a nivel de proyecto, organización o carpeta. Por ejemplo, si deseas exportar los resultados de un proyecto a un conjunto de datos de BigQuery, debes crear una configuración de exportación a nivel de proyecto para exportar solo los resultados relacionados con ese proyecto. De manera opcional, puedes especificar filtros para exportar solo ciertos resultados.

Asegúrate de crear tus configuraciones de exportación en el nivel adecuado. Por ejemplo, si creas una configuración de exportación en el Proyecto B para exportar los resultados del Proyecto A y defines filtros como resource.project_display_name: project-a-id, la configuración no exporta ningún resultado.

Puedes crear un máximo de 500 configuraciones de exportación a BigQuery para tu organización. Puedes usar el mismo conjunto de datos para varias configuraciones de exportación. Si usas el mismo conjunto de datos, todas las actualizaciones se realizarán en la misma tabla de resultados.

Cuando creas tu primera configuración de exportación, se crea una cuenta de servicio de forma automática para ti. Esta cuenta de servicio es necesaria para crear o actualizar la tabla de resultados dentro de un conjunto de datos y exportar los resultados a la tabla. Tiene el formato service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gservicaccount.com y se le otorga el rol BigQuery Data Editor (roles/bigquery.dataEditor) a nivel de conjunto de datos de BigQuery.

En la consola de Google Cloud, es posible que algunos recursos BigQueryExport tengan la etiqueta Heredado, que indica que se crearon con la API de Security Command Center v1. Puedes administrar estos recursos de BigQueryExport con la consola de Google Cloud, gcloud CLI, la API de Security Command Center v1 o las bibliotecas cliente de Security Command Center v1.

Para administrar estos recursos BigQueryExport con gcloud CLI, no debes especificar una ubicación cuando ejecutes el comando de gcloud CLI.

gcloud

  1. Ve a la consola de Google Cloud.

    Ve a la consola de Google Cloud.

  2. Selecciona el proyecto para el que habilitaste la API de Security Command Center.

  3. Haz clic en Activate Cloud Shell (Activar Cloud Shell) .

  4. Para crear una configuración de exportación nueva, ejecuta el siguiente comando:

    gcloud scc bqexports create BIGQUERY_EXPORT \
    --dataset=DATASET_NAME \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION \
    [--description=DESCRIPTION] \
    [--filter=FILTER]

    Reemplaza lo siguiente:

    • BIGQUERY_EXPORT por un nombre para esta configuración de exportación.
    • DATASET_NAME por el nombre del conjunto de datos de BigQuery, por ejemplo, projects/PROJECT_ID/datasets/DATASET_ID.
    • FOLDER_ID, ORGANIZATION_ID o PROJECT_ID por el nombre de tu carpeta, organización o proyecto Debes configurar una de estas opciones. Para las carpetas y organizaciones, el nombre es el ID de la carpeta o de la organización. Para los proyectos, el nombre es el número o ID del proyecto.
    • LOCATION: Si la residencia de datos está habilitada, la ubicación de Security Command Center en la que se creará una configuración de exportación. Si la residencia de datos no está habilitada, usa el valor global.
    • DESCRIPTION con una descripción legible de la configuración de exportación. Esta variable es opcional.
    • FILTER por una expresión que define qué resultados incluir en la exportación Por ejemplo, si deseas filtrar en la categoría XSS_SCRIPTING, escribe "category=\"XSS_SCRIPTING\". Esta variable es opcional.

Java

Para autenticarte en Security Command Center, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura ADC para un entorno de desarrollo local. 


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.CreateBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.OrganizationLocationName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;
import java.util.UUID;

public class CreateBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // projectId: Google Cloud Project id.
    String projectId = "{your-project}";

    // Specify the location.
    String location = "global";

    // filter: Expression that defines the filter to apply across create/update events of findings.
    String filter = "severity=\"LOW\" OR severity=\"MEDIUM\"";

    // bigQueryDatasetId: The BigQuery dataset to write findings' updates to.
    String bigQueryDatasetId = "{bigquery-dataset-id}";

    // bigQueryExportId: Unique identifier provided by the client.
    // For more info, see:
    // https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    String bigQueryExportId = "default-" + UUID.randomUUID().toString().split("-")[0];

    createBigQueryExport(organizationId, location, projectId, filter, bigQueryDatasetId,
        bigQueryExportId);
  }

  // Create export configuration to export findings from a project to a BigQuery dataset.
  // Optionally specify filter to export certain findings only.
  public static BigQueryExport createBigQueryExport(String organizationId, String location,
      String projectId, String filter, String bigQueryDatasetId, String bigQueryExportId)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      OrganizationLocationName organizationName = OrganizationLocationName.of(organizationId,
          location);
      // Create the BigQuery export configuration.
      BigQueryExport bigQueryExport =
          BigQueryExport.newBuilder()
              .setDescription(
                  "Export low and medium findings if the compute resource "
                      + "has an IAM anomalous grant")
              .setFilter(filter)
              .setDataset(String.format("projects/%s/datasets/%s", projectId, bigQueryDatasetId))
              .build();

      CreateBigQueryExportRequest bigQueryExportRequest =
          CreateBigQueryExportRequest.newBuilder()
              .setParent(organizationName.toString())
              .setBigQueryExport(bigQueryExport)
              .setBigQueryExportId(bigQueryExportId)
              .build();

      // Create the export request.
      BigQueryExport response = client.createBigQueryExport(bigQueryExportRequest);

      System.out.printf("BigQuery export request created successfully: %s\n", response.getName());
      return response;
    }
  }
}

Python

Para autenticarte en Security Command Center, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura ADC para un entorno de desarrollo local. 



def create_bigquery_export(
    parent: str, export_filter: str, bigquery_dataset_id: str, bigquery_export_id: str
):
    from google.cloud import securitycenter_v2

    """
    Create export configuration to export findings from a project to a BigQuery dataset.
    Optionally specify filter to export certain findings only.

    Args:
        parent: Use any one of the following resource paths:
             - organizations/{organization_id}/locations/{location_id}
             - folders/{folder_id}/locations/{location_id}
             - projects/{project_id}/locations/{location_id}
        export_filter: Expression that defines the filter to apply across create/update events of findings.
        bigquery_dataset_id: The BigQuery dataset to write findings' updates to.
             - projects/{PROJECT_ID}/datasets/{BIGQUERY_DATASET_ID}
        bigquery_export_id: Unique identifier provided by the client.
             - example id: f"default-{str(uuid.uuid4()).split('-')[0]}"
        For more info, see:
        https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    """
    client = securitycenter_v2.SecurityCenterClient()

    # Create the BigQuery export configuration.
    bigquery_export = securitycenter_v2.BigQueryExport()
    bigquery_export.description = "Export low and medium findings if the compute resource has an IAM anomalous grant"
    bigquery_export.filter = export_filter
    bigquery_export.dataset = bigquery_dataset_id

    request = securitycenter_v2.CreateBigQueryExportRequest()
    request.parent = parent
    request.big_query_export = bigquery_export
    request.big_query_export_id = bigquery_export_id

    # Create the export request.
    response = client.create_big_query_export(request)

    print(f"BigQuery export request created successfully: {response.name}\n")
    return response

Deberías ver los resultados en el conjunto de datos de BigQuery dentro de los 15 minutos posteriores a la creación de la configuración de exportación. Después de crear la tabla de BigQuery, todos los resultados nuevos y actualizados que coincidan con el filtro y el alcance aparecerán en la tabla casi en tiempo real.

Para revisar tus resultados, consulta Revisa los resultados.

Crea una regla de entrada para la nueva exportación a BigQuery

Si usas los Controles del servicio de VPC y tu conjunto de datos de BigQuery forma parte de un proyecto dentro de un perímetro de servicio, debes crear una regla de entrada para una nueva exportación a BigQuery.

  1. Vuelve a abrir el perímetro del servicio desde Configura una exportación nueva a BigQuery.

    Ir a los Controles del servicio de VPC

  2. Haz clic en Política de entrada.

  3. Haz clic en Agregar regla.

  4. Para configurar la regla de entrada de las configuraciones de exportación, ingresa los siguientes parámetros:

    • DESDE atributos del cliente de la API:
      • En el menú desplegable Fuente, selecciona Todas las fuentes.
      • En el menú desplegable Identidades, elige Identidades seleccionadas.
      • Haz clic en Seleccionar y, luego, ingresa el nombre de la cuenta de servicio de configuración de exportación de BigQuery: service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gserviceaccount.com
    • HACIA atributos de los servicios o recursos de GCP:
      • En el menú desplegable Proyecto, elige Proyectos seleccionados.
      • Haz clic en Seleccionar y, luego, selecciona el proyecto que contiene el conjunto de datos de BigQuery.
      • En el menú desplegable Servicios, selecciona Servicios seleccionados y, luego, selecciona API de BigQuery.
      • En el menú desplegable Métodos, selecciona Todas las acciones.

  5. En el menú de navegación, haz clic en Guardar.

Los proyectos, los usuarios y las cuentas de servicio seleccionados ahora pueden acceder a los recursos protegidos y exportar los resultados.

Si seguiste todos los pasos de esta guía y las exportaciones funcionan de forma correcta, ahora puedes borrar lo siguiente:

  • La regla de entrada para el principal
  • La regla de salida del principal

Esas reglas solo eran necesarias para configurar la configuración de exportación. Sin embargo, para que las configuraciones de exportación sigan funcionando, debes conservar la regla de entrada que creaste anteriormente, que permite que Security Command Center exporte los resultados a tu conjunto de datos de BigQuery detrás del perímetro de servicio.

Visualiza los detalles de una configuración de exportación

gcloud

  1. Ve a la consola de Google Cloud.

    Ve a la consola de Google Cloud.

  2. Selecciona el proyecto para el que habilitaste la API de Security Command Center.

  3. Haz clic en Activate Cloud Shell (Activar Cloud Shell) .

  4. Para verificar los detalles de la configuración de exportación, ejecuta el siguiente comando:

    gcloud scc bqexports get BIGQUERY_EXPORT \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION

    Reemplaza lo siguiente:

    • BIGQUERY_EXPORT por el nombre para esta configuración de exportación.
    • FOLDER_ID, ORGANIZATION_ID o PROJECT_ID por el nombre de tu carpeta, organización o proyecto Debes configurar una de estas opciones. Para las carpetas y organizaciones, el nombre es el ID de la carpeta o de la organización. Para los proyectos, el nombre es el número o ID del proyecto.

    • LOCATION: Si la residencia de datos está habilitada, la ubicación de Security Command Center en la que se creará una configuración de exportación. Si la residencia de datos no está habilitada, usa el valor global.

      Por ejemplo, para obtener una configuración de exportación llamada my-bq-export de una organización con un ID de organización configurado como 123, ejecuta lo siguiente:

      gcloud scc bqexports get my-bq-export \
    --organization=123 \
    --location=global

Actualiza una configuración de exportación

Cuando sea necesario, puedes modificar el filtro, el conjunto de datos y la descripción de una configuración de exportación existente. No puedes cambiar el nombre de la configuración de exportación.

gcloud

  1. Ve a la consola de Google Cloud.

    Ve a la consola de Google Cloud.

  2. Selecciona el proyecto para el que habilitaste la API de Security Command Center.

  3. Haz clic en Activate Cloud Shell (Activar Cloud Shell) .

  4. Para actualizar una configuración de exportación, ejecuta el siguiente comando:

    gcloud scc bqexports update BIGQUERY_EXPORT \
    --dataset=DATASET_NAME \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION \
    [--description=DESCRIPTION] \
    [--filter=FILTER]

    Reemplaza lo siguiente:

    • BIGQUERY_EXPORT por el nombre de la configuración de exportación que deseas actualizar.
    • DATASET_NAME por el nombre del conjunto de datos de BigQuery, por ejemplo, projects/PROJECT_ID/datasets/DATASET_ID.
    • FOLDER_ID, ORGANIZATION_ID o PROJECT_ID por el nombre de tu carpeta, organización o proyecto Debes configurar una de estas opciones. Para las carpetas y organizaciones, el nombre es el ID de la carpeta o de la organización. Para los proyectos, el nombre es el número o ID del proyecto.
    • LOCATION: Si la residencia de datos está habilitada, la ubicación de Security Command Center en la que se actualizará la configuración de exportación. Si la residencia de datos no está habilitada, usa el valor global.
    • DESCRIPTION con una descripción legible de la configuración de exportación. Esta variable es opcional.
    • FILTER por una expresión que define qué resultados incluir en la exportación. Por ejemplo, si deseas filtrar en la categoría XSS_SCRIPTING, escribe "category=\"XSS_SCRIPTING\". Esta variable es opcional.

Ve todas las configuraciones de exportación

Puedes ver todas las configuraciones de exportación dentro de tu organización, carpeta o proyecto.

gcloud

  1. Ve a la consola de Google Cloud.

    Ve a la consola de Google Cloud.

  2. Selecciona el proyecto para el que habilitaste la API de Security Command Center.

  3. Haz clic en Activate Cloud Shell (Activar Cloud Shell) .

  4. Para enumerar las configuraciones de exportación, ejecuta el siguiente comando:

    gcloud scc bqexports list \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION \
    [--limit=LIMIT] \
    [--page-size=PAGE_SIZE]

    Reemplaza lo siguiente:

    • FOLDER_ID, ORGANIZATION_ID o PROJECT_ID por el nombre de tu carpeta, organización o proyecto Debes configurar una de estas opciones. Para las carpetas y organizaciones, el nombre es el ID de la carpeta o de la organización. Para los proyectos, el nombre es el número o ID del proyecto.

      Si especificas un ID de organización, la lista incluye todas las configuraciones de exportación definidas en esa organización, incluidas las que se encuentran en los niveles de carpeta y proyecto. Si especificas un ID de carpeta, la lista incluye todas las configuraciones de exportación definidas a nivel de carpeta y en los proyectos dentro de esa carpeta. Si especificas un número o un ID del proyecto, la lista incluye todas las configuraciones de exportación para ese proyecto solamente.

    • LOCATION: Si la residencia de datos está habilitada, es la ubicación de Security Command Center en la que se enumeran las configuraciones de exportación. Si la residencia de datos no está habilitada, usa el valor global.

    • LIMIT por la cantidad de opciones de configuración de exportación que deseas ver. Esta variable es opcional.

    • PAGE_SIZE con un valor de tamaño de página. Esta variable es opcional.

Java

Para autenticarte en Security Command Center, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura ADC para un entorno de desarrollo local. 


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.ListBigQueryExportsRequest;
import com.google.cloud.securitycenter.v2.OrganizationLocationName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import com.google.cloud.securitycenter.v2.SecurityCenterClient.ListBigQueryExportsPagedResponse;
import java.io.IOException;

public class ListBigQueryExports {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    listBigQueryExports(organizationId, location);
  }

  // List BigQuery exports in the given parent.
  public static ListBigQueryExportsPagedResponse listBigQueryExports(String organizationId,
      String location) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      OrganizationLocationName organizationName = OrganizationLocationName.of(organizationId,
          location);

      ListBigQueryExportsRequest request = ListBigQueryExportsRequest.newBuilder()
          .setParent(organizationName.toString())
          .build();

      ListBigQueryExportsPagedResponse response = client.listBigQueryExports(request);

      System.out.println("Listing BigQuery exports:");
      for (BigQueryExport bigQueryExport : response.iterateAll()) {
        System.out.println(bigQueryExport.getName());
      }
      return response;
    }
  }
}

Python

Para autenticarte en Security Command Center, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura ADC para un entorno de desarrollo local. 

def list_bigquery_exports(parent: str):
    from google.cloud import securitycenter_v2

    """
    List BigQuery exports in the given parent.
    Args:
         parent: The parent which owns the collection of BigQuery exports.
             Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
    """

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.ListBigQueryExportsRequest()
    request.parent = parent

    response = client.list_big_query_exports(request)

    print("Listing BigQuery exports:")
    for bigquery_export in response:
        print(bigquery_export.name)
    return response

Borra una configuración de exportación

Si ya no necesitas una configuración de exportación, puedes borrarla.

gcloud

  1. Ve a la consola de Google Cloud.

    Ve a la consola de Google Cloud.

  2. Selecciona el proyecto para el que habilitaste la API de Security Command Center.

  3. Haz clic en Activate Cloud Shell (Activar Cloud Shell) .

  4. Para borrar una configuración de exportación, ejecuta el siguiente comando:

    gcloud scc bqexports delete BIGQUERY_EXPORT \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION

    Reemplaza lo siguiente:

    • BIGQUERY_EXPORT por el nombre de la configuración de exportación que deseas borrar.
    • FOLDER_ID, ORGANIZATION_ID o PROJECT_ID por el nombre de tu carpeta, organización o proyecto Debes configurar una de estas opciones. Para las carpetas y organizaciones, el nombre es el ID de la carpeta o de la organización. Para los proyectos, el nombre es el número o ID del proyecto.

    • LOCATION: Si la residencia de datos está habilitada, la ubicación de Security Command Center en la que se debe borrar la configuración de exportación. Si la residencia de datos no está habilitada, usa el valor global.

      Por ejemplo, para borrar una configuración de exportación llamada my-bq-export de una organización con un ID de organización configurado como 123, ejecuta lo siguiente:

      gcloud scc bqexports delete my-bq-export \
    --organization=123 \
    --location=global

Java

Para autenticarte en Security Command Center, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura ADC para un entorno de desarrollo local. 


import com.google.cloud.securitycenter.v2.BigQueryExportName;
import com.google.cloud.securitycenter.v2.DeleteBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;

public class DeleteBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    // bigQueryExportId: Unique identifier that is used to identify the export.
    String bigQueryExportId = "{bigquery-export-id}";

    deleteBigQueryExport(organizationId, location, bigQueryExportId);
  }

  // Delete an existing BigQuery export.
  public static void deleteBigQueryExport(String organizationId, String location,
      String bigQueryExportId)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      // Optionally BigQueryExportName or String can be used
      // String bigQueryExportName = String.format("organizations/%s/locations/%s
      // /bigQueryExports/%s",organizationId,location, bigQueryExportId);
      BigQueryExportName bigQueryExportName = BigQueryExportName.of(organizationId, location,
          bigQueryExportId);

      DeleteBigQueryExportRequest bigQueryExportRequest =
          DeleteBigQueryExportRequest.newBuilder()
              .setName(bigQueryExportName.toString())
              .build();

      client.deleteBigQueryExport(bigQueryExportRequest);
      System.out.printf("BigQuery export request deleted successfully: %s", bigQueryExportId);
    }
  }
}

Python

Para autenticarte en Security Command Center, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura ADC para un entorno de desarrollo local. 

def delete_bigquery_export(parent: str, bigquery_export_id: str):
    """
    Delete an existing BigQuery export.
    Args:
        parent: Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
        bigquery_export_id: Unique identifier that is used to identify the export.
    """
    from google.cloud import securitycenter_v2

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.DeleteBigQueryExportRequest()
    request.name = f"{parent}/bigQueryExports/{bigquery_export_id}"

    client.delete_big_query_export(request)
    print(f"BigQuery export request deleted successfully: {bigquery_export_id}")

Después de borrar la configuración de exportación, puedes quitar los datos de Looker Studio. Para obtener más información, consulta Quita, borra y restablece una fuente de datos.

Revisa los resultados en BigQuery

Después de crear una configuración de exportación, los resultados nuevos se exportan al conjunto de datos de BigQuery en el proyecto que especificaste.

Para revisar los resultados en BigQuery, haz lo siguiente:

  1. Ve al proyecto en BigQuery.

    Ir a BigQuery

  2. Selecciona un proyecto

  3. En el panel Explorador, expande el nodo de tu proyecto.

  4. Expande tu conjunto de datos

  5. Haz clic en la tabla Resultados.

  6. En la pestaña que se abre, haz clic en Vista previa. Se muestra un conjunto de datos de muestra.

Consultas útiles

En esta sección, se proporcionan consultas de ejemplo para analizar datos de resultados. En los siguientes ejemplos, reemplaza DATASET por el nombre asignado a tu conjunto de datos y PROJECT_ID por el nombre del proyecto de tu conjunto de datos.

Para solucionar cualquier error que encuentres, consulta Mensajes de error.

La cantidad de resultados nuevos que se crean y actualizan todos los días

SELECT
    FORMAT_DATETIME("%Y-%m-%d", event_time) AS date,
    count(DISTINCT finding_id)
FROM `PROJECT_ID.DATASET.findings`
GROUP BY date
ORDER BY date DESC

El último registro de resultados de cada resultado

SELECT
    * EXCEPT(row)
FROM (
    SELECT *, ROW_NUMBER() OVER(
        PARTITION BY finding_id
        ORDER BY event_time DESC, finding.mute_update_time DESC
    ) AS row
    FROM `PROJECT_ID.DATASET.findings`
)
WHERE row = 1

Resultados actuales que están activos, ordenados de forma cronológica

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
ORDER BY event_time DESC

Resultados actuales que se encuentran en un proyecto

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
WHERE resource.project_display_name = 'PROJECT'

Reemplaza PROJECT por el nombre del proyecto.

Resultados actuales que se encuentran en una carpeta

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
CROSS JOIN UNNEST(resource.folders) AS folder
WHERE folder.resource_folder_display_name = 'FOLDER'

Reemplaza FOLDER por el nombre de la carpeta.

Resultados actuales del analizador Logging Scanner

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
CROSS JOIN UNNEST(finding.source_properties) AS source_property
WHERE source_property.key = "ScannerName"
  AND source_property.value = "LOGGING_SCANNER"

Resultados actuales activos del tipo Persistence: IAM Anomalous Grant

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
  AND finding.category = "Persistence: IAM Anomalous Grant"

Correlaciona los resultados activos de un tipo determinado con los Registros de auditoría de Cloud

Esta consulta de ejemplo ayuda a investigar los resultados de otorgamiento de IAM anómalos de Event Threat Detection mediante los registros de auditoría de Cloud con la secuencia de acciones de actividad del administrador del otorgador durante el período anterior y el éxito de la acción de otorgamiento de IAM anómala. La siguiente consulta correlaciona los registros de la actividad del administrador entre 1 hora antes y 1 hora después de la marca de tiempo del resultado.

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT
  finding_id,
  ANY_VALUE(event_time) as event_time,
  ANY_VALUE(finding.access.principal_email) as grantor,
  JSON_VALUE_ARRAY(ANY_VALUE(finding.source_properties_json), '$.properties.sensitiveRoleGrant.members') as grantees,
  ARRAY_AGG(
    STRUCT(
      timestamp,
      IF(timestamp < event_time, 'before', 'after') as timeline,
      protopayload_auditlog.methodName,
      protopayload_auditlog.resourceName,
      protopayload_auditlog.serviceName
    )
    ORDER BY timestamp ASC
  ) AS recent_activity
FROM (
  SELECT
    f.*,
    a.*,
  FROM latestFindings AS f
  LEFT JOIN `PROJECT_ID.DATASET.cloudaudit_googleapis_com_activity` AS a
  ON a.protopayload_auditlog.authenticationInfo.principalEmail = f.finding.access.principal_email
  WHERE f.finding.state = "ACTIVE"
    AND f.finding.category = "Persistence: IAM Anomalous Grant"
    AND a.timestamp >= TIMESTAMP_SUB(f.event_time, INTERVAL 1 HOUR)
    AND a.timestamp <= TIMESTAMP_ADD(f.event_time, INTERVAL 1 HOUR)
  )
GROUP BY
  finding_id
ORDER BY
  event_time DESC

El resultado es similar a este:

Captura de pantalla de los resultados de la consulta que muestran los resultados con registros de auditoría correlacionados

Crea gráficos en Looker Studio

Looker Studio te permite crear informes y paneles interactivos.

En general, se generan costos de uso de BigQuery cuando accedes a BigQuery a través de Looker Studio. Para obtener más información, consulta Visualiza datos de BigQuery con Looker Studio.

Para crear un gráfico en el que se muestren los datos de resultados por gravedad y categoría, haz lo siguiente:

  1. Abre Looker Studio y accede.
  2. Si se te solicita, proporciona información adicional y configura otras preferencias. Lee las Condiciones del Servicio y, si estás satisfecho, continúa.
  3. Haga clic en Blank Report.
  4. En la pestaña Conectar a datos, haz clic en la tarjeta BigQuery.
  5. Si se te solicita, autoriza a Looker Studio a acceder a los proyectos de BigQuery.

  6. Conéctate a los datos de tus resultados:

    1. En Proyecto, selecciona el proyecto para tu conjunto de datos. O bien, en la pestaña Mis proyectos, ingresa el ID del proyecto para buscarlo.
    2. En Conjunto de datos, haz clic en el nombre de tu conjunto de datos.
    3. En Tabla, haz clic en Resultados.
    4. Haga clic en Agregar.
    5. En el cuadro de diálogo, haz clic en Agregar al informe.

  7. Después de agregar el informe, haz clic en Agregar un gráfico.

  8. Haz clic en Gráfico de columnas apiladas y, luego, en el área donde deseas colocarlo.

    Captura de pantalla de la selección del gráfico

  9. En el panel Gráfico > Barra, en la pestaña Datos, configura los siguientes campos:

    1. En el campo Dimensión, selecciona finding.severity.
    2. En el campo Dimensión de desglose, selecciona finding.category.
    Captura de pantalla de un gráfico de resultados clasificados por gravedad y subclasificados por categoría

El informe se actualiza para mostrar varias columnas con resultados divididos por gravedad y categoría.

¿Qué sigue?

Aprende a ejecutar una consulta en BigQuery.