Fazer streaming das descobertas no BigQuery para análise

Nesta página, descrevemos como fazer streaming de descobertas novas e atualizadas para um conjunto de dados do BigQuery usando a função de exportação do Security Command Center para o BigQuery. As descobertas atuais não são enviadas ao BigQuery, a menos que sejam atualizadas.

O BigQuery é o data warehouse para análise totalmente gerenciado, em escala de petabyte e econômico do Google Cloud que permite executar análises em grandes volumes de dados quase em tempo real. É possível usar o BigQuery para executar consultas em descobertas novas e atualizadas, filtrar dados para encontrar o que você precisa e gerar relatórios personalizados. Para saber mais sobre o BigQuery, leia a documentação do BigQuery.

Visão geral

Quando você ativa esse recurso, novas descobertas gravadas no Security Command Center são exportadas para uma tabela do BigQuery quase em tempo real. Em seguida, é possível integrar os dados em fluxos de trabalho existentes e criar análises personalizadas. Você pode ativar esse recurso no nível da organização, da pasta e do projeto para exportar as descobertas com base nos seus requisitos.

Esse recurso é a forma recomendada de exportar as descobertas do Security Command Center para o BigQuery, porque ele é totalmente gerenciado e não requer a execução de operações manuais ou a escrita de um código personalizado.

Estrutura do conjunto de dados

Esse recurso adiciona cada nova descoberta e as atualizações seguintes como novas linhas na tabela findings, que é agrupada por source_id, finding_id e event_time.

Quando uma descoberta é atualizada, esse recurso cria vários registros de descoberta com os mesmos valores source_id e finding_id, mas com valores event_time diferentes. Essa estrutura de conjunto de dados permite ver como o estado de cada descoberta muda ao longo do tempo.

Pode haver entradas duplicadas no conjunto de dados. Para analisá-las, use a cláusula DISTINCT, conforme mostrado no primeiro exemplo de consulta.

Cada conjunto de dados contém uma tabela findings com os seguintes campos:

Campo Descrição
source_id

Um identificador exclusivo que o Security Command Center atribui à origem de uma descoberta. Por exemplo, todas as descobertas da origem da Detecção de anomalias do Cloud têm o mesmo valor source_id.

Exemplo: 1234567890
finding_id Identificador exclusivo que representa a descoberta. É único dentro de uma fonte para uma organização. É alfanumérico e tem no máximo 32 caracteres.
event_time

A hora em que o evento ocorreu ou a hora em que uma atualização da descoberta ocorreu. Por exemplo, se a descoberta representar um firewall aberto, o event_time vai capturar o horário em que o detector acredita que o firewall foi aberto. Se a descoberta for resolvida depois, esse horário vai refletir quando ela foi resolvida.

Exemplo: 2019-09-26 12:48:00.985000 UTC
finding

Um registro de dados de avaliação, como segurança, risco, integridade ou privacidade, que é ingerido no Security Command Center para apresentação, notificação, análise, teste de políticas e aplicação. Por exemplo, uma vulnerabilidade de scripting em vários locais (XSS) em um aplicativo do App Engine é uma descoberta.

Para mais informações sobre os campos aninhados, consulte a referência da API do objeto Finding.

recurso

Informações relacionadas ao recurso do Google Cloud associado a essa descoberta.

Para mais informações sobre os campos aninhados, consulte a referência da API do objeto Resource.

Custo

Você vai receber cobranças do BigQuery relacionadas a esse recurso. Para mais informações, consulte Preços do BigQuery.

Antes de começar

Conclua as etapas abaixo antes de ativar esse recurso.

Configurar permissões

Para concluir este guia, você precisa ter os seguintes papéis de gerenciamento de identidade e acesso (IAM):

Criar um conjunto de dados do BigQuery

Crie um conjunto de dados do BigQuery. Para mais informações, consulte Como criar conjuntos de dados.

Planejar a residência de dados

Se a residência de dados estiver ativada para o Security Command Center, as configurações que definem as exportações de streaming para o BigQuery (recursos BigQueryExport) estão sujeitas ao controle de residência de dados e são armazenadas em um local do Security Command Center selecionado.

Para exportar as descobertas de um local do Security Command Center para o BigQuery, configure a exportação do BigQuery no mesmo local do Security Command Center que as descobertas.

Como os filtros usados nas exportações do BigQuery podem conter dados sujeitos a controles de residência, especifique o local correto antes de criar os filtros. O Security Command Center não restringe o local em que você cria exportações.

As exportações do BigQuery são armazenadas apenas no local em que são criadas e não podem ser visualizadas ou editadas em outros locais.

Depois de criar uma exportação do BigQuery, não é possível mudar o local dela. Para mudar o local, exclua a exportação do BigQuery e recrie-a no novo local.

Para extrair uma exportação do BigQuery usando chamadas de API, é necessário especificar o local no nome completo do recurso do bigQueryExport. Exemplo:

GET https://securitycenter.googleapis.com/v2/organizations/123/locations/eu/bigQueryExports/my-export-01

Da mesma forma, para extrair uma exportação do BigQuery usando a CLI gcloud, é necessário especificar o local usando a flag --location. Exemplo:

gcloud scc bqexports get myBigQueryExport --organization=123 \
    --location=us

Exportar descobertas do Security Command Center para o BigQuery

Para exportar descobertas, primeiro ative a API Security Command Center.

Como ativar a API Security Command Center

Para ativar a API Security Command Center, faça o seguinte:

  1. Acesse a página "Biblioteca de APIs" no Console do Google Cloud.

    Acessar a biblioteca de APIs

  2. Selecione o projeto em que você quer ativar a API Security Command Center.

  3. Na caixa Pesquisa, digite Security Command Center e clique no Security Command Center nos resultados da pesquisa.

  4. Na página da API exibida, clique em Ativar.

A API Security Command Center está ativada no seu projeto. Em seguida, use a CLI gcloud para criar uma nova configuração de exportação para o BigQuery.

Como conceder acesso de perímetro no VPC Service Controls

Se você usa o VPC Service Controls e seu conjunto de dados do BigQuery faz parte de um projeto dentro de um perímetro de serviço, é necessário conceder acesso a projetos para exportar as descobertas.

Para conceder acesso a projetos, crie regras de entrada e saída para os principais e os projetos de onde você está exportando as descobertas. As regras permitem o acesso a recursos protegidos e permitem que o BigQuery verifique se os usuários têm a permissão setIamPolicy no conjunto de dados do BigQuery.

Antes de configurar uma nova exportação para o BigQuery

  1. Acesse a página VPC Service Controls no console do Cloud.

    Acessar o VPC Service Controls

  2. Se necessário, selecione a organização.

  3. Clique no nome do perímetro de serviço que você quer alterar.

    Para encontrar o perímetro de serviço que você precisa modificar, verifique nos registros as entradas que mostram violações RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Nessas entradas, verifique o campo servicePerimeterName: accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME.

  4. Clique em Editar perímetro.

  5. No menu de navegação, clique em Política de entrada.

  6. Para configurar regras de entrada para usuários ou contas de serviço, use os seguintes parâmetros:

    • Atributos FROM do cliente da API:
      • No menu Identidades, escolha Identidades selecionadas.
      • No menu Origem, selecione Todas as origens.
      • Clique em Selecionar e insira o principal usado para chamar a API Security Command Center.
    • Atributos "Para" dos serviços/recursos do Google Cloud:
      • No menu Project, escolha Selected projects.
      • Clique em Selecionar e insira o projeto que contém o conjunto de dados do BigQuery.
      • No menu Serviços, escolha Serviços selecionados e, em seguida, selecione API BigQuery.
      • No menu Métodos, escolha Todas as ações.

  7. Clique em Salvar.

  8. No menu de navegação, clique em Política de saída.

  9. Clique em Add Rule.

  10. Para configurar regras de saída para contas de usuário ou serviço, insira os seguintes parâmetros:

    • Atributos FROM do cliente da API:
      • No menu Identidades, escolha Identidades selecionadas.
      • Clique em Selecionar e insira o principal usado para chamar a API Security Command Center.
    • Atributos "Para" dos serviços/recursos do Google Cloud:
      • No menu Project, escolha All projects.
      • No menu Serviços, escolha Serviços selecionados e, em seguida, selecione API BigQuery.
      • No menu Métodos, escolha Todas as ações.

  11. Clique em Salvar.

Configurar uma nova exportação para o BigQuery

Nesta etapa, você vai criar uma configuração de exportação para exportar as descobertas para uma instância do BigQuery. Você pode criar configurações de exportação no nível do projeto, da pasta ou da organização. Por exemplo, se você quiser exportar as descobertas de um projeto para um conjunto de dados do BigQuery, crie uma configuração de exportação no nível do projeto para exportar somente as descobertas relacionadas a esse projeto. Também é possível especificar filtros para exportar apenas determinadas descobertas.

Certifique-se de criar as configurações de exportação no nível apropriado. Por exemplo, se você criar uma configuração de exportação no Projeto B para exportar descobertas do Projeto A e definir filtros como resource.project_display_name: project-a-id, a configuração não vai exportar nenhuma descoberta.

É possível criar no máximo 500 configurações de exportação para o BigQuery na organização. Você pode usar o mesmo conjunto de dados para várias configurações de exportação. Se você usar o mesmo conjunto de dados, todas as atualizações serão feitas na mesma tabela de descobertas.

Quando você cria a primeira configuração de exportação, uma conta de serviço é criada automaticamente. Essa conta de serviço é necessária para criar ou atualizar a tabela de descobertas em um conjunto de dados e exportar as descobertas para a tabela. Ela tem o formato service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gservicaccount.com e recebe o papel de editor de dados do BigQuery (roles/bigquery.dataEditor) no nível do conjunto de dados do BigQuery.

No console do Google Cloud, alguns recursos BigQueryExport podem ter um rótulo Legacy, o que indica que eles foram criados com a API v1 do Security Command Center. É possível gerenciar esses recursos BigQueryExport com o console do Google Cloud, a CLI gcloud, a API Security Command Center v1 ou as bibliotecas de cliente v1 do Security Command Center.

Para gerenciar esses recursos BigQueryExport com a CLI gcloud, não especifique um local ao executar o comando da CLI gcloud.

gcloud

  1. Acesse o console do Google Cloud.

    Acesse o console do Google Cloud

  2. Selecione o projeto para o qual você ativou a API Security Command Center.

  3. Clique em Ativar o Cloud Shell.

  4. Para criar uma nova configuração de exportação, execute este comando:

    gcloud scc bqexports create BIGQUERY_EXPORT \
    --dataset=DATASET_NAME \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION \
    [--description=DESCRIPTION] \
    [--filter=FILTER]

    Substitua:

    • BIGQUERY_EXPORT por um nome para esta configuração de exportação.
    • DATASET_NAME pelo nome do conjunto de dados do BigQuery, por exemplo, projects/PROJECT_ID/datasets/DATASET_ID.
    • FOLDER_ID, ORGANIZATION_ID ou PROJECT_ID pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou da organização. Para projetos, o nome é o número ou o ID do projeto.
    • LOCATION: se a residência de dados estiver ativada, o local do Security Command Center em que uma configuração de exportação será criada. Se a residência de dados não estiver ativada, use o valor global.
    • DESCRIPTION com uma descrição legível da configuração de exportação. Essa variável é opcional.
    • FILTER por uma expressão que define quais descobertas serão incluídas na exportação. Por exemplo, se você quiser filtrar a categoria XSS_SCRIPTING, digite "category=\"XSS_SCRIPTING\". Essa variável é opcional.

Java

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local. 


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.CreateBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.OrganizationLocationName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;
import java.util.UUID;

public class CreateBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // projectId: Google Cloud Project id.
    String projectId = "{your-project}";

    // Specify the location.
    String location = "global";

    // filter: Expression that defines the filter to apply across create/update events of findings.
    String filter = "severity=\"LOW\" OR severity=\"MEDIUM\"";

    // bigQueryDatasetId: The BigQuery dataset to write findings' updates to.
    String bigQueryDatasetId = "{bigquery-dataset-id}";

    // bigQueryExportId: Unique identifier provided by the client.
    // For more info, see:
    // https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    String bigQueryExportId = "default-" + UUID.randomUUID().toString().split("-")[0];

    createBigQueryExport(organizationId, location, projectId, filter, bigQueryDatasetId,
        bigQueryExportId);
  }

  // Create export configuration to export findings from a project to a BigQuery dataset.
  // Optionally specify filter to export certain findings only.
  public static BigQueryExport createBigQueryExport(String organizationId, String location,
      String projectId, String filter, String bigQueryDatasetId, String bigQueryExportId)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      OrganizationLocationName organizationName = OrganizationLocationName.of(organizationId,
          location);
      // Create the BigQuery export configuration.
      BigQueryExport bigQueryExport =
          BigQueryExport.newBuilder()
              .setDescription(
                  "Export low and medium findings if the compute resource "
                      + "has an IAM anomalous grant")
              .setFilter(filter)
              .setDataset(String.format("projects/%s/datasets/%s", projectId, bigQueryDatasetId))
              .build();

      CreateBigQueryExportRequest bigQueryExportRequest =
          CreateBigQueryExportRequest.newBuilder()
              .setParent(organizationName.toString())
              .setBigQueryExport(bigQueryExport)
              .setBigQueryExportId(bigQueryExportId)
              .build();

      // Create the export request.
      BigQueryExport response = client.createBigQueryExport(bigQueryExportRequest);

      System.out.printf("BigQuery export request created successfully: %s\n", response.getName());
      return response;
    }
  }
}

Python

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local. 



def create_bigquery_export(
    parent: str, export_filter: str, bigquery_dataset_id: str, bigquery_export_id: str
):
    from google.cloud import securitycenter_v2

    """
    Create export configuration to export findings from a project to a BigQuery dataset.
    Optionally specify filter to export certain findings only.

    Args:
        parent: Use any one of the following resource paths:
             - organizations/{organization_id}/locations/{location_id}
             - folders/{folder_id}/locations/{location_id}
             - projects/{project_id}/locations/{location_id}
        export_filter: Expression that defines the filter to apply across create/update events of findings.
        bigquery_dataset_id: The BigQuery dataset to write findings' updates to.
             - projects/{PROJECT_ID}/datasets/{BIGQUERY_DATASET_ID}
        bigquery_export_id: Unique identifier provided by the client.
             - example id: f"default-{str(uuid.uuid4()).split('-')[0]}"
        For more info, see:
        https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    """
    client = securitycenter_v2.SecurityCenterClient()

    # Create the BigQuery export configuration.
    bigquery_export = securitycenter_v2.BigQueryExport()
    bigquery_export.description = "Export low and medium findings if the compute resource has an IAM anomalous grant"
    bigquery_export.filter = export_filter
    bigquery_export.dataset = bigquery_dataset_id

    request = securitycenter_v2.CreateBigQueryExportRequest()
    request.parent = parent
    request.big_query_export = bigquery_export
    request.big_query_export_id = bigquery_export_id

    # Create the export request.
    response = client.create_big_query_export(request)

    print(f"BigQuery export request created successfully: {response.name}\n")
    return response

Você vai encontrar as descobertas no seu conjunto de dados do BigQuery cerca de 15 minutos depois de criar a configuração de exportação. Depois que a tabela do BigQuery é criada, todas as descobertas novas e atualizadas que correspondem ao filtro e escopo aparecem quase em tempo real na tabela.

Para conferi-las, consulte Conferir descobertas.

Criar uma regra de entrada para a nova exportação para o BigQuery

Se você usa o VPC Service Controls e o conjunto de dados do BigQuery faz parte de um projeto dentro de um perímetro de serviço, é necessário criar uma regra de entrada para uma nova exportação para o BigQuery.

  1. Abra novamente o perímetro do serviço em Configurar uma nova exportação para o BigQuery.

    Acessar o VPC Service Controls

  2. Clique em Política de entrada.

  3. Clique em Add Rule.

  4. Para configurar a regra de entrada para as configurações de exportação, insira os seguintes parâmetros:

    • Atributos FROM do cliente da API:
      • No menu suspenso Origem, selecione Todas as origens.
      • No menu suspenso Identidades, escolha Identidades selecionadas.
      • Clique em Selecionar e insira o nome da conta de serviço de configuração de exportação do BigQuery: service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gserviceaccount.com
    • Atributos TO de serviços/recursos do GCP:
      • No menu suspenso Projeto, escolha Projetos selecionados.
      • Clique em Selecionar e selecione o projeto que contém o conjunto de dados do BigQuery.
      • No menu suspenso Serviços, escolha Serviços selecionados e, em seguida, selecione API BigQuery.
      • No menu suspenso Métodos, escolha Todas as ações.

  5. No menu de navegação, clique em Salvar.

Os projetos, usuários e contas de serviço selecionados agora podem acessar os recursos protegidos e exportar resultados.

Se você seguiu todas as etapas deste guia e as exportações estão funcionando corretamente, agora é possível excluir o seguinte:

  • A regra de entrada do principal
  • A regra de saída para a principal

Essas regras só eram necessárias para configurar a exportação. No entanto, para que as configurações de exportação continuem funcionando, mantenha a regra de entrada criada anteriormente, que permite que o Security Command Center exporte descobertas para seu conjunto de dados do BigQuery atrás do perímetro de serviço.

Ver os detalhes de uma configuração de exportação

gcloud

  1. Acesse o console do Google Cloud.

    Acesse o console do Google Cloud

  2. Selecione o projeto para o qual você ativou a API Security Command Center.

  3. Clique em Ativar o Cloud Shell.

  4. Para verificar os detalhes da configuração de exportação, execute este comando:

    gcloud scc bqexports get BIGQUERY_EXPORT \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION

    Substitua:

    • BIGQUERY_EXPORT pelo nome desta configuração de exportação.
    • FOLDER_ID, ORGANIZATION_ID ou PROJECT_ID pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou da organização. Para projetos, o nome é o número ou o ID do projeto.

    • LOCATION: se a residência de dados estiver ativada, o local do Security Command Center em que uma configuração de exportação será criada. Se a residência de dados não estiver ativada, use o valor global.

      Por exemplo, para receber uma configuração de exportação chamada my-bq-export de uma organização com um ID da organização definido como 123, execute:

      gcloud scc bqexports get my-bq-export \
    --organization=123 \
    --location=global

Atualizar uma configuração de exportação

Quando necessário, é possível modificar o filtro, o conjunto de dados e a descrição de uma configuração de exportação existente. Não é possível mudar o nome da configuração de exportação.

gcloud

  1. Acesse o console do Google Cloud.

    Acesse o console do Google Cloud

  2. Selecione o projeto para o qual você ativou a API Security Command Center.

  3. Clique em Ativar o Cloud Shell.

  4. Para atualizar uma configuração de exportação, execute este comando:

    gcloud scc bqexports update BIGQUERY_EXPORT \
    --dataset=DATASET_NAME \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION \
    [--description=DESCRIPTION] \
    [--filter=FILTER]

    Substitua:

    • BIGQUERY_EXPORT pelo nome da configuração de exportação que você quer atualizar.
    • DATASET_NAME pelo nome do conjunto de dados do BigQuery, por exemplo, projects/PROJECT_ID/datasets/DATASET_ID.
    • FOLDER_ID, ORGANIZATION_ID ou PROJECT_ID pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou da organização. Para projetos, o nome é o número ou o ID do projeto.
    • LOCATION: se a residência de dados estiver ativada, o local do Security Command Center em que a configuração de exportação será atualizada. Se a residência de dados não estiver ativada, use o valor global.
    • DESCRIPTION com uma descrição legível da configuração de exportação. Essa variável é opcional.
    • FILTER por uma expressão que define quais descobertas serão incluídas na exportação. Por exemplo, se você quiser filtrar a categoria XSS_SCRIPTING, digite "category=\"XSS_SCRIPTING\". Essa variável é opcional.

Ver todas as configurações de exportação

Você pode conferir todas as configurações de exportação na organização, na pasta ou no projeto.

gcloud

  1. Acesse o console do Google Cloud.

    Acesse o console do Google Cloud

  2. Selecione o projeto para o qual você ativou a API Security Command Center.

  3. Clique em Ativar o Cloud Shell.

  4. Para listar as configurações de exportação, execute este comando:

    gcloud scc bqexports list \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION \
    [--limit=LIMIT] \
    [--page-size=PAGE_SIZE]

    Substitua:

    • FOLDER_ID, ORGANIZATION_ID ou PROJECT_ID pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou da organização. Para projetos, o nome é o número ou o ID do projeto.

      Se você especificar um ID da organização, a lista vai incluir todas as configurações de exportação definidas nessa organização, inclusive as de níveis da pasta e do projeto. Se você especificar um ID de pasta, a lista vai incluir todas as configurações de exportação definidas no nível da pasta e nos projetos dentro dessa pasta. Se você especificar um número ou ID de projeto, a lista vai incluir todas as configurações de exportação apenas para esse projeto.

    • LOCATION: se a residência de dados estiver ativada, o local do Security Command Center em que as configurações de exportação serão listadas. Se a residência de dados não estiver ativada, use o valor global.

    • LIMIT pelo número de configurações de exportação que você quer ver. Essa variável é opcional.

    • PAGE_SIZE por um valor de tamanho de página. Essa variável é opcional.

Java

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local. 


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.ListBigQueryExportsRequest;
import com.google.cloud.securitycenter.v2.OrganizationLocationName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import com.google.cloud.securitycenter.v2.SecurityCenterClient.ListBigQueryExportsPagedResponse;
import java.io.IOException;

public class ListBigQueryExports {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    listBigQueryExports(organizationId, location);
  }

  // List BigQuery exports in the given parent.
  public static ListBigQueryExportsPagedResponse listBigQueryExports(String organizationId,
      String location) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      OrganizationLocationName organizationName = OrganizationLocationName.of(organizationId,
          location);

      ListBigQueryExportsRequest request = ListBigQueryExportsRequest.newBuilder()
          .setParent(organizationName.toString())
          .build();

      ListBigQueryExportsPagedResponse response = client.listBigQueryExports(request);

      System.out.println("Listing BigQuery exports:");
      for (BigQueryExport bigQueryExport : response.iterateAll()) {
        System.out.println(bigQueryExport.getName());
      }
      return response;
    }
  }
}

Python

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local. 

def list_bigquery_exports(parent: str):
    from google.cloud import securitycenter_v2

    """
    List BigQuery exports in the given parent.
    Args:
         parent: The parent which owns the collection of BigQuery exports.
             Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
    """

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.ListBigQueryExportsRequest()
    request.parent = parent

    response = client.list_big_query_exports(request)

    print("Listing BigQuery exports:")
    for bigquery_export in response:
        print(bigquery_export.name)
    return response

Excluir uma configuração de exportação

Se você não precisar mais de uma configuração de exportação, será possível excluí-la.

gcloud

  1. Acesse o console do Google Cloud.

    Acesse o console do Google Cloud

  2. Selecione o projeto para o qual você ativou a API Security Command Center.

  3. Clique em Ativar o Cloud Shell.

  4. Para excluir uma configuração de exportação, execute este comando:

    gcloud scc bqexports delete BIGQUERY_EXPORT \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION

    Substitua:

    • BIGQUERY_EXPORT pelo nome da configuração de exportação que você quer excluir.
    • FOLDER_ID, ORGANIZATION_ID ou PROJECT_ID pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou da organização. Para projetos, o nome é o número ou o ID do projeto.

    • LOCATION: se a residência de dados estiver ativada, o local do Security Command Center em que a configuração de exportação será excluída. Se a residência de dados não estiver ativada, use o valor global.

      Por exemplo, para excluir uma configuração de exportação chamada my-bq-export de uma organização com um ID da organização definido como 123, execute:

      gcloud scc bqexports delete my-bq-export \
    --organization=123 \
    --location=global

Java

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local. 


import com.google.cloud.securitycenter.v2.BigQueryExportName;
import com.google.cloud.securitycenter.v2.DeleteBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;

public class DeleteBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    // bigQueryExportId: Unique identifier that is used to identify the export.
    String bigQueryExportId = "{bigquery-export-id}";

    deleteBigQueryExport(organizationId, location, bigQueryExportId);
  }

  // Delete an existing BigQuery export.
  public static void deleteBigQueryExport(String organizationId, String location,
      String bigQueryExportId)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      // Optionally BigQueryExportName or String can be used
      // String bigQueryExportName = String.format("organizations/%s/locations/%s
      // /bigQueryExports/%s",organizationId,location, bigQueryExportId);
      BigQueryExportName bigQueryExportName = BigQueryExportName.of(organizationId, location,
          bigQueryExportId);

      DeleteBigQueryExportRequest bigQueryExportRequest =
          DeleteBigQueryExportRequest.newBuilder()
              .setName(bigQueryExportName.toString())
              .build();

      client.deleteBigQueryExport(bigQueryExportRequest);
      System.out.printf("BigQuery export request deleted successfully: %s", bigQueryExportId);
    }
  }
}

Python

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local. 

def delete_bigquery_export(parent: str, bigquery_export_id: str):
    """
    Delete an existing BigQuery export.
    Args:
        parent: Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
        bigquery_export_id: Unique identifier that is used to identify the export.
    """
    from google.cloud import securitycenter_v2

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.DeleteBigQueryExportRequest()
    request.name = f"{parent}/bigQueryExports/{bigquery_export_id}"

    client.delete_big_query_export(request)
    print(f"BigQuery export request deleted successfully: {bigquery_export_id}")

Depois de excluir a configuração de exportação, você pode remover os dados do Looker Studio. Para ver mais informações, consulte Remover, excluir e restaurar uma fonte de dados.

Analisar descobertas no BigQuery

Depois que você cria uma configuração de exportação, as novas descobertas são exportadas para o conjunto de dados do BigQuery no projeto especificado.

Para analisar as descobertas no BigQuery, faça o seguinte:

  1. Acesse o projeto no BigQuery.

    Acessar o BigQuery

  2. Selecione um projeto.

  3. No painel Explorer, expanda o nó do projeto.

  4. Expanda seu conjunto de dados.

  5. Clique na tabela findings.

  6. Na guia aberta, clique em Visualizar. Um conjunto de dados de amostra é exibido.

Consultas úteis

Nesta seção, você vai ver exemplos de consultas para analisar os dados das descobertas. Nos exemplos a seguir, substitua DATASET pelo nome atribuído ao conjunto de dados e PROJECT_ID pelo nome do projeto do conjunto de dados.

Para resolver qualquer erro, consulte Mensagens de erro.

O número de novas descobertas criadas e atualizadas diariamente

SELECT
    FORMAT_DATETIME("%Y-%m-%d", event_time) AS date,
    count(DISTINCT finding_id)
FROM `PROJECT_ID.DATASET.findings`
GROUP BY date
ORDER BY date DESC

O registro mais recente de cada descoberta

SELECT
    * EXCEPT(row)
FROM (
    SELECT *, ROW_NUMBER() OVER(
        PARTITION BY finding_id
        ORDER BY event_time DESC, finding.mute_update_time DESC
    ) AS row
    FROM `PROJECT_ID.DATASET.findings`
)
WHERE row = 1

Descobertas atuais que estão ativas, ordenadas por tempo

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
ORDER BY event_time DESC

Descobertas atuais em um projeto

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
WHERE resource.project_display_name = 'PROJECT'

Substitua PROJECT pelo nome do projeto.

Descobertas atuais em uma pasta

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
CROSS JOIN UNNEST(resource.folders) AS folder
WHERE folder.resource_folder_display_name = 'FOLDER'

Substitua FOLDER pelo nome da pasta.

Descobertas atuais do scanner Logging Scanner

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
CROSS JOIN UNNEST(finding.source_properties) AS source_property
WHERE source_property.key = "ScannerName"
  AND source_property.value = "LOGGING_SCANNER"

Descobertas ativas atuais do tipo Persistence: IAM Anomalous Grant

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
  AND finding.category = "Persistence: IAM Anomalous Grant"

Correlacionar descobertas ativas de um determinado tipo com os Registros de auditoria do Cloud

Este exemplo de consulta ajuda a investigar descobertas de concessão de IAM anômalas da detecção de ameaças de eventos usando os registros de auditoria do Cloud, mostrando a sequência de ações de atividade do administrador durante a janela de tempo que precede e sucede a ação de concessão de IAM anômala. A consulta a seguir correlaciona os registros de atividade do administrador entre 1 hora antes e 1 hora depois do carimbo de data/hora da descoberta.

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT
  finding_id,
  ANY_VALUE(event_time) as event_time,
  ANY_VALUE(finding.access.principal_email) as grantor,
  JSON_VALUE_ARRAY(ANY_VALUE(finding.source_properties_json), '$.properties.sensitiveRoleGrant.members') as grantees,
  ARRAY_AGG(
    STRUCT(
      timestamp,
      IF(timestamp < event_time, 'before', 'after') as timeline,
      protopayload_auditlog.methodName,
      protopayload_auditlog.resourceName,
      protopayload_auditlog.serviceName
    )
    ORDER BY timestamp ASC
  ) AS recent_activity
FROM (
  SELECT
    f.*,
    a.*,
  FROM latestFindings AS f
  LEFT JOIN `PROJECT_ID.DATASET.cloudaudit_googleapis_com_activity` AS a
  ON a.protopayload_auditlog.authenticationInfo.principalEmail = f.finding.access.principal_email
  WHERE f.finding.state = "ACTIVE"
    AND f.finding.category = "Persistence: IAM Anomalous Grant"
    AND a.timestamp >= TIMESTAMP_SUB(f.event_time, INTERVAL 1 HOUR)
    AND a.timestamp <= TIMESTAMP_ADD(f.event_time, INTERVAL 1 HOUR)
  )
GROUP BY
  finding_id
ORDER BY
  event_time DESC

O resultado será assim:

Captura de tela dos resultados da consulta mostrando descobertas com registros de auditoria correlacionados

Criar gráficos no Looker Studio

O Looker Studio permite criar relatórios e painéis interativos.

Em geral, são cobrados os custos de uso do BigQuery ao acessar o BigQuery pelo Looker Studio. Saiba mais em Como visualizar dados do BigQuery com o Looker Studio.

Para criar um gráfico que visualize os dados de descobertas por gravidade e categoria, faça o seguinte:

  1. Abra o Looker Studio e faça login.
  2. Se solicitado, forneça informações adicionais e configure outras preferências. Leia os Termos de Serviço e, se você concordar, prossiga.
  3. Clique em Relatório em branco.
  4. Na guia Conectar aos dados, clique no card BigQuery.
  5. Se necessário, autorize o Looker Studio a acessar projetos do BigQuery.

  6. Conecte-se aos dados de descoberta:

    1. Em Projeto, selecione o projeto para o conjunto de dados. Ou, na guia Meus projetos, insira o ID do projeto para pesquisar.
    2. Em Conjunto de dados, clique no nome do conjunto de dados.
    3. Em Tabela, clique em findings.
    4. Clique em Add.
    5. Na caixa de diálogo, clique em Adicionar ao relatório.

  7. Após adicionar o relatório, clique em Adicionar um gráfico.

  8. Clique em Gráfico de colunas empilhadas e depois na área em que você quer colocar o gráfico.

    Captura de tela da seleção do gráfico

  9. No painel Gráfico > Barra, na guia Dados, defina os seguintes campos:

    1. No campo Dimensão, selecione finding.severity.
    2. No campo Dimensão de detalhamento, selecione finding.category.
    Captura de tela de um gráfico de descobertas categorizadas por gravidade e subcategorizadas por categoria

O relatório é atualizado para mostrar várias colunas com descobertas divididas por gravidade e categoria.

A seguir

Saiba como executar uma consulta no BigQuery.