Nesta página, descrevemos como fazer streaming de descobertas novas e atualizadas para um conjunto de dados do BigQuery usando a função de exportação do Security Command Center para o BigQuery. As descobertas atuais não são enviadas ao BigQuery, a menos que sejam atualizadas.
O BigQuery é o data warehouse para análise totalmente gerenciado, em escala de petabyte e econômico do Google Cloud que permite executar análises em vastos volumes de dados quase em tempo real. É possível usar o BigQuery para executar consultas em descobertas novas e atualizadas, filtrar dados para encontrar o que você precisa e gerar relatórios personalizados. Para saber mais sobre o BigQuery, leia a documentação do BigQuery.
Visão geral
Quando você ativa esse recurso, novas descobertas gravadas no Security Command Center são exportadas para uma tabela do BigQuery quase em tempo real. Assim, você pode integrar os dados a fluxos de trabalho existentes e criar análises personalizadas. É possível ativar esse recurso nos níveis de organização, pasta e projeto para exportar descobertas com base nos seus requisitos.
Esse recurso é a forma recomendada de exportar as descobertas do Security Command Center para o BigQuery, porque ele é totalmente gerenciado e não requer a execução de operações manuais ou a escrita de um código personalizado.
Estrutura do conjunto de dados
Esse recurso adiciona cada nova descoberta e as atualizações seguintes como
novas linhas na tabela findings
, que é agrupada por source_id
, finding_id
e event_time
Quando uma descoberta é atualizada, esse recurso cria vários registros com os mesmos
valores source_id
e finding_id
, mas com valores event_time
diferentes.
Essa estrutura de conjunto de dados permite ver como o estado de cada descoberta muda ao longo do tempo.
Pode haver entradas duplicadas no conjunto de dados. Para analisá-las, use a cláusula DISTINCT
, conforme mostrado no primeiro exemplo de consulta.
Cada conjunto de dados
contém uma tabela findings
com os seguintes campos:
Campo | Descrição |
---|---|
source_id | Um identificador exclusivo que o Security Command Center atribui à origem
de uma descoberta. Por exemplo, todas as descobertas da origem da Detecção de anomalias do
Cloud têm o mesmo valor source_id. Exemplo: 1234567890
|
finding_id | Identificador exclusivo que representa a descoberta. É único dentro de uma fonte para uma organização. É alfanumérico e tem no máximo 32 caracteres. |
event_time | A hora em que o evento ocorreu ou a hora em que uma atualização da descoberta
ocorreu. Por exemplo, se a descoberta representar um firewall aberto, o
`event_time` vai capturar o horário em que o detector acredita que o firewall foi aberto.
Se a descoberta for resolvida
depois, esse horário refletirá quando ela foi resolvida. Exemplo: 2019-09-26 12:48:00.985000 UTC
|
finding | Um registro de dados de avaliação, como segurança, risco, saúde ou privacidade, que
é ingerido no Security Command Center para apresentação, notificação,
análise, teste de políticas e aplicação. Por exemplo, uma vulnerabilidade de
scripting em vários locais (XSS) em um aplicativo do App Engine é uma
descoberta. Saiba mais sobre campos aninhados na referência da API do objeto Finding . |
recurso | Informações relacionadas ao recurso do Google Cloud associado
a essa descoberta. Saiba mais sobre campos aninhados na referência da API do objeto Resource . |
Custo
Você receberá cobranças do BigQuery relacionadas a esse recurso. Para mais informações, consulte Preços do BigQuery.
Antes de começar
Conclua as etapas abaixo antes de ativar esse recurso.
Configurar permissões
Para concluir este guia, você precisa ter os seguintes papéis de gerenciamento de identidade e acesso (IAM):
Na organização, na pasta ou no projeto de onde você quer exportar descobertas, uma das seguintes opções:
- Editor do BigQuery Exports na Central de segurança (
roles/securitycenter.bigqueryExportsEditor
) - Administrador da Central de segurança (
roles/securitycenter.admin
)
Para saber mais sobre os papéis do Security Command Center, consulte Controle de acesso.
- Editor do BigQuery Exports na Central de segurança (
No conjunto de dados do BigQuery, o proprietário dos dados do BigQuery (
roles/bigquery.dataOwner
)
Criar um conjunto de dados do BigQuery
Criar um conjunto de dados do BigQuery Para mais informações, consulte Como criar conjuntos de dados.
Planejar a residência dos dados
Se a residência de dados
estiver ativada para o Security Command Center, as configurações que definem
exportações de streaming para
o BigQuery (recursos BigQueryExport
) estarão sujeitas
ao controle de residência de dados e serão armazenadas em um
local do Security Command Center
selecionado.
Para exportar descobertas em um local do Security Command Center para o BigQuery, configure a exportação do BigQuery no mesmo local do Security Command Center que as descobertas.
Como os filtros usados nas exportações do BigQuery podem conter dados sujeitos aos controles de residência, especifique o local correto antes de criá-los. O Security Command Center não restringe o local em que você cria exportações.
As exportações do BigQuery são armazenadas apenas no local em que foram criadas e não podem ser visualizadas ou editadas em outros locais.
Depois de criar uma exportação do BigQuery, não é possível alterar o local dela. Para alterar o local, você precisa excluir o BigQuery Export e recriá-lo no novo local.
Para recuperar uma exportação do BigQuery usando chamadas de API, especifique o local no nome completo do recurso de bigQueryExport
. Exemplo:
GET https://securitycenter.googleapis.com/v2/{name=organizations/123/locations/eu/bigQueryExports/my-export-01}
Da mesma forma, para recuperar uma exportação do BigQuery usando a CLI gcloud, você precisa especificar o local no nome completo do recurso da configuração ou usando a sinalização --locations
. Exemplo:
gcloud scc scc bqexports get myBigQueryExport organizations/123 \ --location=locations/us
Exportar descobertas do Security Command Center para o BigQuery
Para exportar descobertas, primeiro ative a API Security Command Center.
Como ativar a API Security Command Center
Para ativar a API Security Command Center, faça o seguinte:
Acesse a página "Biblioteca de APIs" no Console do Google Cloud.
Selecione o projeto em que você quer ativar a API Security Command Center.
Na caixa Pesquisa, digite
Security Command Center
e clique no Security Command Center nos resultados da pesquisa.Na página da API exibida, clique em Ativar.
A API Security Command Center está ativada no seu projeto. Em seguida, use a CLI gcloud para criar uma nova configuração de exportação para o BigQuery.
Como conceder acesso de perímetro no VPC Service Controls
Se você usar o VPC Service Controls e o conjunto de dados do BigQuery fizer parte de um projeto dentro de um perímetro de serviço, será necessário conceder acesso a projetos para exportar descobertas.
Para conceder acesso a projetos, crie
regras de entrada e saída
para os principais e os projetos de onde você está exportando descobertas. As regras permitem acesso a recursos protegidos e deixam o BigQuery verificar se os usuários têm a permissão setIamPolicy
no conjunto de dados do BigQuery.
Antes de configurar uma nova exportação para o BigQuery
Acesse a página VPC Service Controls no console do Cloud.
Se necessário, selecione a organização.
Clique no nome do perímetro de serviço que você quer alterar.
Para encontrar o perímetro de serviço que você precisa modificar, procure nos seus registros entradas que mostrem violações de
RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER
. Nessas entradas, verifique o camposervicePerimeterName
:accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
.Clique em Editar perímetro.
No menu de navegação, clique em Política de entrada.
Para configurar regras de entrada para usuários ou contas de serviço, use os seguintes parâmetros:
- Atributos FROM do cliente da API:
- No menu suspenso Identities, escolha Selected identities.
- No menu suspenso Origem, selecione Todas as origens.
- Clique em Selecionar e insira o principal usado para chamar a API Security Command Center.
- Atributos "Para" dos serviços/recursos do Google Cloud:
- No menu suspenso Projeto, escolha Projetos selecionados.
- Clique em Selecionar e insira o projeto que contém o conjunto de dados do BigQuery .
- No menu suspenso Serviços, escolha Serviços selecionados e, em seguida, API BigQuery.
- No menu suspenso Métodos, escolha Todas as ações.
- Atributos FROM do cliente da API:
Clique em Salvar.
No menu de navegação, clique em Política de saída.
Clique em Add Rule.
Para configurar regras de saída para contas de usuário ou serviço, insira os seguintes parâmetros:
- Atributos FROM do cliente da API:
- No menu suspenso Identidades, escolha Identidades selecionadas.
- Clique em Selecionar e insira o principal usado para chamar a API Security Command Center.
- Atributos "Para" dos serviços/recursos do Google Cloud:
- No menu suspenso Projeto, escolha Todos os projetos.
- No menu suspenso Serviços, escolha Serviços selecionados e, em seguida, API BigQuery.
- No menu suspenso Métodos, escolha Todas as ações.
- Atributos FROM do cliente da API:
Clique em Salvar.
Configurar uma nova exportação para o BigQuery
Nesta etapa, você criará uma configuração de exportação para exportar as descobertas para uma instância do BigQuery. Você pode criar configurações de exportação no nível do projeto, da pasta ou da organização. Por exemplo, se você quiser exportar as descobertas de um projeto para um conjunto de dados do BigQuery, crie uma configuração de exportação para exportar somente as descobertas relacionadas a esse projeto. Também é possível especificar filtros para exportar somente determinadas descobertas.
Certifique-se de criar as configurações de exportação no nível apropriado. Por exemplo, se você criar uma configuração de exportação no Projeto B para exportar descobertas do Projeto A e definir filtros como resource.project_display_name: project-a-id
, a configuração não exportará nenhuma descoberta.
É possível criar no máximo 500 configurações de exportação para o BigQuery na organização. Você pode usar o mesmo conjunto de dados para várias configurações de exportação. Se você usar o mesmo conjunto de dados, todas as atualizações serão feitas na mesma tabela de descobertas.
Quando você cria a primeira configuração de exportação, uma conta de serviço é criada automaticamente. Essa conta de serviço é necessária para criar ou atualizar a tabela de descobertas em um conjunto de dados e exportar as descobertas para a tabela. Ela tem o formato service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gservicaccount.com
e recebe o papel de editor de dados do BigQuery (roles/bigquery.dataEditor
) no nível do conjunto de dados do BigQuery.
gcloud
Acesse o console do Google Cloud.
Selecione o projeto para o qual você ativou a API Security Command Center.
Clique em Ativar o Cloud Shell.
Para criar uma nova configuração de exportação, execute este comando:
gcloud scc bqexports create BIG_QUERY_EXPORT \ --dataset=DATASET_NAME \ --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \ --location=LOCATION \ [--description=DESCRIPTION] \ [--filter=FILTER]
Substitua:
BIG_QUERY_EXPORT
por um nome para esta configuração de exportação.DATASET_NAME
pelo nome do conjunto de dados do BigQuery, por exemplo,projects/<PROJECT_ID>/datasets/<DATASET_ID>
.FOLDER_ID
,ORGANIZATION_ID
ouPROJECT_ID
pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.LOCATION
: se a residência de dados estiver ativada, especifique o local do Security Command Center em que a exportação do BigQuery será criada. A configuração de exportação do BigQuery é armazenada nesse local. Apenas as descobertas deste local são incluídas na exportação.Se a residência de dados não estiver ativada, especificar a sinalização
--location
criará a exportação do BigQuery usando a API Security Command Center v2 e o único valor válido para a sinalização seráglobal
.DESCRIPTION
por uma descrição legível da configuração de exportação. Essa variável é opcional.FILTER
por uma expressão que defina quais descobertas serão incluídas na exportação. Por exemplo, se você quiser filtrar a categoria XSS_SCRIPTING, digite"category=\"XSS_SCRIPTING\"
. Essa variável é opcional.
Java
Para autenticar o Security Command Center, configure o Application Default Credentials. Para mais informações, acesse Configurar a autenticação para um ambiente de desenvolvimento local.
O exemplo a seguir usa a API v1. Para modificar o exemplo para v2, substitua v1
por v2
e adicione /locations/LOCATION
ao nome do recurso.
Para a maioria dos recursos, adicione /locations/LOCATION
ao
nome do recurso após /PARENT/PARENT_ID
, em que
PARENT
é organizations
, folders
ou projects
.
Para descobertas, adicione /locations/LOCATION
ao nome
do recurso depois de /sources/SOURCE_ID
, em que SOURCE_ID
é o ID do
serviço do Security Command Center
que emitiu a descoberta.
Python
Para autenticar o Security Command Center, configure o Application Default Credentials. Para mais informações, acesse Configurar a autenticação para um ambiente de desenvolvimento local.
O exemplo a seguir usa a API v1. Para modificar o exemplo para v2, substitua v1
por v2
e adicione /locations/LOCATION
ao nome do recurso.
Para a maioria dos recursos, adicione /locations/LOCATION
ao
nome do recurso após /PARENT/PARENT_ID
, em que
PARENT
é organizations
, folders
ou projects
.
Para descobertas, adicione /locations/LOCATION
ao nome
do recurso depois de /sources/SOURCE_ID
, em que SOURCE_ID
é o ID do
serviço do Security Command Center
que emitiu a descoberta.
Você verá as descobertas no seu conjunto de dados do BigQuery cerca de 15 minutos depois de criar a configuração de exportação. Após a criação da tabela do BigQuery, todas as descobertas novas e atualizadas que corresponderem ao filtro e escopo aparecerão quase em tempo real na tabela.
Para conferi-las, consulte Conferir descobertas.
Crie uma regra de entrada para a nova exportação para o BigQuery
Se você usar o VPC Service Controls e o conjunto de dados do BigQuery fizer parte de um projeto dentro de um perímetro de serviço, crie uma regra de entrada para uma nova exportação para o BigQuery.
Abra novamente o perímetro de serviço em Configurar uma nova exportação para o BigQuery.
Clique em Política de entrada.
Clique em Add Rule.
Para definir a regra de entrada para as configurações de exportação, insira os seguintes parâmetros:
- Atributos FROM do cliente da API:
- No menu suspenso Origem, selecione Todas as origens.
- No menu suspenso Identidades, escolha Identidades selecionadas.
- Clique em Selecionar e insira o nome da conta de serviço de configuração do BigQuery Export:
service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gserviceaccount.com
- Atributos TO de serviços/recursos do GCP:
- No menu suspenso Projeto, escolha Projetos selecionados.
- Clique em Selecionar e escolha o projeto que contém o conjunto de dados do BigQuery.
- No menu suspenso Serviços, escolha Serviços selecionados e, em seguida, API BigQuery.
- No menu suspenso Métodos, escolha Todas as ações.
- Atributos FROM do cliente da API:
No menu de navegação, clique em Salvar.
Os projetos, usuários e contas de serviço selecionados agora podem acessar os recursos protegidos e as descobertas de exportação.
Se você seguiu todas as etapas deste guia e as exportações estão funcionando corretamente, agora é possível excluir estes itens:
- A regra de entrada do principal
- A regra de saída para a principal
Essas regras só eram necessárias para definir a configuração de exportação. No entanto, para que as configurações de exportação continuem funcionando, é necessário manter a regra de entrada criada acima, que permite que o Security Command Center exporte descobertas para o conjunto de dados do BigQuery atrás do perímetro de serviço.
Ver os detalhes de uma configuração de exportação
gcloud
Acesse o console do Google Cloud.
Selecione o projeto para o qual você ativou a API Security Command Center.
Clique em Ativar o Cloud Shell.
Para verificar os detalhes da configuração de exportação, execute este comando:
gcloud scc bqexports get BIG_QUERY_EXPORT \ --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \ --location=LOCATION
Substitua:
BIG_QUERY_EXPORT
pelo nome desta configuração de exportação.FOLDER_ID
,ORGANIZATION_ID
ouPROJECT_ID
pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.LOCATION
: obrigatório se a residência de dados estiver ativada ou se o recursoBigQueryExport
tiver sido criado usando a API v2.Se a residência de dados estiver ativada, especifique o local do Security Command Center em que a exportação será armazenada.
Se a residência de dados não estiver ativada, inclua
/locations/LOCATION
somente se o recursoBigQueryExport
tiver sido criado usando a API Security Command Center v2. Nesse caso, o único local válido églobal
.
Por exemplo, para receber uma configuração de exportação chamada
my-bq-export
de uma organização com um ID da organização definido como123
, execute:gcloud scc bqexports get my-bq-export --organization=123
Java
Para autenticar o Security Command Center, configure o Application Default Credentials. Para mais informações, acesse Configurar a autenticação para um ambiente de desenvolvimento local.
O exemplo a seguir usa a API v1. Para modificar o exemplo para v2, substitua v1
por v2
e adicione /locations/LOCATION
ao nome do recurso.
Para a maioria dos recursos, adicione /locations/LOCATION
ao
nome do recurso após /PARENT/PARENT_ID
, em que
PARENT
é organizations
, folders
ou projects
.
Para descobertas, adicione /locations/LOCATION
ao nome
do recurso depois de /sources/SOURCE_ID
, em que SOURCE_ID
é o ID do
serviço do Security Command Center
que emitiu a descoberta.
Python
Para autenticar o Security Command Center, configure o Application Default Credentials. Para mais informações, acesse Configurar a autenticação para um ambiente de desenvolvimento local.
O exemplo a seguir usa a API v1. Para modificar o exemplo para v2, substitua v1
por v2
e adicione /locations/LOCATION
ao nome do recurso.
Para a maioria dos recursos, adicione /locations/LOCATION
ao
nome do recurso após /PARENT/PARENT_ID
, em que
PARENT
é organizations
, folders
ou projects
.
Para descobertas, adicione /locations/LOCATION
ao nome
do recurso depois de /sources/SOURCE_ID
, em que SOURCE_ID
é o ID do
serviço do Security Command Center
que emitiu a descoberta.
Atualizar uma configuração de exportação
Quando necessário, é possível modificar o filtro, o conjunto de dados e a descrição de uma configuração de exportação existente. Não é possível alterar o nome da configuração de exportação.
gcloud
Acesse o console do Google Cloud.
Selecione o projeto para o qual você ativou a API Security Command Center.
Clique em Ativar o Cloud Shell.
Para atualizar uma configuração de exportação, execute este comando:
gcloud scc bqexports update BIG_QUERY_EXPORT \ --dataset=DATASET_NAME \ --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \ --location=LOCATION \ [--description=DESCRIPTION] \ [--filter=FILTER]
Substitua:
BIG_QUERY_EXPORT
pelo nome da configuração de exportação que você quer atualizar.DATASET_NAME
pelo nome do conjunto de dados do BigQuery, por exemplo,projects/<PROJECT_ID>/datasets/<DATASET_ID>
.FOLDER_ID
,ORGANIZATION_ID
ouPROJECT_ID
pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.LOCATION
: obrigatório se a residência de dados estiver ativada ou se o recursoBigQueryExport
tiver sido criado usando a API v2.Se a residência de dados estiver ativada, especifique o local do Security Command Center em que a exportação será armazenada.
Se a residência de dados não estiver ativada, inclua
/locations/LOCATION
no nome completo ou especifique a sinalização--location
somente se o recursoBigQueryExport
tiver sido criado usando a API Security Command Center v2. Nesse caso, o único local válido églobal
.DESCRIPTION
por uma descrição legível da configuração de exportação. Essa variável é opcional.FILTER
por uma expressão que defina quais descobertas serão incluídas na exportação. Por exemplo, se você quiser filtrar a categoria XSS_SCRIPTING, digite"category=\"XSS_SCRIPTING\"
. Essa variável é opcional.
Java
Para autenticar o Security Command Center, configure o Application Default Credentials. Para mais informações, acesse Configurar a autenticação para um ambiente de desenvolvimento local.
O exemplo a seguir usa a API v1. Para modificar o exemplo para v2, substitua v1
por v2
e adicione /locations/LOCATION
ao nome do recurso.
Para a maioria dos recursos, adicione /locations/LOCATION
ao
nome do recurso após /PARENT/PARENT_ID
, em que
PARENT
é organizations
, folders
ou projects
.
Para descobertas, adicione /locations/LOCATION
ao nome
do recurso depois de /sources/SOURCE_ID
, em que SOURCE_ID
é o ID do
serviço do Security Command Center
que emitiu a descoberta.
Python
Para autenticar o Security Command Center, configure o Application Default Credentials. Para mais informações, acesse Configurar a autenticação para um ambiente de desenvolvimento local.
O exemplo a seguir usa a API v1. Para modificar o exemplo para v2, substitua v1
por v2
e adicione /locations/LOCATION
ao nome do recurso.
Para a maioria dos recursos, adicione /locations/LOCATION
ao
nome do recurso após /PARENT/PARENT_ID
, em que
PARENT
é organizations
, folders
ou projects
.
Para descobertas, adicione /locations/LOCATION
ao nome
do recurso depois de /sources/SOURCE_ID
, em que SOURCE_ID
é o ID do
serviço do Security Command Center
que emitiu a descoberta.
Ver todas as configurações de exportação
Você pode ver todas as configurações de exportação na organização, na pasta ou no projeto.
gcloud
Acesse o console do Google Cloud.
Selecione o projeto para o qual você ativou a API Security Command Center.
Clique em Ativar o Cloud Shell.
Para listar as configurações de exportação, execute este comando:
gcloud scc bqexports list \ --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \ --location=LOCATION \ [--limit=LIMIT] \ [--page-size=PAGE_SIZE]
Substitua:
FOLDER_ID
,ORGANIZATION_ID
ouPROJECT_ID
pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.Se você especificar um ID da organização, a lista incluirá todas as configurações de exportação definidas nessa organização, inclusive as de níveis da pasta e do projeto. Se você especificar um ID de pasta, a lista incluirá todas as configurações de exportação definidas no nível da pasta e nos projetos dentro dessa pasta. Se você especificar um número ou ID de projeto, a lista incluirá todas as configurações de exportação apenas para esse projeto.
LOCATION
: obrigatório se a residência de dados estiver ativada ou se os recursosBigQueryExport
tiverem sido criados usando a API v2.Se a residência de dados estiver ativada, especifique o local do Security Command Center em que as exportações são armazenadas.
Se a residência de dados não estiver ativada, incluir a sinalização
--location
listará apenas os recursosBigQueryExport
que foram criados usando a API Security Command Center v2 e o único local válido seráglobal
.LIMIT
pelo número de configurações de exportação que você quer ver. Essa variável é opcional.PAGE_SIZE
por um valor de tamanho de página. Essa variável é opcional.
Java
Para autenticar o Security Command Center, configure o Application Default Credentials. Para mais informações, acesse Configurar a autenticação para um ambiente de desenvolvimento local.
O exemplo a seguir usa a API v1. Para modificar o exemplo para v2, substitua v1
por v2
e adicione /locations/LOCATION
ao nome do recurso.
Para a maioria dos recursos, adicione /locations/LOCATION
ao
nome do recurso após /PARENT/PARENT_ID
, em que
PARENT
é organizations
, folders
ou projects
.
Para descobertas, adicione /locations/LOCATION
ao nome
do recurso depois de /sources/SOURCE_ID
, em que SOURCE_ID
é o ID do
serviço do Security Command Center
que emitiu a descoberta.
Python
Para autenticar o Security Command Center, configure o Application Default Credentials. Para mais informações, acesse Configurar a autenticação para um ambiente de desenvolvimento local.
O exemplo a seguir usa a API v1. Para modificar o exemplo para v2, substitua v1
por v2
e adicione /locations/LOCATION
ao nome do recurso.
Para a maioria dos recursos, adicione /locations/LOCATION
ao
nome do recurso após /PARENT/PARENT_ID
, em que
PARENT
é organizations
, folders
ou projects
.
Para descobertas, adicione /locations/LOCATION
ao nome
do recurso depois de /sources/SOURCE_ID
, em que SOURCE_ID
é o ID do
serviço do Security Command Center
que emitiu a descoberta.
Excluir uma configuração de exportação
Se você não precisar mais de uma configuração de exportação, será possível excluí-la.
gcloud
Acesse o console do Google Cloud.
Selecione o projeto para o qual você ativou a API Security Command Center.
Clique em Ativar o Cloud Shell.
Para excluir uma configuração de exportação, execute este comando:
gcloud scc bqexports delete BIG_QUERY_EXPORT \ --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \ --location=LOCATION
Substitua:
BIG_QUERY_EXPORT
pelo nome da configuração de exportação que você quer excluir.FOLDER_ID
,ORGANIZATION_ID
ouPROJECT_ID
pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.LOCATION
: obrigatório se a residência de dados estiver ativada ou se o recursoBigQueryExport
tiver sido criado usando a API v2.Se a residência de dados estiver ativada, especifique o local do Security Command Center em que a exportação será armazenada.
Se a residência de dados não estiver ativada, inclua
/locations/LOCATION
somente se o recursoBigQueryExport
tiver sido criado usando a API Security Command Center v2. Nesse caso, o único local válido églobal
.
Por exemplo, para excluir uma configuração de exportação chamada
my-bq-export
de uma organização com um ID da organização definido como123
, execute:gcloud scc bqexports delete my-bq-export --organization=123
Java
Para autenticar o Security Command Center, configure o Application Default Credentials. Para mais informações, acesse Configurar a autenticação para um ambiente de desenvolvimento local.
O exemplo a seguir usa a API v1. Para modificar o exemplo para v2, substitua v1
por v2
e adicione /locations/LOCATION
ao nome do recurso.
Para a maioria dos recursos, adicione /locations/LOCATION
ao
nome do recurso após /PARENT/PARENT_ID
, em que
PARENT
é organizations
, folders
ou projects
.
Para descobertas, adicione /locations/LOCATION
ao nome
do recurso depois de /sources/SOURCE_ID
, em que SOURCE_ID
é o ID do
serviço do Security Command Center
que emitiu a descoberta.
Python
Para autenticar o Security Command Center, configure o Application Default Credentials. Para mais informações, acesse Configurar a autenticação para um ambiente de desenvolvimento local.
O exemplo a seguir usa a API v1. Para modificar o exemplo para v2, substitua v1
por v2
e adicione /locations/LOCATION
ao nome do recurso.
Para a maioria dos recursos, adicione /locations/LOCATION
ao
nome do recurso após /PARENT/PARENT_ID
, em que
PARENT
é organizations
, folders
ou projects
.
Para descobertas, adicione /locations/LOCATION
ao nome
do recurso depois de /sources/SOURCE_ID
, em que SOURCE_ID
é o ID do
serviço do Security Command Center
que emitiu a descoberta.
Após excluir a configuração de exportação, é possível remover os dados pelo Looker Studio. Para ver mais informações, consulte Remover, excluir e restaurar uma fonte de dados.
Analisar descobertas no BigQuery
Depois que você cria uma configuração de exportação, as novas descobertas são exportadas para o conjunto de dados do BigQuery no projeto especificado.
Para analisar as descobertas no BigQuery, faça o seguinte:
Acesse o projeto no BigQuery.
Se não estiver no projeto correto, siga estas etapas:
- Na barra de ferramentas, clique no seletor de projetos .
- Ao lado de Selecionar de, escolha a organização.
- Selecione um projeto na lista.
No painel Explorer, expanda o nó do projeto.
Expanda seu conjunto de dados.
Clique na tabela findings.
Na guia aberta, clique em Visualizar. Um conjunto de dados de amostra é exibido.
Consultas úteis
Nesta seção, você vai ver exemplos de consultas
para analisar os dados das descobertas. Nos exemplos a seguir, substitua DATASET
pelo nome atribuído ao conjunto de dados e PROJECT_ID
pelo nome do projeto do conjunto de dados.
Para resolver qualquer erro, consulte Mensagens de erro.
O número de novas descobertas criadas e atualizadas diariamente
SELECT
FORMAT_DATETIME("%Y-%m-%d", event_time) AS date,
count(DISTINCT finding_id)
FROM `PROJECT_ID.DATASET.findings`
GROUP BY date
ORDER BY date DESC
O registro mais recente de cada descoberta
SELECT
* EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
)
WHERE row = 1
Descobertas atuais que estão ativas, ordenadas por tempo
WITH latestFindings AS (
SELECT * EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
ORDER BY event_time DESC
Descobertas atuais em um projeto
WITH latestFindings AS (
SELECT * EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
WHERE resource.project_display_name = 'PROJECT'
Substitua PROJECT
pelo nome do projeto.
Descobertas atuais em uma pasta
WITH latestFindings AS(
SELECT * EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
CROSS JOIN UNNEST(resource.folders) AS folder
WHERE folder.resource_folder_display_name = 'FOLDER'
Substitua FOLDER
pelo nome da pasta.
Descobertas atuais do scanner Logging Scanner
WITH latestFindings AS (
SELECT * EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
CROSS JOIN UNNEST(finding.source_properties) AS source_property
WHERE source_property.key = "ScannerName"
AND source_property.value = "LOGGING_SCANNER"
Descobertas ativas atuais do tipo Persistence: IAM Anomalous Grant
WITH latestFindings AS(
SELECT * EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
AND finding.category = "Persistence: IAM Anomalous Grant"
Correlacionar descobertas ativas de um determinado tipo com os Registros de auditoria do Cloud
Este exemplo de consulta ajuda a investigar descobertas de concessão de IAM anômalas da detecção de ameaças de eventos usando os registros de auditoria do Cloud exibindo a sequência de ações de atividade do administrador no período durante a janela que precede e sucede a ação de concessão de IAM anômala. A consulta a seguir correlaciona os registros de atividade do administrador entre 1 hora antes e 1 hora depois do carimbo de data/hora da descoberta.
WITH latestFindings AS(
SELECT * EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
) WHERE row = 1
)
SELECT
finding_id,
ANY_VALUE(event_time) as event_time,
ANY_VALUE(finding.access.principal_email) as grantor,
JSON_VALUE_ARRAY(ANY_VALUE(finding.source_properties_json), '$.properties.sensitiveRoleGrant.members') as grantees,
ARRAY_AGG(
STRUCT(
timestamp,
IF(timestamp < event_time, 'before', 'after') as timeline,
protopayload_auditlog.methodName,
protopayload_auditlog.resourceName,
protopayload_auditlog.serviceName
)
ORDER BY timestamp ASC
) AS recent_activity
FROM (
SELECT
f.*,
a.*,
FROM latestFindings AS f
LEFT JOIN `PROJECT_ID.DATASET.cloudaudit_googleapis_com_activity` AS a
ON a.protopayload_auditlog.authenticationInfo.principalEmail = f.finding.access.principal_email
WHERE f.finding.state = "ACTIVE"
AND f.finding.category = "Persistence: IAM Anomalous Grant"
AND a.timestamp >= TIMESTAMP_SUB(f.event_time, INTERVAL 1 HOUR)
AND a.timestamp <= TIMESTAMP_ADD(f.event_time, INTERVAL 1 HOUR)
)
GROUP BY
finding_id
ORDER BY
event_time DESC
O resultado será assim:
Criar gráficos no Looker Studio
O Looker Studio permite criar relatórios e painéis interativos.
Em geral, são cobrados os custos de uso do BigQuery ao acessar o BigQuery pelo Looker Studio. Saiba mais em Como visualizar dados do BigQuery com o Looker Studio.
Para criar um gráfico que visualize os dados de descobertas por gravidade e categoria, faça o seguinte:
- Abra o Looker Studio e faça login.
- Se solicitado, forneça informações adicionais e configure outras preferências. Leia os Termos de Serviço e, se você concordar, prossiga.
- Clique em Relatório em branco.
- Na guia Conectar aos dados, clique no cartão do BigQuery.
- Se necessário, autorize o Looker Studio a acessar os projetos do BigQuery.
- Conecte-se aos dados de descoberta:
- Em Projeto, selecione o projeto para o conjunto de dados. Ou, na guia Meus projetos, insira o ID do projeto para pesquisá-lo.
- Em Conjunto de dados, clique no nome do conjunto de dados.
- Em Tabela, clique em findings.
- Clique em Adicionar.
- Na caixa de diálogo, clique em Adicionar ao relatório.
- Após adicionar o relatório, clique em Adicionar um gráfico.
Clique em Gráfico de colunas empilhadas e depois na área em que você quer colocar o gráfico.
No painel Gráfico > Barra, na guia Dados, defina os seguintes campos:
- No campo Dimensão, selecione finding.severity.
- No campo Dimensão de detalhamento, selecione finding.category.
O relatório é atualizado para mostrar várias colunas com descobertas divididas por gravidade e categoria.
A seguir
Saiba como executar uma consulta no BigQuery.