Nesta página, descrevemos e comparamos dois serviços de proteção de dados sensíveis que ajudam você a entender seus dados e ativar fluxos de trabalho de governança de dados: o serviço de descoberta e o serviço de inspeção.
Descoberta de dados confidenciais
O serviço de descoberta monitora recursos de dados na sua organização. Esse serviço é executado de forma contínua e automática, descobrindo, classificando e criando perfis de recursos de dados. A descoberta pode ajudar você a entender a localização e a natureza dos dados que você armazena, incluindo recursos de dados que talvez você não conheça. Dados desconhecidos (às vezes chamados de dados de sombra) normalmente não passam pelo mesmo nível de governança de dados e gerenciamento de riscos que os dados conhecidos.
A descoberta é configurada no nível da organização, da pasta ou do projeto. É possível definir diferentes programações de criação de perfil para subconjuntos de dados. Também é possível excluir subconjuntos de dados para os quais você não precisa criar um perfil.
Saída da verificação de descoberta: perfis de dados
A saída de uma verificação de descoberta é um conjunto de perfis de dados para cada recurso de dados no escopo. Por exemplo, uma verificação de descoberta de dados do BigQuery ou do Cloud SQL gera perfis de dados nos níveis de projeto, tabela e coluna.
Um perfil de dados contém métricas e insights sobre o recurso com perfil. Ela inclui as classificações de dados (ou infoTypes), os níveis de confidencialidade, os níveis de risco dos dados, o tamanho e a forma dos dados e outros elementos que descrevem a natureza dos dados e a infoTypes deles (o quão seguros eles são). Use perfis de dados para tomar decisões informadas sobre como proteger seus dados, por exemplo, definindo políticas de acesso na tabela.
Considere uma coluna do BigQuery chamada ccn, em que cada linha contém um
número exclusivo de cartão de crédito e não há valores nulos. O perfil de dados gerado no nível da coluna terá os seguintes detalhes:
| Nome de exibição | Valor |
|---|---|
Field ID |
ccn |
Data risk |
High |
Sensitivity |
High |
Data type |
TYPE_STRING |
Policy tags |
No |
Free text score |
0 |
Estimated uniqueness |
High |
Estimated null proportion |
Very low |
Last profile generated |
DATE_TIME |
Predicted infoType |
CREDIT_CARD_NUMBER |
Além disso, esse perfil no nível da coluna faz parte de um perfil da tabela, que fornece insights como o local dos dados, o status da criptografia e se a tabela é compartilhada publicamente. No console do Google Cloud, também é possível visualizar as entradas do Cloud Logging na tabela, os principais do IAM com papéis na tabela e as tags do Dataplex anexadas à tabela.
Para uma lista completa de métricas e insights disponíveis nos perfis de dados, consulte a Referência de métricas.
Quando usar a descoberta
Ao planejar sua abordagem de gerenciamento de risco de dados, recomendamos que você comece pela descoberta. Com o serviço de descoberta, é possível ter uma visão ampla dos seus dados e ativar alertas, relatórios e correções de problemas.
Além disso, o serviço de descoberta pode ajudar a identificar os recursos em que os dados não estruturados podem residir. Esses recursos podem justificar uma inspeção exaustiva. Os dados não estruturados são especificados por uma alta pontuação de texto livre em uma escala de 0 a 1.
Inspeção de dados sensíveis
O serviço de inspeção realiza uma verificação completa de um único recurso para localizar cada instância individual de dados confidenciais. Uma inspeção produz uma descoberta para cada instância detectada.
Os jobs de inspeção oferecem um conjunto avançado de opções de configuração para ajudar a identificar os dados que você quer inspecionar. Por exemplo, é possível ativar a amostragem para limitar os dados a serem inspecionados a um determinado número de linhas (para dados do BigQuery) ou determinados tipos de arquivos (para dados do Cloud Storage). Também é possível segmentar um período específico em que os dados foram criados ou modificados.
Ao contrário da descoberta, que monitora continuamente os dados, uma inspeção é uma operação sob demanda. No entanto, é possível programar jobs de inspeção recorrentes chamados de acionadores de jobs.
Resultado da verificação de inspeção: descobertas
Cada descoberta inclui detalhes como a localização da instância detectada, o infoType em potencial e a certeza (também chamada de probabilidade) de que a descoberta corresponde ao infoType. Dependendo das configurações, também é possível usar a string real a que a descoberta pertence. Essa string é chamada de citação na Proteção de Dados Sensíveis.
Para uma lista completa de detalhes incluídos em uma descoberta de inspeção, consulte
Finding.
Quando usar a inspeção
Uma inspeção é útil quando você precisa investigar dados não estruturados, como comentários ou avaliações criados pelo usuário, e identificar cada instância de informações de identificação pessoal (PII). Se uma verificação de descoberta identificar recursos que contenham dados não estruturados, recomendamos executar uma verificação de inspeção nesses recursos para ter detalhes sobre cada descoberta individual.
Quando não usar inspeção
A inspeção de um recurso não será útil se as duas condições a seguir forem aplicáveis. Uma verificação de descoberta pode ajudar você a decidir se uma verificação de inspeção é necessária.
- Você só tem dados estruturados no recurso. Ou seja, não há colunas de dados de formato livre, como comentários ou avaliações de usuários.
- Você já conhece os infoTypes armazenados nesse recurso.
Por exemplo, suponha que os perfis de dados de uma verificação de descoberta indiquem que uma determinada tabela do BigQuery não tem colunas com dados não estruturados, mas tem uma coluna de números exclusivos de cartões de crédito. Nesse caso, inspecionar
os números de cartão de crédito na tabela não é útil. Uma inspeção produzirá uma descoberta para cada item na coluna. Se você tiver 1 milhão de linhas e cada uma tiver um número de cartão de crédito, um job de inspeção produzirá 1 milhão de descobertas para o infoType CREDIT_CARD_NUMBER. Neste exemplo, a inspeção não é necessária porque a verificação de descoberta já indica que a coluna contém números exclusivos de cartão de crédito.
Residência, processamento e armazenamento de dados
Tanto a descoberta quanto a inspeção são compatíveis com os requisitos de residência de dados:
- O serviço de descoberta processa os dados onde eles residem e armazena os perfis de dados gerados na mesma região ou multirregião dos dados com perfil. Para mais informações, consulte Considerações sobre a residência de dados.
- Ao inspecionar dados em um sistema de armazenamento do Google Cloud, o
serviço de inspeção processa os dados na mesma região em que
eles residem e armazena o job de inspeção nessa região. Ao inspecionar
dados por um job híbrido ou por um método
content, o serviço de inspeção permite especificar onde ele precisa processar os dados. Para mais informações, consulte Como os dados são armazenados.
Resumo da comparação: serviços de inspeção e descoberta
| Discovery | Inspeção | |
|---|---|---|
| Benefícios |
|
|
| Custo |
10 TB custa aproximadamente US$300 por mês no modo de consumo. |
10 TB custa aproximadamente US$10.000 por verificação. |
| Fontes de dados compatíveis | BigQuery Variáveis de ambiente do Cloud Functions Cloud SQL |
BigQuery Cloud Storage Datastore Híbrido (qualquer origem)1 |
| Escopos compatíveis | Organização, pasta, projeto | Uma única tabela do BigQuery, um bucket do Cloud Storage ou um tipo do Datastore. |
| Modelos de inspeção integrada | Sim | Sim |
| InfoTypes integrados e personalizados | Sim | Sim |
| Resultado da verificação | Visão geral de alto nível (perfis de dados) de todos os dados compatíveis na sua organização, pasta ou projeto. | Descobertas concretas de dados sensíveis no recurso inspecionado. |
| Salvar resultados no BigQuery | Sim | Sim |
| Enviar para o Dataplex como tags | Sim | Sim |
| Publicar resultados no Security Command Center | Sim | Sim |
| Publicar as descobertas no Chronicle | Sim para descoberta no nível da organização e da pasta | Não |
| Publicar no Pub/Sub | Sim | Sim |
| Suporte à residência de dados | Sim | Sim |
1 A inspeção híbrida tem um modelo de preços diferente. Para mais informações, consulte Inspeção de dados de qualquer fonte .
A seguir
- Conheça as estratégias recomendadas para atenuar o risco dos dados (próximo documento desta série)