Este tópico descreve em detalhes como criar um job de inspeção de proteção de dados sensíveis e programar jobs de inspeção recorrentes criando um acionador de jobs. Para um tutorial rápido de como criar um novo acionador de jobs usando a interface da Proteção de dados sensíveis, consulte Guia de início rápido: como criar um acionador de jobs da Proteção de dados sensíveis.
Sobre jobs de inspeção e gatilhos de jobs
Quando a Proteção de dados sensíveis executa uma verificação de inspeção para identificar dados confidenciais, cada verificação é executada como um job. A Proteção de dados sensíveis cria e executa um recurso de job sempre que você pede para ele inspecionar os repositórios de armazenamento do Google Cloud, incluindo buckets do Cloud Storage, tabelas do BigQuery, tipos do Datastore e dados externos.
Programe os jobs de verificação de inspeção da proteção de dados sensíveis criando gatilhos de jobs. Um gatilho de jobs automatiza a criação de jobs de proteção de dados sensíveis periodicamente e também pode ser executado sob demanda.
Para saber mais sobre jobs e gatilhos de jobs na Proteção de dados sensíveis, consulte a página conceitual Jobs e gatilhos de jobs.
Criar um novo job de inspeção
Para criar um novo job de inspeção de proteção de dados sensíveis:
Console
Na seção "Proteção de dados sensíveis" do console do Google Cloud, acesse a página Criar job ou gatilho de job.
Acesse Criar job ou gatilho de jobs
A página Criar job ou acionador de jobs contém as seguintes seções:
Escolher dados de entrada
Nome
Insira um nome para o job. Use letras, números e hifens. Nomear o job é opcional. Se você não inserir um nome, a Proteção de dados sensíveis vai fornecer ao job um identificador de número exclusivo.
Local
No menu Tipo de armazenamento, escolha o tipo de repositório que armazena os dados que você quer verificar:
- Cloud Storage: digite o URL do bucket que você quer verificar ou escolha Incluir/excluir no menu Tipo de local e clique em Procurar para navegar até o bucket ou a subpasta que você quer verificar. Marque a caixa de seleção Verificar pasta recursivamente para verificar o diretório especificado e todos os diretórios contidos. Deixe-a desmarcada para verificar apenas o diretório especificado e não mais profundamente.
- BigQuery: insira os identificadores do projeto, o conjunto de dados e a tabela que você quer verificar.
- Datastore: insira os identificadores do projeto, o namespace (opcional) e o tipo que você quer verificar.
- Híbrido: é possível adicionar rótulos obrigatórios, opcionais e opções para processar dados tabulares. Para mais informações, consulte Tipos de metadados que você pode fornecer.
Amostragem
A amostragem é uma forma opcional de economizar recursos, se você tiver uma quantidade muito grande de dados.
Em Amostragem, escolha se você quer verificar todos os dados selecionados ou criar amostras dos dados verificando uma determinada porcentagem. A amostragem funciona de maneira diferente, dependendo do tipo de repositório de armazenamento que você está verificando:
- Para o BigQuery, é possível criar uma amostra de um subconjunto do total de linhas selecionadas, correspondendo à porcentagem de arquivos especificada a ser incluída na verificação.
- Para o Cloud Storage, se algum arquivo exceder o tamanho especificado no Tamanho máximo de bytes a ser verificado por arquivo, a Proteção de dados sensíveis vai verificar até esse tamanho máximo de arquivo e avançar para o próximo arquivo.
Para ativar a amostragem, escolha uma das seguintes opções no primeiro menu:
- Comece a amostragem pelo começo: a Proteção de Dados Sensíveis inicia a verificação parcial no início dos dados. Para o BigQuery, isso inicia a verificação na primeira linha. Para o Cloud Storage, isso inicia a verificação no início de cada arquivo e para a verificação assim que a Proteção de dados sensíveis é verificada até um tamanho máximo de arquivo especificado.
- Iniciar amostragem de forma aleatória: a Proteção de Dados Sensíveis inicia a verificação parcial em um local aleatório dentro dos dados. Para o BigQuery, isso inicia a verificação em uma linha aleatória. Para o Cloud Storage, essa configuração só se aplica a arquivos que excedam qualquer tamanho máximo especificado. A Proteção de dados sensíveis verifica arquivos com o tamanho máximo na íntegra e arquivos acima do tamanho até o máximo.
Para realizar uma verificação parcial, também é necessário escolher qual porcentagem dos dados você quer verificar. Use o controle deslizante para definir a porcentagem.
Também é possível restringir os arquivos ou os registros a serem verificados por data. Para saber como, consulte Programar, mais adiante neste tópico.
Configuração avançada
Ao criar um job para uma verificação de buckets do Cloud Storage ou tabelas do BigQuery, restrinja a pesquisa especificando uma configuração avançada. Mais especificamente, é possível configurar estes elementos:
- Arquivos (somente Cloud Storage): os tipos de arquivos a serem verificados, que incluem arquivos de texto, binários e de imagem.
- Campos de identificação (somente BigQuery): identificadores de linha exclusivos na tabela.
- Para o Cloud Storage, se algum arquivo exceder o tamanho especificado no Tamanho máximo de bytes a ser verificado por arquivo, a Proteção de dados sensíveis vai verificar até esse tamanho máximo de arquivo e avançar para o próximo arquivo.
Para ativar a amostragem, escolha a porcentagem dos dados que você quer verificar. Use o controle deslizante para definir a porcentagem. Em seguida, escolha uma das seguintes opções no primeiro menu:
- Comece a amostragem pelo começo: a Proteção de Dados Sensíveis inicia a verificação parcial no início dos dados. Para o BigQuery, isso inicia a verificação na primeira linha. Para o Cloud Storage, isso inicia a verificação no início de cada arquivo e para a verificação assim que a Proteção de dados sensíveis é verificada até um tamanho máximo de arquivo especificado (veja acima).
- Iniciar amostragem de forma aleatória: a Proteção de Dados Sensíveis inicia a verificação parcial em um local aleatório dentro dos dados. Para o BigQuery, isso inicia a verificação em uma linha aleatória. Para o Cloud Storage, essa configuração só se aplica a arquivos que excedam qualquer tamanho máximo especificado. A Proteção de dados sensíveis verifica arquivos com o tamanho máximo na íntegra e arquivos acima do tamanho até o máximo.
Arquivos
Para arquivos armazenados no Cloud Storage, especifique os tipos a serem incluídos na verificação em Arquivos.
É possível escolher entre arquivos binários, de texto, de imagem, CSV, TSV, Microsoft Word, Microsoft Excel,
Microsoft PowerPoint, PDF e Apache Avro. Para conferir uma lista completa de extensões de
arquivo que a Proteção de Dados Sensíveis pode verificar em buckets do Cloud Storage,
consulte FileType
.
A escolha de Binário faz a Proteção de dados sensíveis verificar arquivos de
tipos que não sejam reconhecidos.
Campos de identificação
Para tabelas no BigQuery, no campo Campos de identificação, é possível direcionar a Proteção de dados sensíveis para incluir os valores das colunas de chave primária da tabela nos resultados. Isso permite vincular as descobertas às linhas da tabela que as contêm.
Insira os nomes das colunas que identificam de forma exclusiva cada linha na tabela. Se necessário, use a notação de ponto para especificar campos aninhados. Você pode adicionar quantos campos quiser.
Também é necessário ativar a ação Save to BigQuery para exportar as descobertas para o BigQuery. Quando as descobertas são exportadas para o BigQuery, cada uma delas
contém os respectivos valores dos campos de identificação. Para mais informações, consulte identifyingFields
.
Configurar detecção
A seção Configurar detecção é onde você especifica os tipos de dados confidenciais que quer verificar. A conclusão desta seção é opcional. Se você pular esta seção, a Proteção de dados sensíveis vai verificar os dados em busca de um conjunto padrão de infoTypes.
Modelo
Também é possível usar um modelo de proteção de dados sensíveis para reutilizar as informações de configuração especificadas anteriormente.
Se você já tiver criado um modelo que queira usar, clique no campo Nome do modelo para ver uma lista dos modelos de inspeção. Escolha ou digite o nome do modelo que você quer usar.
Para mais informações sobre como criar modelos, consulte Criar modelos de inspeção da Proteção de dados sensíveis.
InfoTypes
Os detectores InfoType encontram dados confidenciais de um determinado tipo. Por exemplo, o
detector infoType integrado US_SOCIAL_SECURITY_NUMBER
da Proteção de dados sensíveis
encontra números da Previdência Social dos EUA. Além dos detectores de infoType
integrados, é possível criar seus próprios detectores de infoType personalizados.
Em InfoTypes, escolha o detector infoType correspondente a um tipo de dados que você quer verificar. Não recomendamos deixar esta seção em branco. Isso faz com que a Proteção de dados sensíveis verifique seus dados com um conjunto padrão de infoTypes, que pode incluir infoTypes que você não precisa. Para mais informações sobre cada detector, consulte a referência de detectores InfoType.
Para mais informações sobre como gerenciar infoTypes integrados e personalizados nesta seção, consulte Gerenciar infoTypes pelo console do Google Cloud.
Conjuntos de regras de inspeção
Os conjuntos de regras de inspeção permitem personalizar os detectores de infoType integrados e personalizados usando regras de contexto. Os dois tipos de regras de inspeção são:
- Regras de exclusão, que ajudam a excluir descobertas falsas ou indesejadas.
- Regras de hotword, que ajudam a detectar mais descobertas.
Para adicionar um novo conjunto de regras, primeiro especifique um ou mais detectores de infoType integrados ou personalizados na seção InfoTypes. Estes são os detectores de infoType que as regras vão modificar. Em seguida, faça o seguinte:
- Clique no campo Escolher infoTypes. O infoType ou os infoTypes especificados anteriormente aparecem abaixo do campo em um menu, como mostrado aqui:
- Escolha um infoType no menu e clique em Adicionar regra. Um menu vai aparecer com as duas opções Regra de hotword e Regra de exclusão.
Para regras de hotword, escolha Regras de hotword. Em seguida, faça o seguinte:
- No campo Palavra-chave, insira uma expressão regular que a Proteção de dados confidenciais vai procurar.
- No menu Proximidade de hotword, escolha se o hotword inserido é encontrado antes ou depois do infoType escolhido.
- Em Distância do hotword em relação ao infoType, digite o número aproximado de caracteres entre o hotword e o infoType escolhido.
- Em Ajuste do nível de confiança, escolha se você quer atribuir às correspondências um nível fixo de probabilidade ou aumentar ou diminuir o nível de probabilidade padrão em uma determinada quantidade.
Para regras de exclusão, escolha Regras de exclusão. Em seguida, faça o seguinte:
- No campo Excluir, insira uma expressão regular (regex) que a Proteção de dados sensíveis precisa procurar.
- No menu Tipo de correspondência, escolha uma das seguintes opções:
- Correspondência total: a descoberta precisa corresponder totalmente à regex.
- Correspondência parcial: uma substring da descoberta pode corresponder à regex.
- Correspondência inversa: a descoberta não corresponde à regex.
É possível adicionar mais regras e conjuntos de regras de hotword ou de exclusão para refinar ainda mais os resultados da verificação.
Limite de confiança
Sempre que a Proteção de dados confidenciais detecta uma possível correspondência de dados sensíveis, ela atribui um valor de probabilidade em uma escala de "Muito improvável" a "Muito provável". Ao definir um valor de probabilidade aqui, você instrui a Proteção de Dados Sensíveis a corresponder apenas a dados que correspondam a esse valor de probabilidade ou superior.
O valor padrão "Possível" é suficiente para a maioria das finalidades. Se você normalmente recebe correspondências muito amplas, mova o controle deslizante para a direita. Se você recebe poucas correspondências, mova o controle deslizante para a esquerda.
Quando terminar, clique em Continuar.
Adicionar ações
Na etapa Adicionar ações, selecione uma ou mais ações que você quer que a Proteção de dados sensíveis execute após a conclusão do job.
É possível configurar as seguintes ações:
Salvar no BigQuery: salve os resultados do job de proteção de dados sensíveis em uma tabela do BigQuery. Antes de conferir ou analisar os resultados, verifique se o job foi concluído.
Sempre que uma verificação é executada, a Proteção de dados sensíveis salva as descobertas da verificação na tabela do BigQuery especificada. As descobertas exportadas contêm detalhes sobre o local de cada uma e a probabilidade de correspondência. Se você quiser que cada resultado inclua a string que corresponde ao detector de infoType, ative a opção Incluir citação.
Se você não especificar um ID de tabela, o BigQuery vai atribuir um nome padrão a uma nova tabela na primeira vez que a verificação for executada. Se você especificar uma tabela atual, a Proteção de dados sensíveis anexa as descobertas da verificação a ela.
Se você não salvar as descobertas no BigQuery, os resultados da verificação só contêm estatísticas sobre o número e os infoTypes das descobertas.
Quando os dados são gravados em uma tabela do BigQuery, o uso do faturamento e da cota é aplicado ao projeto que contém a tabela de destino.
Publicar no Pub/Sub: publique uma notificação que contenha o nome do job de proteção de dados sensíveis como um atributo em um canal do Pub/Sub. Você pode especificar um ou mais tópicos para enviar a mensagem de notificação. Verifique se a conta de serviço da Proteção de Dados Sensíveis que executa o job de verificação tem acesso de publicação ao tópico.
Publicar no Security Command Center: publique um resumo dos resultados do job no Security Command Center. Para mais informações, consulte Enviar resultados da verificação de proteção de dados sensíveis para o Security Command Center.
Publicar no Dataplex: envie os resultados do job ao Dataplex, o serviço de gerenciamento de metadados do Google Cloud.
Notificar por e-mail: envia um e-mail quando o job é concluído. O e-mail é enviado para proprietários de projetos do IAM e contatos técnicos essenciais.
Publicar no Cloud Monitoring: envie os resultados da inspeção para o Cloud Monitoring na Observability do Google Cloud.
Fazer uma cópia desidentificada: desidentifique todas as descobertas nos dados inspecionados e grave o conteúdo desidentificado em um novo arquivo. Em seguida, você pode usar a cópia desidentificada nos seus processos de negócios, em vez de dados que contenham informações sensíveis. Para mais informações, consulte Criar uma cópia desidentificada dos dados do Cloud Storage usando a Proteção de Dados Sensíveis no console do Google Cloud.
Para mais informações, consulte Ações.
Quando terminar de selecionar ações, clique em Continuar.
Revisar
A seção Revisar contém um resumo formatado em JSON das configurações do job recém-especificado.
Clique em Criar para criar o job (se não tiver especificado uma programação) e executar o job uma vez. A página de informações do job é exibida, que contém status e outras informações. Se o job estiver em execução no momento, será possível clicar no botão Cancelar para interrompê-lo. Também é possível excluir o job clicando em Excluir.
Para retornar à página principal da Proteção de dados sensíveis, clique na seta Voltar no console do Google Cloud.
C#
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Um job é representado na API DLP pelo recurso DlpJobs
. Para criar um novo job, use o método projects.dlpJobs.create
do recurso DlpJob
.
Este JSON de exemplo pode ser enviado em uma solicitação POST para o endpoint REST da Proteção de dados sensíveis especificado. Este exemplo de JSON demonstra como criar um job na Proteção de dados sensíveis. O job é uma verificação de inspeção do Datastore.
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Uma solicitação bem-sucedida, mesmo se for criada na API Explorer, criará um job. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Entrada JSON:
{
"inspectJob": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "bigquery-public-data",
"datasetId": "san_francisco_sfpd_incidents",
"tableId": "sfpd_incidents"
}
},
"timespanConfig": {
"startTime": "2020-01-01T00:00:01Z",
"endTime": "2020-01-31T23:59:59Z",
"timestampField": {
"name": "timestamp"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
},
{
"name": "STREET_ADDRESS"
}
],
"excludeInfoTypes": false,
"includeQuote": true,
"minLikelihood": "LIKELY"
},
"actions": [
{
"saveFindings": {
"outputConfig": {
"table": {
"projectId": "[PROJECT-ID]",
"datasetId": "[DATASET-ID]"
}
}
}
}
]
}
}
Saída JSON:
A resposta a seguir indica que o job foi criado com sucesso.
{
"name": "projects/[PROJECT-ID]/dlpJobs/[JOB-ID]",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "bigquery-public-data",
"datasetId": "san_francisco_sfpd_incidents",
"tableId": "sfpd_incidents"
}
},
"timespanConfig": {
"startTime": "2020-01-01T00:00:01Z",
"endTime": "2020-01-31T23:59:59Z",
"timestampField": {
"name": "timestamp"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
},
{
"name": "STREET_ADDRESS"
}
],
"minLikelihood": "LIKELY",
"limits": {},
"includeQuote": true
},
"actions": [
{
"saveFindings": {
"outputConfig": {
"table": {
"projectId": "[PROJECT-ID]",
"datasetId": "[DATASET-ID]",
"tableId": "[TABLE-ID]"
}
}
}
}
]
}
},
"result": {}
},
"createTime": "2020-07-10T07:26:33.643Z"
}
Criar um novo gatilho de job
Para criar um novo gatilho de job de proteção de dados sensíveis:
Console
Na seção "Proteção de dados sensíveis" do console do Google Cloud, acesse a página Criar job ou gatilho de job.
Acesse Criar job ou gatilho de jobs
A página Criar job ou acionador de jobs contém as seguintes seções:
Escolher dados de entrada
Nome
Insira um nome para o gatilho de jobs. Use letras, números e hifens. Nomear o gatilho de jobs é opcional. Se você não inserir um nome, a Proteção de dados sensíveis vai fornecer ao gatilho de jobs um identificador de número exclusivo.
Local
No menu Tipo de armazenamento, escolha o tipo de repositório que armazena os dados que você quer verificar:
- Cloud Storage: digite o URL do bucket que você quer verificar ou escolha Incluir/excluir no menu Tipo de local e clique em Procurar para navegar até o bucket ou a subpasta que você quer verificar. Marque a caixa de seleção Verificar pasta recursivamente para verificar o diretório especificado e todos os diretórios contidos. Deixe-a desmarcada para verificar apenas o diretório especificado e não mais profundamente.
- BigQuery: insira os identificadores do projeto, o conjunto de dados e a tabela que você quer verificar.
- Datastore: insira os identificadores do projeto, o namespace (opcional) e o tipo que você quer verificar.
Amostragem
A amostragem é uma forma opcional de economizar recursos, se você tiver uma quantidade muito grande de dados.
Em Amostragem, escolha se você quer verificar todos os dados selecionados ou criar amostras dos dados verificando uma determinada porcentagem. A amostragem funciona de maneira diferente, dependendo do tipo de repositório de armazenamento que você está verificando:
- Para o BigQuery, é possível criar uma amostra de um subconjunto do total de linhas selecionadas, correspondendo à porcentagem de arquivos especificada a ser incluída na verificação.
- Para o Cloud Storage, se algum arquivo exceder o tamanho especificado no Tamanho máximo de bytes a ser verificado por arquivo, a Proteção de dados sensíveis vai verificar até esse tamanho máximo de arquivo e avançar para o próximo arquivo.
Para ativar a amostragem, escolha uma das seguintes opções no primeiro menu:
- Comece a amostragem pelo começo: a Proteção de Dados Sensíveis inicia a verificação parcial no início dos dados. Para o BigQuery, isso inicia a verificação na primeira linha. Para o Cloud Storage, isso inicia a verificação no início de cada arquivo e para a verificação assim que a Proteção de dados sensíveis é verificada até um tamanho máximo de arquivo especificado (veja acima).
- Iniciar amostragem de forma aleatória: a Proteção de Dados Sensíveis inicia a verificação parcial em um local aleatório dentro dos dados. Para o BigQuery, isso inicia a verificação em uma linha aleatória. Para o Cloud Storage, essa configuração só se aplica a arquivos que excedam qualquer tamanho máximo especificado. A Proteção de dados sensíveis verifica arquivos com o tamanho máximo na íntegra e arquivos acima do tamanho até o máximo.
Para realizar uma verificação parcial, também é necessário escolher qual porcentagem dos dados você quer verificar. Use o controle deslizante para definir a porcentagem.
Configuração avançada
Ao criar um gatilho de jobs para uma verificação de buckets do Cloud Storage ou tabelas do BigQuery, restrinja a pesquisa especificando uma configuração avançada. Mais especificamente, é possível configurar estes elementos:
- Arquivos (somente Cloud Storage): os tipos de arquivos a serem verificados, que incluem arquivos de texto, binários e de imagem.
- Campos de identificação (somente BigQuery): identificadores de linha exclusivos na tabela.
- Para o Cloud Storage, se algum arquivo exceder o tamanho especificado no Tamanho máximo de bytes a ser verificado por arquivo, a Proteção de dados sensíveis vai verificar até esse tamanho máximo de arquivo e avançar para o próximo arquivo.
Para ativar a amostragem, escolha a porcentagem dos dados que você quer verificar. Use o controle deslizante para definir a porcentagem. Em seguida, escolha uma das seguintes opções no primeiro menu:
- Comece a amostragem pelo começo: a Proteção de Dados Sensíveis inicia a verificação parcial no início dos dados. Para o BigQuery, isso inicia a verificação na primeira linha. Para o Cloud Storage, isso inicia a verificação no início de cada arquivo e para a verificação assim que a Proteção de dados sensíveis é verificada até um tamanho máximo de arquivo especificado (veja acima).
- Iniciar amostragem de forma aleatória: a Proteção de Dados Sensíveis inicia a verificação parcial em um local aleatório dentro dos dados. Para o BigQuery, isso inicia a verificação em uma linha aleatória. Para o Cloud Storage, essa configuração só se aplica a arquivos que excedam qualquer tamanho máximo especificado. A Proteção de dados sensíveis verifica arquivos com o tamanho máximo na íntegra e arquivos acima do tamanho até o máximo.
Arquivos
Para arquivos armazenados no Cloud Storage, especifique os tipos a serem incluídos na verificação em Arquivos.
É possível escolher este tipos de arquivos: binários, textos, imagens, Microsoft Word, Microsoft Excel,
Microsoft Powerpoint, PDF e Apache Avro. Para conferir uma lista completa de extensões de arquivos que a Proteção de Dados Sensíveis pode verificar em buckets do Cloud Storage, consulte FileType
.
A escolha de Binário faz a Proteção de dados sensíveis verificar arquivos de
tipos que não sejam reconhecidos.
Campos de identificação
Para tabelas no BigQuery, no campo Campos de identificação, é possível direcionar a Proteção de dados sensíveis para incluir os valores das colunas de chave primária da tabela nos resultados. Isso permite vincular as descobertas às linhas da tabela que as contêm.
Insira os nomes das colunas que identificam de forma exclusiva cada linha na tabela. Se necessário, use a notação de ponto para especificar campos aninhados. Você pode adicionar quantos campos quiser.
Também é necessário ativar a ação Save to BigQuery para exportar as descobertas para o BigQuery. Quando as descobertas são exportadas para o BigQuery, cada uma delas
contém os respectivos valores dos campos de identificação. Para mais informações, consulte identifyingFields
.
Configurar detecção
A seção Configurar detecção é onde você especifica os tipos de dados confidenciais que quer verificar. A conclusão desta seção é opcional. Se você pular esta seção, a Proteção de dados sensíveis vai verificar os dados em busca de um conjunto padrão de infoTypes.
Modelo
Também é possível usar um modelo de proteção de dados sensíveis para reutilizar as informações de configuração especificadas anteriormente.
Se você já tiver criado um modelo que queira usar, clique no campo Nome do modelo para ver uma lista dos modelos de inspeção. Escolha ou digite o nome do modelo que você quer usar.
Para mais informações sobre como criar modelos, consulte Criar modelos de inspeção da Proteção de dados sensíveis.
InfoTypes
Os detectores InfoType encontram dados confidenciais de um determinado tipo. Por exemplo, o
detector infoType integrado US_SOCIAL_SECURITY_NUMBER
da Proteção de dados sensíveis
encontra números da Previdência Social dos EUA. Além dos detectores de infoType integrados, é
possível criar seus próprios detectores de infoType personalizados.
Em InfoTypes, escolha o detector infoType correspondente a um tipo de dados que você quer verificar. Também é possível deixar esse campo em branco para verificar todos os infoTypes padrão. Mais informações sobre cada detector são fornecidas na referência de detectores de InfoType.
Também é possível adicionar detectores de infoType personalizados na seção infoTypes personalizados e personalizar os detectores de infoType integrados e personalizados na seção Conjuntos de regras de inspeção.
InfoTypes personalizados
Conjuntos de regras de inspeção
Os conjuntos de regras de inspeção permitem personalizar os detectores de infoType integrados e personalizados usando regras de contexto. Os dois tipos de regras de inspeção são:
- Regras de exclusão, que ajudam a excluir descobertas falsas ou indesejadas.
- Regras de hotword, que ajudam a detectar mais descobertas.
Para adicionar um novo conjunto de regras, primeiro especifique um ou mais detectores de infoType integrados ou personalizados na seção InfoTypes. Estes são os detectores de infoType que as regras vão modificar. Em seguida, faça o seguinte:
- Clique no campo Escolher infoTypes. O infoType ou os infoTypes especificados anteriormente aparecem abaixo do campo em um menu, como mostrado aqui:
- Escolha um infoType no menu e clique em Adicionar regra. Um menu vai aparecer com as duas opções Regra de hotword e Regra de exclusão.
Para regras de hotword, escolha Regras de hotword. Em seguida, faça o seguinte:
- No campo Palavra-chave, insira uma expressão regular que a Proteção de dados confidenciais vai procurar.
- No menu Proximidade de hotword, escolha se o hotword inserido é encontrado antes ou depois do infoType escolhido.
- Em Distância do hotword em relação ao infoType, digite o número aproximado de caracteres entre o hotword e o infoType escolhido.
- Em Ajuste do nível de confiança, escolha se você quer atribuir às correspondências um nível fixo de probabilidade ou aumentar ou diminuir o nível de probabilidade padrão em uma determinada quantidade.
Para regras de exclusão, escolha Regras de exclusão. Em seguida, faça o seguinte:
- No campo Excluir, insira uma expressão regular (regex) que a Proteção de dados sensíveis precisa procurar.
- No menu Tipo de correspondência, escolha uma das seguintes opções:
- Correspondência total: a descoberta precisa corresponder totalmente à regex.
- Correspondência parcial: uma substring da descoberta pode corresponder à regex.
- Correspondência inversa: a descoberta não corresponde à regex.
É possível adicionar mais regras e conjuntos de regras de hotword ou de exclusão para refinar ainda mais os resultados da verificação.
Limite de confiança
Sempre que a Proteção de dados confidenciais detecta uma possível correspondência de dados sensíveis, ela atribui um valor de probabilidade em uma escala de "Muito improvável" a "Muito provável". Ao definir um valor de probabilidade aqui, você instrui a Proteção de Dados Sensíveis a corresponder apenas a dados que correspondem a esse valor de probabilidade ou superior.
O valor padrão "Possível" é suficiente para a maioria das finalidades. Se você normalmente recebe correspondências muito amplas, mova o controle deslizante para a direita. Se você recebe poucas correspondências, mova o controle deslizante para a esquerda.
Quando terminar, clique em Continuar.
Adicionar ações
Na etapa Adicionar ações, selecione uma ou mais ações que você quer que a Proteção de dados sensíveis execute após a conclusão do job.
É possível configurar as seguintes ações:
Salvar no BigQuery: salve os resultados do job de proteção de dados sensíveis em uma tabela do BigQuery. Antes de conferir ou analisar os resultados, confira se o job foi concluído.
Sempre que uma verificação é executada, a Proteção de dados sensíveis salva as descobertas da verificação na tabela do BigQuery especificada. As descobertas exportadas contêm detalhes sobre o local de cada uma e a probabilidade de correspondência. Se você quiser que cada resultado inclua a string que corresponde ao detector de infoType, ative a opção Incluir citação.
Se você não especificar um ID de tabela, o BigQuery vai atribuir um nome padrão a uma nova tabela na primeira vez que a verificação for executada. Se você especificar uma tabela atual, a Proteção de dados sensíveis anexa as descobertas da verificação a ela.
Se você não salvar as descobertas no BigQuery, os resultados da verificação só vão conter estatísticas sobre o número e os infoTypes das descobertas.
Quando os dados são gravados em uma tabela do BigQuery, o uso do faturamento e da cota é aplicado ao projeto que contém a tabela de destino.
Publicar no Pub/Sub: publique uma notificação que contenha o nome do job de proteção de dados sensíveis como um atributo em um canal do Pub/Sub. Você pode especificar um ou mais tópicos para enviar a mensagem de notificação. Verifique se a conta de serviço da Proteção de Dados Sensíveis que executa o job de verificação tem acesso de publicação ao tópico.
Publicar no Security Command Center: publique um resumo dos resultados do job no Security Command Center. Para mais informações, consulte Enviar resultados da verificação de proteção de dados sensíveis para o Security Command Center.
Publicar no Dataplex: envie os resultados do job ao Dataplex, o serviço de gerenciamento de metadados do Google Cloud.
Notificar por e-mail: envia um e-mail quando o job é concluído. O e-mail é enviado para proprietários de projetos do IAM e contatos técnicos essenciais.
Publicar no Cloud Monitoring: envie os resultados da inspeção para o Cloud Monitoring na Observabilidade do Google Cloud.
Fazer uma cópia desidentificada: desidentifique todas as descobertas nos dados inspecionados e grave o conteúdo desidentificado em um novo arquivo. Em seguida, você pode usar a cópia desidentificada nos seus processos de negócios, em vez de dados que contenham informações sensíveis. Para mais informações, consulte Criar uma cópia desidentificada dos dados do Cloud Storage usando a Proteção de Dados Sensíveis no console do Google Cloud.
Para mais informações, consulte Ações.
Quando terminar de selecionar ações, clique em Continuar.
Programar
Na seção Programar, é possível fazer duas coisas:
- Especificar período: essa opção limita os arquivos ou as linhas a serem verificados por data. Clique em Hora de início para especificar o carimbo de data/hora mais antigo do arquivo a ser incluído. Deixe esse valor em branco para especificar todos os arquivos. Clique em Hora de término para especificar o carimbo de data/hora mais recente do arquivo a ser incluído. Deixe esse valor em branco para não especificar um limite máximo de carimbo de data/hora.
Criar um acionador para executar o job em uma programação periódica: essa opção transforma o job em um acionador de jobs executado em uma programação periódica. Se você não especificar uma programação, vai criar um único job que será iniciado imediatamente e executado uma vez. Para criar um acionador de jobs executado regularmente, defina essa opção.
O valor padrão também é o valor mínimo: 24 horas. O valor máximo é 60 dias.
Se você quiser que a Proteção de dados sensíveis verifique apenas novos arquivos ou linhas, selecione Limitar verificações apenas a conteúdo novo. Na inspeção do BigQuery, são incluídas apenas as linhas com mais de três horas. Consulte o problema conhecido relacionado a essa operação.
Revisão
A seção Revisar contém um resumo formatado em JSON das configurações do job recém-especificado.
Clique em Criar para criar o gatilho de jobs (se tiver especificado uma programação). A página de informações do gatilho de jobs é exibida, contendo status e outras informações. Se o job estiver em execução no momento, será possível clicar no botão Cancelar para interrompê-lo. Também é possível excluir o acionador de jobs clicando em Excluir.
Para retornar à página principal da Proteção de dados sensíveis, clique na seta Voltar no console do Google Cloud.
C#
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Um gatilho de jobs é representado na API DLP pelo recurso JobTrigger
. Crie um novo gatilho de jobs usando o JobTrigger
do método projects.jobTriggers.create
do recurso.
Este JSON de exemplo pode ser enviado em uma solicitação POST para o endpoint REST da Proteção de dados sensíveis especificado. Este exemplo de JSON demonstra como criar um acionador de jobs na Proteção de dados sensíveis. O job que será iniciado por esse gatilho é uma verificação de inspeção do Datastore. O acionador de jobs criado é executado a cada 86.400 segundos (ou 24 horas).
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Uma solicitação bem-sucedida, mesmo se for criada na API Explorer, criará um novo gatilho de jobs programado. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o início rápido do JSON.
Entrada JSON:
{
"jobTrigger":{
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"status":"HEALTHY",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"kind":{
"name":"Example-Kind"
},
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"excludeInfoTypes":false,
"includeQuote":true,
"minLikelihood":"LIKELY"
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
}
}
}
Saída JSON:
A saída abaixo indica que o acionador de job foi criado com sucesso.
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
},
"kind":{
"name":"Example-Kind"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2018-11-30T01:52:41.171857Z",
"updateTime":"2018-11-30T01:52:41.171857Z",
"status":"HEALTHY"
}
Listar todos os jobs
Para listar todos os jobs do projeto atual:
Console
No console do Google Cloud, acesse a página "Proteção de dados sensíveis".
Clique na guia Inspeção e na subguia Inspecionar jobs.
O console exibe uma lista de todos os jobs do projeto atual, incluindo os identificadores de job, o estado, o horário de criação e o horário de término. É possível acessar mais informações sobre qualquer job, incluindo um resumo dos resultados, clicando no identificador.
C#
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
O recurso DlpJob
tem um método projects.dlpJobs.list
, com que é possível listar todos os jobs.
Para listar todos os jobs atualmente definidos no projeto, envie uma solicitação GET para o endpoint dlpJobs
, conforme mostrado aqui:
URL:
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs?key={YOUR_API_KEY}
A saída JSON a seguir lista um dos jobs retornados. A estrutura do gatilho de jobs espelha a do recurso DlpJob
.
Saída JSON:
{
"jobs":[
{
"name":"projects/[PROJECT-ID]/dlpJobs/i-5270277269264714623",
"type":"INSPECT_JOB",
"state":"DONE",
"inspectDetails":{
"requestedOptions":{
"snapshotInspectTemplate":{
},
"jobConfig":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"[CLOUD-STORAGE-URL]"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"startTime":"2019-09-08T22:43:16.623Z",
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_SOCIAL_SECURITY_NUMBER"
},
{
"name":"CANADA_SOCIAL_INSURANCE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT-ID]",
"datasetId":"[DATASET-ID]",
"tableId":"[TABLE-ID]"
}
}
}
}
]
}
},
"result":{
...
}
},
"createTime":"2019-09-09T22:43:16.918Z",
"startTime":"2019-09-09T22:43:16.918Z",
"endTime":"2019-09-09T22:43:53.091Z",
"jobTriggerName":"projects/[PROJECT-ID]/jobTriggers/sample-trigger2"
},
...
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Listar todos os gatilhos de job
Para listar todos os acionadores de jobs do projeto atual:
Console
No console do Google Cloud, acesse a página "Proteção de dados sensíveis".
Acessar a proteção de dados confidenciais
Na guia Inspeção, na subguia Gatilho de jobs, o console mostra uma lista de todos os gatilhos de jobs do projeto atual.
C#
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
O recurso JobTrigger
tem um método projects.jobTriggers.list
, com que é possível listar todos os gatilhos de jobs.
Para listar todos os gatilhos de job definidos no projeto, envie uma solicitação GET para o endpoint jobTriggers
, conforme mostrado aqui:
URL:
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/jobTriggers?key={YOUR_API_KEY}
A saída JSON abaixo lista o acionador de job que criamos na seção anterior. A estrutura do gatilho de jobs espelha a do recurso JobTrigger
.
Saída JSON:
{
"jobTriggers":[
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
},
"kind":{
"name":"Example-Kind"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2018-11-30T01:52:41.171857Z",
"updateTime":"2018-11-30T01:52:41.171857Z",
"status":"HEALTHY"
},
...
],
"nextPageToken":"KkwKCQjivJ2UpPreAgo_Kj1wcm9qZWN0cy92ZWx2ZXR5LXN0dWR5LTE5NjEwMS9qb2JUcmlnZ2Vycy8xNTA5NzEyOTczMDI0MDc1NzY0"
}
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Excluir um job
Para excluir um job do projeto, o que também que inclui os resultados, faça o seguinte. Todos os resultados salvos externamente (como no BigQuery) não são alterados por essa operação.
Console
No console do Google Cloud, acesse a página "Proteção de dados sensíveis".
Clique na guia Inspeção e na subguia Inspecionar jobs. O console do Google Cloud mostra uma lista de todos os jobs do projeto atual.
Na coluna Ações do gatilho de jobs que você quer excluir, clique no menu mais ações (exibido como três pontos organizados verticalmente)
e clique em Excluir.
Como alternativa, na lista de jobs, clique no identificador do job que você quer excluir. Na página de detalhes do job, clique em Excluir.
C#
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Para excluir um job do projeto atual, envie a solicitação EXCLUIR para o endpoint dlpJobs
, conforme mostrado aqui. Substitua o campo [JOB-IDENTIFIER]
pelo identificador do job, que começa com i-
.
URL:
DELETE https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs/[JOB-IDENTIFIER]?key={YOUR_API_KEY}
Se a solicitação tiver sido bem-sucedida, a API DLP retornará uma resposta positiva. Para verificar se o job foi excluído, liste todos os jobs.
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Excluir gatilhos de jobs
Console
No console do Google Cloud, acesse a página "Proteção de dados sensíveis".
Acessar a proteção de dados confidenciais
Na guia Inspeção, na subguia Gatilho de jobs, o console mostra uma lista de todos os gatilhos de jobs do projeto atual.
Na coluna Ações do gatilho de jobs que você quer excluir, clique no menu mais ações (exibido como três pontos organizados verticalmente)
e clique em Excluir.
Como alternativa, na lista de acionadores de jobs, clique no nome do acionador que quer excluir. Na página de detalhes do acionador de jobs, clique em Excluir.
C#
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Para excluir um gatilho de jobs do projeto atual, envie a solicitação EXCLUIR para o endpoint jobTriggers
, conforme mostrado aqui. Substitua o campo [JOB-TRIGGER-NAME]
pelo nome do gatilho de jobs.
URL:
DELETE https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/jobTriggers/[JOB-TRIGGER-NAME]?key={YOUR_API_KEY}
Se a solicitação tiver sido bem-sucedida, a API DLP retornará uma resposta positiva. Para verificar se o acionador de job foi excluído com sucesso, liste todos os acionadores de job.
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Receber um job
Para receber um job do projeto, o que também que inclui os resultados, faça o seguinte. Todos os resultados salvos externamente (como no BigQuery) não são alterados por essa operação.
C#
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Para receber um job do projeto atual, envie a solicitação GET para o endpoint dlpJobs
, conforme mostrado aqui. Substitua o campo [JOB-IDENTIFIER]
pelo identificador do job, que começa com i-
.
URL:
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs/[JOB-IDENTIFIER]?key={YOUR_API_KEY}
Se a solicitação tiver sido bem-sucedida, a API DLP retornará uma resposta positiva.
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Forçar a execução imediata de um acionador de jobs
Depois que um acionador de job é criado, você pode forçar uma execução imediata do acionador para testes ativando-o. Para fazer isso, execute o seguinte comando:
curl --request POST \
-H "Content-Type: application/json" \
-H "Accept: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
'https://dlp.googleapis.com/v2/JOB_TRIGGER_NAME:activate'
Substitua:
- PROJECT_ID: o ID do projeto do Google Cloud para faturar as cobranças de acesso associadas à solicitação.
- JOB_TRIGGER_NAME: o nome completo do recurso do acionador
de job, por exemplo,
projects/my-project/locations/global/jobTriggers/123456789
.
Atualizar um gatilho de jobs atual
Além de criar, listar e excluir acionadores de jobs, também é possível atualizar um acionador de jobs atual. Para alterar a configuração de um acionador de jobs atual:
Console
No console do Google Cloud, acesse a página "Proteção de dados sensíveis".
Clique na guia Inspeção e, em seguida, na subguia Gatilhos de jobs.
O console exibe uma lista de todos os acionadores de jobs do projeto atual.
Na coluna Ações do gatilho de jobs que você quer excluir, clique em Mais more_vert e depois emVer detalhes.
Na página de detalhes do acionador de jobs, clique em Editar.
Na página "Editar acionador", altere o local dos dados de entrada, os detalhes da detecção, como modelos, infoTypes ou probabilidade, além de todas as ações pós-verificação e a programação do acionador de jobs. Quando terminar de fazer as alterações, clique em Salvar.
C#
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Para saber como instalar e usar a biblioteca de cliente para a Proteção de dados sensíveis, consulte Bibliotecas de cliente para a Proteção de dados sensíveis.
Para autenticar na Proteção de dados sensíveis, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Use o método
projects.jobTriggers.patch
para enviar novos valores JobTrigger
à API DLP
e atualizar esses valores em um acionador de jobs especificado.
Por exemplo, considere o seguinte acionador de jobs simples. Esse JSON representa o acionador de jobs e foi retornado após o envio de uma solicitação GET para o endpoint do acionador de jobs do projeto atual.
Saída JSON:
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"inspectJob":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://dlptesting/*"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_SOCIAL_SECURITY_NUMBER"
}
],
"minLikelihood":"POSSIBLE",
"limits":{
}
},
"actions":[
{
"jobNotificationEmails":{
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2019-03-06T21:19:45.774841Z",
"updateTime":"2019-03-06T21:19:45.774841Z",
"status":"HEALTHY"
}
O JSON a seguir, quando enviado com uma solicitação PATCH para o endpoint especificado, atualiza o acionador de jobs indicado com um novo infoType para verificação, bem como uma nova probabilidade mínima. Também é preciso especificar o atributo updateMask
e o valor dele está no formato FieldMask
.
Entrada JSON:
PATCH https://dlp.googleapis.com/v2/projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]?key={YOUR_API_KEY}
{
"jobTrigger":{
"inspectJob":{
"inspectConfig":{
"infoTypes":[
{
"name":"US_INDIVIDUAL_TAXPAYER_IDENTIFICATION_NUMBER"
}
],
"minLikelihood":"LIKELY"
}
}
},
"updateMask":"inspectJob(inspectConfig(infoTypes,minLikelihood))"
}
Depois de enviar esse JSON para o URL especificado, ele retorna o seguinte, representando o acionador de jobs atualizado. O infoType e os valores de probabilidade originais foram substituídos pelos novos valores.
Saída JSON:
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"inspectJob":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://dlptesting/*"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_INDIVIDUAL_TAXPAYER_IDENTIFICATION_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
}
},
"actions":[
{
"jobNotificationEmails":{
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2019-03-06T21:19:45.774841Z",
"updateTime":"2019-03-06T21:27:01.650183Z",
"lastRunTime":"1970-01-01T00:00:00Z",
"status":"HEALTHY"
}
Para testar isso rapidamente, use a API Explorer que está incorporada abaixo. Para informações gerais sobre como usar JSON para enviar solicitações à API DLP, consulte o guia de início rápido do JSON.
Latência do job
Não há objetivos de nível de serviço (SLO) garantidos para trabalhos e gatilhos de trabalho. A latência é afetada por vários fatores, incluindo a quantidade de dados a serem verificados, o repositório de armazenamento que está sendo verificado, o tipo e o número de infoTypes que você está verificando, a região em que o job é processado e os recursos de computação disponíveis nessa região. Portanto, a latência dos jobs de inspeção não pode ser determinada com antecedência.
Para ajudar a reduzir a latência do job, tente o seguinte:
- Se a amostragem estiver disponível para o job ou gatilho, ative-a.
Evite ativar infoTypes desnecessários. Embora as informações a seguir sejam úteis em determinados cenários, esses infoTypes podem fazer com que as solicitações sejam executadas de forma muito mais lenta do que as que não os incluem:
PERSON_NAME
FEMALE_NAME
MALE_NAME
FIRST_NAME
LAST_NAME
DATE_OF_BIRTH
LOCATION
STREET_ADDRESS
ORGANIZATION_NAME
Sempre especifique explicitamente os infoTypes. Não use uma lista de infoTypes vazias.
Se possível, use uma região de processamento diferente.
Se você ainda tiver problemas de latência com jobs depois de tentar essas técnicas,
use
content.inspect
ou
content.deidentify
em vez de jobs. Esses métodos estão incluídos no contrato de nível de serviço. Para mais informações, consulte o Contrato de nível de serviço da Proteção de dados sensíveis.
Limitar as verificações apenas a conteúdo novo
É possível configurar o gatilho do job para definir automaticamente a data do período dos arquivos armazenados no Cloud Storage ou no BigQuery. Quando você define o objeto
TimespanConfig
para preenchimento automático, a Proteção de dados sensíveis só verifica os dados que foram
adicionados ou modificados desde a última execução do acionador:
...
timespan_config {
enable_auto_population_of_timespan_config: true
}
...
Na inspeção do BigQuery, são incluídas apenas as linhas com mais de três horas. Consulte o problema conhecido relacionado a esta operação.
Acionar jobs ao carregar arquivos
Além do suporte a acionadores de jobs, que é integrado à proteção de dados sensíveis, o Google Cloud também tem vários outros componentes que podem ser usados para integrar ou acionar jobs da proteção de dados sensíveis. Por exemplo, é possível usar o Cloud Run functions para acionar uma verificação de proteção de dados sensíveis sempre que um arquivo for enviado para o Cloud Storage.
Para saber como configurar essa operação, consulte Como automatizar a classificação de dados enviados para o Cloud Storage.
Jobs concluídos sem dados inspecionados
Um job pode ser concluído mesmo que nenhum dado tenha sido verificado. Os seguintes exemplos de cenários podem causar isso:
- O job é configurado para inspecionar um recurso de dados específico, como um arquivo, que existe, mas está vazio.
- O job está configurado para inspecionar um recurso de dados que não existe ou que não existe mais.
- O job está configurado para inspecionar um bucket do Cloud Storage vazio.
- O job está configurado para inspecionar um bucket, e a verificação recursiva está desativada. No nível superior, o bucket contém apenas pastas que, por sua vez, contêm os arquivos.
- O job está configurado para inspecionar apenas um tipo de arquivo específico em um bucket, mas o bucket não tem arquivos desse tipo.
- O job está configurado para inspecionar apenas conteúdo novo, mas não houve atualizações depois da última vez que o job foi executado.
No console do Google Cloud, na página Detalhes do job, o campo Bytes digitalizados especifica quantos dados foram inspecionados pelo job. Na
API DLP, o campo
processedBytes
especifica quantos dados foram inspecionados.
A seguir
- Saiba mais sobre como criar uma cópia desidentificada dos dados no armazenamento.