Como enviar resultados de verificação do Cloud DLP para o Data Catalog

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Neste guia, vamos mostrar como usar o Cloud Data Loss Prevention para verificar recursos específicos do Google Cloud e enviar resultados para o Data Catalog.

O Data Catalog é um serviço de gerenciamento de metadados escalonável que permite descobrir, gerenciar e entender rapidamente todos os seus dados no Google Cloud.

O Cloud DLP se integra nativamente ao Data Catalog. Quando você usa uma ação do Cloud DLP para verificar dados confidenciais nas tabelas do BigQuery, ela pode enviar resultados diretamente ao Data Catalog na forma de um modelo de tag.

Ao concluir as etapas deste guia, você será capaz de:

  • Ativar o Data Catalog e o Cloud DLP.
  • Configurar o Cloud DLP para verificar uma tabela do BigQuery.
  • Configurar uma verificação do Cloud DLP para enviar os resultados da verificação ao Data Catalog.

Para mais informações sobre o Data Catalog, consulte a documentação do Data Catalog.

Custos

Neste tutorial, usamos os seguintes componentes faturáveis do Google Cloud:

  • Cloud DLP
  • BigQuery

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de enviar os resultados da verificação do Cloud DLP para o Data Catalog, faça o seguinte:

  • Etapa 1: configurar o faturamento.
  • Etapa 2: criar um novo projeto e preencher uma nova tabela do BigQuery. Opcional.
  • Etapa 3: ativar o Data Catalog.
  • Etapa 4: ativar o Cloud DLP.

As subseções a seguir abrangem cada etapa em detalhes.

Etapa 1: configurar o faturamento

Primeiro, você precisa configurar uma conta de faturamento, caso ainda não tenha uma.

Saiba como ativar o faturamento

Etapa 2: criar um novo projeto e preencher uma nova tabela do BigQuery (opcional)

Se você estiver configurando esse recurso para o trabalho de produção ou já tiver uma tabela do BigQuery que queira verificar, abra o projeto do Google Cloud que contém a tabela e pule para a Etapa 3.

Se você estiver testando esse recurso e quiser verificar um "fictício" ou um conjunto de dados de teste, crie um novo projeto. Para concluir essa etapa, você precisa ter o papel de Criador de projetos do IAM. Saiba mais sobre papéis do IAM.

  1. Acesse a página Novo projeto no console do Google Cloud.

    Novo projeto

  2. Na lista suspensa Conta de faturamento, selecione a conta de faturamento em que o projeto será cobrado.
  3. Na lista suspensa Organização, selecione a organização em que você quer criar o projeto.
  4. Na lista suspensa Local, selecione a organização ou a pasta em que você quer criar o projeto.
  5. Clique em Criar para criar o projeto.

Em seguida, faça o download dos dados de amostra e armazene-os:

  1. Acesse o repositório de tutoriais do Cloud Functions no GitHub.
  2. Selecione um dos arquivos CSV com dados de exemplo e faça o download do arquivo.
  3. Em seguida, acesse o BigQuery no Console do Google Cloud.
  4. Selecione o projeto.
  5. Clique em Criar conjunto de dados.
  6. Clique em Criar tabela.
  7. Clique em Fazer upload e selecione o arquivo que quer enviar.
  8. Dê um nome à tabela e clique em Criar tabela.

Etapa 3: ativar o Data Catalog

Em seguida, ative o Data Catalog para o projeto que contém a tabela do BigQuery que você quer verificar usando o Cloud DLP.

Para ativar o Data Catalog usando o console do Google Cloud:

  1. Registre seu aplicativo no Data Catalog.

    Registre seu aplicativo no Data Catalog

  2. Na página de registro, na lista suspensa Criar um projeto, selecione o projeto que você quer usar com o Data Catalog.
  3. Depois de selecionar o projeto, clique em Continuar.

Agora, o Data Catalog está ativado para seu projeto.

Etapa 4: ativar o Cloud DLP

Ative o Cloud DLP para o mesmo projeto para o qual você ativou o Data Catalog.

Para ativar o Cloud DLP usando o Console do Google Cloud:

  1. Registre seu aplicativo no Cloud DLP.

    Registre seu aplicativo no Cloud DLP

  2. Na página de registro, na lista suspensa Criar um projeto, selecione o mesmo projeto escolhido na etapa anterior.
  3. Depois de selecionar o projeto, clique em Continuar.

Agora, o Cloud DLP está ativado para seu projeto.

Configurar e executar a verificação de inspeção do Cloud DLP

É possível configurar e executar uma verificação de inspeção do Cloud DLP usando o console do Google Cloud ou a API DLP.

Os modelos de tag do Data Catalog são armazenados no mesmo projeto e região que a tabela do BigQuery. Se você estiver inspecionando uma tabela de outro projeto, será necessário conceder o papel de proprietário de tag do Data Catalog (roles/datacatalog.tagTemplateOwner) ao agente de serviço do Cloud DLP no projeto em que a tabela do BigQuery existe.

Console do Google Cloud

Para configurar um job de verificação de uma tabela do BigQuery usando o Cloud DLP:

  1. No Console do Google Cloud, abra o Cloud DLP.

    Acessar o Cloud DLP

  2. No menu Criar, escolha Job ou gatilho de jobs.

    Captura de tela da opção de menu "Criar novo job ou gatilho de jobs".

  3. Insira as informações de job do Cloud DLP e clique em Continuar para concluir cada etapa:

    • Na Etapa 1: escolher dados de entrada, nomeie o job digitando um valor no campo Nome. Em Local, escolha BigQuery no menu Tipo de armazenamento e insira as informações da tabela a ser verificada. A seção Amostragem é pré-configurada para executar uma verificação de amostra com base nos seus dados. É possível ajustar os campos Limitar linhas por e Número máximo de linhas para economizar recursos se tiver uma grande quantidade de dados. Para mais detalhes, consulte Escolher dados de entrada.

    • (Opcional) Na Etapa 2: configurar a detecção, você configura os tipos de dados a serem procurados, chamados "infoTypes". Para este tutorial, mantenha os infoTypes padrão selecionados. Para mais detalhes, consulte Configurar a detecção.

    • Para a Etapa 3: adicionar ações, ative Salvar no Data Catalog.

    • (Opcional) Para a Etapa 4: programar, para este tutorial, deixe o menu definido como Nenhum para que a verificação seja executada apenas uma vez. Para mais informações sobre como programar verificações repetidas, consulte Programar.

  4. Clique em Criar. O job é executado imediatamente.

API DLP

Nesta seção, você configura e executa um job de verificação do Cloud DLP.

O job de inspeção configurado aqui instrui o Cloud DLP a verificar os dados de amostra do BigQuery descritos na Etapa 2 acima ou seus próprios dados do BigQuery. Na configuração do job especificada, você também instrui o Cloud DLP a salvar os resultados da verificação no Data Catalog.

Etapa 1: anotar o identificador de projeto

  1. Acesse o Console do Google Cloud.

    Acesse o console do Google Cloud

  2. Clique em Selecionar.

  3. Na lista suspensa Selecionar de, selecione a organização para a qual você ativou o Data Catalog.

  4. Em ID, copie o ID do projeto que contém os dados que você quer verificar. Este é o projeto descrito na etapa Definir repositórios de armazenamento anteriormente nesta página.

  5. Em Nome, clique no projeto para selecioná-lo.

Etapa 2: abrir as APIs Explorer e configurar o job

  1. Acesse as APIs Explorer na página de referência do método dlpJobs.create. Para manter essas instruções disponíveis, clique com o botão direito do mouse no link a seguir e abra-o em uma nova guia ou janela:

    Abra o APIs Explorer

  2. Na caixa pai, digite o seguinte, em que project-id é o ID do projeto que você anotou anteriormente na etapa anterior:

    projects/project-id

    Em seguida, copie o JSON a seguir. Selecione o conteúdo do campo Corpo da solicitação nas APIs Explorer e cole o JSON para substituir o conteúdo. Substitua os marcadores project-id, bigquery-dataset-name e bigquery-table-name pelo ID do projeto real e pelos nomes do conjunto de dados e da tabela do BigQuery, respectivamente.

    {
      "inspectJob":
      {
        "storageConfig":
        {
          "bigQueryOptions":
          {
            "tableReference":
            {
              "projectId": "project-id",
              "datasetId": "bigquery-dataset-name",
              "tableId": "bigquery-table-name"
            }
          }
        },
        "inspectConfig":
        {
          "infoTypes":
          [
            {
              "name": "EMAIL_ADDRESS"
            },
            {
              "name": "PERSON_NAME"
            },
            {
              "name": "US_SOCIAL_SECURITY_NUMBER"
            },
            {
              "name": "PHONE_NUMBER"
            }
          ],
          "includeQuote": true,
          "minLikelihood": "UNLIKELY",
          "limits":
          {
            "maxFindingsPerRequest": 100
          }
        },
        "actions":
        [
          {
            "publishFindingsToCloudDataCatalog": {}
          }
        ]
      }
    }
    

Para saber mais sobre as opções de verificação disponíveis, consulte Como inspecionar dados confidenciais em armazenamento e bancos de dados. Para uma lista completa dos tipos de informações que o Cloud DLP pode verificar e detectar, consulte Referência de InfoTypes.

Etapa 3: executar a solicitação para iniciar o job de verificação

Depois de configurar o job seguindo as etapas anteriores, clique em Executar para enviar a solicitação. Se a solicitação for bem-sucedida, uma resposta será exibida com um código de sucesso e um objeto JSON que indica o status do job do Cloud DLP que você acabou de criar.

A resposta à solicitação de verificação inclui o ID do job de verificação de inspeção como a chave "name" e o estado atual do job de verificação de inspeção como a chave "state". Como você acabou de enviar a solicitação, o estado do job nesse momento é "PENDING".

Verificar o status da verificação de inspeção do Cloud DLP

A verificação do conteúdo começa logo após o envio da solicitação.

Console do Google Cloud

Para verificar o status do job de verificação de inspeção:

  1. No Console do Google Cloud, abra o Cloud DLP.

    Acessar o Cloud DLP

  2. Clique na guia Jobs e gatilhos de jobs e, em seguida, clique em Todos os jobs.

O job que você acabou de executar provavelmente estará no topo da lista. Verifique a coluna Estado para garantir que o status seja Concluído.

Clique no ID do job para ver os resultados. Cada detector de infoType listado na página "Detalhes do job" é seguido pelo número de correspondências encontradas no conteúdo.

API DLP

Para verificar o status do job de verificação de inspeção:

  1. Acesse as APIs Explorer na página de referência do método dlpJobs.get clicando no botão a seguir:

    Abra o APIs Explorer

  2. Na caixa nome, digite o nome do job da resposta JSON à solicitação de verificação no seguinte formato:

    projects/project-id/dlpJobs/job-id
    O ID do job tem o formato i-1234567890123456789.

  3. Para enviar a solicitação, clique em Executar.

Se a chave "state" do objeto JSON de resposta indicar que o job é "DONE", o job de verificação foi concluído.

Para ver o restante do JSON de resposta, role a página para baixo. Em "result" > "infoTypeStats", cada tipo de informação listado precisa ter um "count" correspondente. Caso contrário, verifique se você digitou o JSON com precisão e se o caminho ou o local dos dados está correto.

Após a conclusão do job de verificação, é possível passar para a próxima seção deste guia para ver os resultados da verificação no Security Command Center.

Ver os resultados da verificação do Cloud DLP no Data Catalog

Como você instruiu o Cloud DLP a enviar os resultados do job de verificação de inspeção ao Data Catalog, agora é possível ver as tags e o modelo de tag criados automaticamente na IU do Data Catalog:

  1. Acesse a página "Data Catalog" no Console do Google Cloud.

    Acessar o Data Catalog

  2. Pesquise a tabela que você inspecionou.
  3. Clique nos resultados que correspondem à tabela para ver os metadados da tabela.

A captura de tela a seguir mostra a visualização de metadados do Data Catalog de uma tabela de exemplo:

Detalhes do DLP no Data Catalog..

Descobertas de dados do Cloud DLP

As descobertas do Cloud DLP são incluídas no formulário de resumo da tabela que você verificou. Nesse resumo, incluímos contagens totais de infoType, bem como dados de resumo sobre o job de inspeção que inclui datas e o ID de recurso do job.

Qualquer infoTypes que foi inspecionado está listado. Aquele com descobertas mostra uma contagem maior que zero.

Limpeza

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados neste tópico, siga um destes procedimentos, dependendo se você usou dados de amostra ou seus próprios dados:

Como excluir o projeto

A maneira mais fácil de eliminar o faturamento é excluir o projeto que você criou seguindo as instruções fornecidas neste tópico.

Para excluir o projeto:

  1. No Console do Google Cloud, acesse a página "Projetos".

    Acessar a página "Projetos"

  2. Na lista de projetos, selecione aquele que você quer excluir e clique em Excluir projeto. Depois de marcar a caixa de seleção ao lado do nome do projeto, clique em "Excluir projeto"
  3. Na caixa de diálogo, digite o código do projeto e clique em Encerrar para excluí-lo.

Quando você exclui seu projeto usando esse método, o job do Cloud DLP e o bucket do Cloud Storage que você criou também são excluídos. Não é necessário seguir as instruções exibidas nas próximas seções.

Como excluir o job do Cloud DLP ou o gatilho de job

Se você verificou seus próprios dados, exclua o job de verificação de inspeção ou o gatilho de job que acabou de criar.

Console do Google Cloud

  1. No Console do Google Cloud, abra o Cloud DLP.

    Acessar o Cloud DLP

  2. Clique na guia Jobs e gatilhos de jobs e, em seguida, na guia Gatilhos de jobs.

  3. Na coluna Ações do gatilho de job que você quer excluir, clique no menu Mais ações (exibido como três pontos organizados verticalmente) e clique em Excluir.

Como alternativa, também é possível excluir os detalhes do job que você executou. Clique na guia Todas as tarefas e, na coluna Ações do job que você quer excluir, clique no menu Mais ações (exibido como três pontos organizados verticalmente) e, em seguida, Excluir.

API DLP

  1. Acesse as APIs Explorer na página de referência do método dlpJobs.delete clicando no botão a seguir:

    Abra o APIs Explorer

  2. Na caixa nome, digite o nome do job da resposta JSON à solicitação de verificação, que tem o seguinte formato:

    projects/project-id/dlpJobs/job-id
    O ID do job tem o formato i-1234567890123456789.

Se você tiver criado outros jobs de verificação ou quiser ter certeza de que excluiu o job com êxito, poderá listar todos os jobs existentes:

  1. Acesse as APIs Explorer na página de referência do método dlpJobs.list clicando no botão a seguir:

    Abra o APIs Explorer

  2. Na caixa pai, digite o identificador do projeto no seguinte formato, em que project-id é o identificador do projeto:

    projects/project-id

  3. Clique em Execute.

Se não houver jobs listados na resposta, significa que você excluiu todos eles. Se os jobs estiverem listados na resposta, repita o procedimento de exclusão acima para esses jobs.

A seguir