Enviar resultados da inspeção da proteção de dados confidenciais para o catálogo de dados

Este guia mostra como usar a proteção de dados confidenciais para inspecionar uma tabela do BigQuery e enviar os resultados da inspeção para o Data Catalog.

Além disso, pode realizar a análise detalhada de dados, que é diferente de uma operação de inspeção. Também pode enviar perfis de dados para o catálogo universal do Dataplex. Para mais informações, consulte o artigo Etiquete tabelas no catálogo universal do Dataplex com base em estatísticas de perfis de dados.

O Data Catalog é um serviço de gestão de metadados escalável que lhe permite descobrir, gerir e compreender rapidamente todos os seus dados no Google Cloud.

A Proteção de dados confidenciais tem uma integração incorporada com o Data Catalog. Quando usa uma ação de proteção de dados confidenciais para inspecionar as suas tabelas do BigQuery em busca de dados confidenciais, pode enviar os resultados diretamente para o Data Catalog sob a forma de um modelo de etiqueta.

Ao concluir os passos neste guia, vai fazer o seguinte:

  • Ative o Data Catalog e a proteção de dados confidenciais.
  • Configure a Proteção de dados confidenciais para inspecionar uma tabela do BigQuery.
  • Configure uma inspeção da proteção de dados confidenciais para enviar os resultados da inspeção para o catálogo de dados.

Para mais informações acerca do catálogo de dados, consulte a documentação do catálogo de dados.

Se quiser enviar os resultados das operações de criação de perfis de dados (e não tarefas de inspeção) para o catálogo universal do Dataplex, consulte a documentação sobre como criar perfis de uma organização, uma pasta ou um projeto.

Custos

Neste documento, usa os seguintes componentes faturáveis do Google Cloud:

  • Sensitive Data Protection
  • BigQuery

Para gerar uma estimativa de custos com base na sua utilização projetada, use a calculadora de preços.

Os novos Google Cloud utilizadores podem ser elegíveis para uma avaliação gratuita.

Antes de começar

Antes de poder enviar os resultados da inspeção da proteção de dados confidenciais para o catálogo de dados, faça o seguinte:

  • Passo 1: configure a faturação.
  • Passo 2: crie um novo projeto e preencha uma nova tabela do BigQuery. (Opcional.)
  • Passo 3: ative o catálogo de dados.
  • Passo 4: ative a proteção de dados confidenciais.

As subsecções seguintes abordam cada passo detalhadamente.

Passo 1: configure a faturação

Se ainda não tiver uma, tem de configurar primeiro uma conta de faturação.

Saiba como ativar a faturação

Passo 2: crie um novo projeto e preencha uma nova tabela do BigQuery (opcional)

Se estiver a configurar esta funcionalidade para trabalho de produção ou já tiver uma tabela do BigQuery que quer inspecionar, abra o projeto que contém a tabela e avance para o Passo 3.Google Cloud

Se estiver a experimentar esta funcionalidade e quiser inspecionar os dados de teste, crie um novo projeto. Para concluir este passo, tem de ter a função de criador de projetos do IAM. Saiba mais acerca das funções da IAM.

  1. Aceda à página Novo projeto na Google Cloud consola.

    Novo projeto

  2. Na lista pendente Conta de faturação, selecione a conta de faturação à qual o projeto deve ser faturado.
  3. Na lista pendente Organização, selecione a organização na qual quer criar o projeto.
  4. Na lista pendente Localização, selecione a organização ou a pasta na qual quer criar o projeto.
  5. Clique em Criar para criar o projeto.

Em seguida, transfira e armazene os dados de amostra:

  1. Aceda ao repositório de tutoriais de funções do Cloud Run no GitHub.
  2. Selecione um dos ficheiros CSV com dados de exemplo e, em seguida, transfira o ficheiro.
  3. Em seguida, aceda ao BigQuery na Google Cloud consola.
  4. Selecione o seu projeto.
  5. Clique em Criar conjunto de dados.
  6. Clique em Criar tabela.
  7. Clique em Carregar e, de seguida, selecione o ficheiro que quer carregar.
  8. Dê um nome à tabela e, de seguida, clique em Criar tabela.

Passo 3: ative o catálogo de dados

Em seguida, ative o Data Catalog para o projeto que contém a tabela do BigQuery que quer inspecionar através da proteção de dados confidenciais.

Para ativar o Data Catalog através da Google Cloud consola:

  1. Registe a sua aplicação no catálogo de dados.

    Registe a sua aplicação no Data Catalog

  2. Na página de registo, na lista pendente Criar um projeto, selecione o projeto que quer usar com o catálogo de dados.
  3. Depois de selecionar o projeto, clique em Continuar.

O catálogo de dados está agora ativado para o seu projeto.

Passo 4: ative a proteção de dados confidenciais

Ative a Proteção de dados confidenciais para o mesmo projeto para o qual ativou o Data Catalog.

Para ativar a proteção de dados confidenciais através da consola Google Cloud :

  1. Registe a sua aplicação para a proteção de dados confidenciais.

    Registe a sua aplicação para a proteção de dados confidenciais

  2. Na página de registo, na lista pendente Criar um projeto, selecione o mesmo projeto que escolheu no passo anterior.
  3. Depois de selecionar o projeto, clique em Continuar.

A proteção de dados confidenciais está agora ativada para o seu projeto.

Configure e execute uma tarefa de inspeção da proteção de dados confidenciais

Pode configurar e executar uma tarefa de inspeção da proteção de dados confidenciais através da Google Cloud consola ou da API DLP.

Os modelos de etiquetas do Data Catalog são armazenados no mesmo projeto e região que a tabela do BigQuery. Se estiver a inspecionar uma tabela de outro projeto, tem de conceder a função de proprietário do TagTemplate do Data Catalog (roles/datacatalog.tagTemplateOwner) ao agente do serviço de proteção de dados confidenciais no projeto onde a tabela do BigQuery existe.

Google Cloud consola

Para configurar uma tarefa de inspeção de uma tabela do BigQuery através da proteção de dados confidenciais:

  1. Na secção Proteção de dados confidenciais da Google Cloud consola, aceda à página Criar tarefa ou acionador de tarefas.

    Aceda a Criar trabalho ou acionador de trabalho

  2. Introduza as informações da tarefa de proteção de dados confidenciais e clique em Continuar para concluir cada passo:

    • Para Passo 1: escolha os dados de entrada, atribua um nome à tarefa introduzindo um valor no campo Nome. Em Localização, escolha BigQuery no menu Tipo de armazenamento e, de seguida, introduza as informações da tabela a inspecionar. A secção Amostragem está pré-configurada para executar uma inspeção de amostra nos seus dados. Pode ajustar os campos Limitar linhas por e Número máximo de linhas para guardar recursos se tiver uma grande quantidade de dados. Para mais detalhes, consulte o artigo Escolha os dados de entrada.

    • (Opcional) No Passo 2: configure a deteção, configura os tipos de dados a procurar, denominados "infoTypes". Para os fins desta explicação passo a passo, mantenha os infoTypes predefinidos selecionados. Para mais detalhes, consulte o artigo Configure a deteção.

    • Para o Passo 3: adicione ações, ative a opção Guardar no catálogo de dados.

    • (Opcional) Para o Passo 4: agende, para efeitos desta explicação passo a passo, deixe o menu definido como Nenhum para que a inspeção seja executada apenas uma vez. Para saber mais sobre o agendamento de tarefas de inspeção repetidas, consulte o artigo Agendar.

  3. Clique em Criar. A tarefa é executada imediatamente.

API DLP

Nesta secção, vai configurar e executar uma tarefa de inspeção da proteção de dados confidenciais.

A tarefa de inspeção que configurar aqui indica ao Sensitive Data Protection que inspecione os dados de amostragem do BigQuery descritos no passo 2 acima ou os seus próprios dados do BigQuery. A configuração do trabalho que especificar é também onde indica ao Sensitive Data Protection para guardar os respetivos resultados da inspeção no Data Catalog.

Passo 1: anote o identificador do projeto

  1. Aceda à Google Cloud consola.

    Aceda à Google Cloud consola

  2. Clique em Selecionar.

  3. Na lista pendente Selecionar de, selecione a organização para a qual ativou o catálogo de dados.

  4. Em ID, copie o ID do projeto que contém os dados que quer inspecionar. Este é o projeto descrito no passo defina repositórios de armazenamento anteriormente nesta página.

  5. Em Nome, clique no projeto para o selecionar.

Passo 2: abra o Explorador de APIs e configure a tarefa

  1. Aceda ao APIs Explorer na página de referência do método dlpJobs.create. Para manter estas instruções disponíveis, clique com o botão direito do rato no seguinte link e abra-o num novo separador ou janela:

    Abrir o Explorador de APIs

  2. Na caixa parent, introduza o seguinte, onde project-id é o ID do projeto que anotou anteriormente no passo anterior: 

    projects/project-id

    Em seguida, copie o seguinte JSON. Selecione o conteúdo do campo Request body no APIs Explorer e, em seguida, cole o JSON para substituir o conteúdo. Certifique-se de que substitui os marcadores de posição project-id, bigquery-dataset-name e bigquery-table-name pelos nomes reais do projeto, do conjunto de dados e da tabela do BigQuery, respetivamente.

    {
  "inspectJob":
  {
    "storageConfig":
    {
      "bigQueryOptions":
      {
        "tableReference":
        {
          "projectId": "project-id",
          "datasetId": "bigquery-dataset-name",
          "tableId": "bigquery-table-name"
        }
      }
    },
    "inspectConfig":
    {
      "infoTypes":
      [
        {
          "name": "EMAIL_ADDRESS"
        },
        {
          "name": "PERSON_NAME"
        },
        {
          "name": "US_SOCIAL_SECURITY_NUMBER"
        },
        {
          "name": "PHONE_NUMBER"
        }
      ],
      "includeQuote": true,
      "minLikelihood": "UNLIKELY",
      "limits":
      {
        "maxFindingsPerRequest": 100
      }
    },
    "actions":
    [
      {
        "publishFindingsToCloudDataCatalog": {}
      }
    ]
  }
}

Para saber mais sobre as opções de inspeção disponíveis, consulte o artigo Inspeção de armazenamento e bases de dados para dados confidenciais. Para ver uma lista completa dos tipos de informações que a Proteção de dados confidenciais pode inspecionar, consulte a referência de InfoTypes.

Passo 3: execute o pedido para iniciar a tarefa de inspeção

Depois de configurar a tarefa seguindo os passos anteriores, clique em Executar para enviar o pedido. Se o pedido for bem-sucedido, é apresentada uma resposta com um código de êxito e um objeto JSON que indica o estado da tarefa de proteção de dados confidenciais que acabou de criar.

A resposta ao seu pedido de inspeção inclui o ID da tarefa de inspeção como a chave "name" e o estado atual da tarefa de inspeção como a chave "state". Como acabou de enviar o pedido, o estado do trabalho nesse momento é "PENDING".

Verifique o estado da tarefa de inspeção da proteção de dados confidenciais

Depois de enviar o pedido de inspeção, a tarefa de inspeção começa imediatamente.

Google Cloud consola

Para verificar o estado da tarefa de inspeção:

  1. Na Google Cloud consola, abra a Proteção de dados confidenciais.

    Aceda à proteção de dados confidenciais

  2. Clique no separador Tarefas e acionadores de tarefas e, de seguida, em Todas as tarefas.

A tarefa que acabou de executar vai estar provavelmente na parte superior da lista. Consulte a coluna Estado para se certificar de que o estado é Concluído.

Pode clicar no ID da tarefa da tarefa para ver os respetivos resultados. Cada detetor de infoType indicado na página Detalhes da tarefa é seguido do número de correspondências encontradas no conteúdo.

API DLP

Para verificar o estado da tarefa de inspeção:

  1. Aceda ao APIs Explorer na página de referência do método dlpJobs.get clicando no seguinte botão:

    Abrir o Explorador de APIs

  2. Na caixa name, escreva o nome da tarefa da resposta JSON ao pedido de inspeção no seguinte formato: 

    projects/project-id/dlpJobs/job-id
     O ID da tarefa tem o formato i-1234567890123456789.

  3. Para enviar o pedido, clique em Executar.

Se a chave "state" do objeto JSON de resposta indicar que a tarefa está "DONE", significa que a tarefa de inspeção terminou.

Para ver o resto do JSON de resposta, desloque a página para baixo. Em "result" > "infoTypeStats", cada tipo de informação indicado deve ter um elemento "count" correspondente. Caso contrário, certifique-se de que introduziu o JSON corretamente e que o caminho ou a localização dos seus dados estão corretos.

Após a conclusão da tarefa de inspeção, pode continuar para a secção seguinte deste guia para ver os resultados da inspeção no Security Command Center.

Veja os resultados da inspeção da proteção de dados confidenciais no Data Catalog

Uma vez que deu instruções ao serviço de proteção de dados confidenciais para enviar os resultados da respetiva tarefa de inspeção para o Data Catalog, pode agora ver as etiquetas e o modelo de etiquetas criados automaticamente na IU do Data Catalog:

  1. Aceda à página Catálogo de dados na Google Cloud consola.

    Aceda ao catálogo de dados

  2. Pesquise a tabela que inspecionou.
  3. Clique nos resultados que correspondem à sua tabela para ver os metadados da tabela.

A captura de ecrã seguinte mostra a vista de metadados do catálogo de dados de uma tabela de exemplo:

Resultados da Proteção de dados confidenciais no Data Catalog..

Resumo da inspeção

As conclusões da proteção de dados confidenciais são incluídas de forma resumida para a tabela que inspecionou. Este resumo inclui as contagens totais de infoTypes, bem como dados de resumo sobre a tarefa de inspeção, que incluem datas e o ID do recurso da tarefa.

São apresentados todos os infoTypes que foram inspecionados. As que têm resultados mostram uma quantidade superior a zero.

Limpar

Para evitar incorrer em custos na sua Google Cloud conta pelos recursos usados neste tópico, faça uma das seguintes ações, consoante tenha usado dados de amostra ou os seus próprios dados:

Eliminar o projeto

A forma mais fácil de eliminar a faturação é eliminar o projeto que criou seguindo as instruções fornecidas neste tópico.

Para eliminar o projeto:

  1. Na Google Cloud consola, aceda à página Projetos.

    Aceda à página Projetos

  2. Na lista de projetos, selecione o projeto que quer eliminar e clique em Eliminar projeto. Depois de selecionar a caixa de verificação junto ao nome do projeto, clique em Eliminar projeto
  3. Na caixa de diálogo, escreva o ID do projeto e, de seguida, clique em Encerrar para eliminar o projeto.

Quando elimina o projeto através deste método, a tarefa do Sensitive Data Protection e o contentor do Cloud Storage que criou também são eliminados. O processo fica concluído. Não é necessário seguir as instruções nas secções seguintes.

Eliminar a tarefa ou o acionador de tarefas de proteção de dados confidenciais

Se inspecionou os seus próprios dados, elimine a tarefa de inspeção ou o acionador de tarefas que acabou de criar.

Google Cloud consola

  1. Na Google Cloud consola, abra a Proteção de dados confidenciais.

    Aceda à proteção de dados confidenciais

  2. Clique no separador Tarefas e acionadores de tarefas e, de seguida, clique no separador Acionadores de tarefas.

  3. Na coluna Ações do acionador de tarefas que quer eliminar, clique no menu Mais ações (apresentado como três pontos dispostos verticalmente) e, de seguida, clique em Eliminar.

Em alternativa, também pode eliminar os detalhes da tarefa que executou. Clique no separador Todas as tarefas e, de seguida, na coluna Ações da tarefa que quer eliminar, clique no menu mais ações (apresentado como três pontos dispostos verticalmente) e, de seguida, em Eliminar.

API DLP

  1. Aceda ao APIs Explorer na página de referência do método dlpJobs.delete clicando no seguinte botão:

    Abrir o Explorador de APIs

  2. Na caixa nome, escreva o nome da tarefa da resposta JSON ao pedido de inspeção, que tem o seguinte formato: 

    projects/project-id/dlpJobs/job-id
     O ID da tarefa tem o formato i-1234567890123456789.

Se criou tarefas de inspeção adicionais ou se quiser certificar-se de que eliminou a tarefa com êxito, pode listar todas as tarefas existentes:

  1. Aceda ao APIs Explorer na página de referência do método dlpJobs.list clicando no seguinte botão:

    Abrir o Explorador de APIs

  2. Na caixa parent, escreva o identificador do projeto no seguinte formato, em que project-id é o identificador do projeto: 

    projects/project-id

  3. Clique em Executar.

Se não forem apresentadas tarefas na resposta, significa que eliminou todas as tarefas. Se forem apresentadas tarefas na resposta, repita o procedimento de eliminação acima para essas tarefas.

O que se segue?