Inclua tags em tabelas no Dataplex com base em insights de perfis de dados

Nesta página, descrevemos como aplicar automaticamente tags do Dataplex às tabelas do BigQuery depois que a proteção de dados sensíveis criar o perfil dessas tabelas. Ela também mostra exemplos de consultas que podem ser usadas para encontrar dados com tags na sua organização e nos seus projetos.

Esse recurso é útil se você quer aprimorar os metadados selecionados manualmente no Dataplex com insights coletados de perfis de dados de proteção de dados sensíveis. As tags geradas incluem os seguintes insights:

  • Tipos de informações (infoTypes) detectados nas colunas da tabela
  • Nível de sensibilidade calculado da tabela
  • Nível de risco dos dados calculado da tabela

Os insights dos perfis de dados de proteção de dados sensíveis podem ajudar você a usar o Dataplex para descobrir dados confidenciais e de alto risco na sua organização. Use esses insights para ajudar você a tomar decisões informadas sobre como gerenciar e controlar seus dados.

Se você quiser enviar os resultados dos jobs de inspeção (não das operações de criação de perfil de dados) para o Dataplex, consulte Enviar resultados da inspeção de proteção de dados confidenciais para o Data Catalog.

Sobre os perfis de dados

É possível configurar a proteção de dados sensíveis para gerar automaticamente perfis sobre dados em uma organização, pasta ou projeto. Os perfis de dados contêm métricas e metadados sobre seus dados e ajudam a determinar onde estão os dados confidenciais e de alto risco. A proteção de dados sensíveis informa essas métricas em vários níveis de detalhamento. Para mais informações sobre os tipos de dados que podem ser criados em perfis, consulte Recursos compatíveis.

Sobre o Dataplex e o Data Catalog

O Dataplex é um serviço do Google Cloud que unifica dados distribuídos e automatiza o gerenciamento e a governança de dados deles. O Data Catalog é um serviço de gerenciamento de metadados escalonável e totalmente gerenciado no Dataplex.

O Data Catalog permite usar tags e modelos de tag para anexar metadados comerciais aos seus dados. É possível pesquisar e gerenciar todos os metadados da organização ou do projeto em um serviço unificado. Para mais informações, consulte Tags e modelos de tags.

Como funciona

Se a configuração da verificação de descoberta tiver a ação Enviar ao Dataplex como tags ativada, a proteção de dados sensíveis fará o seguinte sempre que criar um perfil dos dados. Essa ação só é aplicada a perfis novos e atualizados. Os perfis atuais que não são atualizados não são enviados ao Dataplex.

  1. Cria um modelo de tag particular contendo o esquema das tags que serão anexadas às tabelas do BigQuery. Para saber mais sobre o nome, o ID e o local do modelo de tag, consulte Detalhes do modelo de tag.

    Somente os principais com os papéis e permissões adequados podem visualizar o modelo de tag.

  2. Cria uma tag para cada tabela do BigQuery para a qual você cria um perfil. A tag é baseada no modelo de tag recém-criado.

    Por exemplo, uma tag resultante anexada a uma tabela pode ter os seguintes metadados:

    Nome de exibição Valor
    Column Insights ccn: CREDIT_CARD_NUMBER
    first_name: PERSON_NAME
    last_name: PERSON_NAME
    ssn: US_SOCIAL_SECURITY_NUMBER
    email: EMAIL_ADDRESS
    Column Sensitivity ccn: HIGH
    first_name: MODERATE
    last_name: MODERATE
    favorite_animal: LOW
    ssn: HIGH
    email: MODERATE
    id: LOW
    Data Risk Level HIGH
    Other InfoTypes PHONE_NUMBER
    Predicted InfoTypes CREDIT_CARD_NUMBER,US_SOCIAL_SECURITY_NUMBER,EMAIL_ADDRESS,PERSON_NAME
    Profile Last Generated DATE at TIME
    Sensitive Data Profile organizations/ORGANIZATION_ID/locations/REGION/tableDataProfiles/TABLE_DATA_PROFILE_ID
    Sensitivity Score HIGH

Uma tabela tem duas tags se tiver um perfil criado por meio de ambos:

  • Configuração de verificação no nível da organização ou da pasta
  • Configuração de verificação para envolvidos no projeto

Depois que as tabelas forem marcadas, será possível pesquisar no Dataplex todos os dados da organização ou do projeto com valores de tag específicos.

Detalhes do modelo de tag

O nome, o ID e o projeto em que o novo modelo de tag é armazenado dependem do recurso a que a configuração de verificação pertence.

  • Se a configuração da verificação for no nível da organização ou da pasta, o modelo de tag será armazenado no contêiner do agente de serviço. O nome do modelo de tag é Sensitive Data Profile. O ID do modelo é sensitive_data_profile.
  • Se a configuração da verificação for no nível do projeto, o modelo de tag será armazenado no projeto para o qual um perfil será criado. O nome do modelo de tag é Sensitive Data Profile (Project). O ID do modelo é sensitive_data_profile_project.

Preços

Para informações sobre como outros serviços do Google Cloud podem cobrar pela exportação de perfis de dados, consulte Preços para exportar perfis de dados.

Marcar automaticamente tabelas do BigQuery com base em perfis de dados

  1. Crie uma configuração de verificação. Se preferir, edite uma configuração de verificação atual.

  2. Na etapa Adicionar ações, verifique se a opção Enviar para o Dataplex como tags está ativada.

    • Se você estiver criando uma configuração de verificação, essa ação será ativada por padrão.
    • Se você estiver editando uma configuração de verificação, será preciso ativar esta ação.

Depois de criar o perfil e incluir tags nos dados, você pode começar a procurar dados marcados no Dataplex.

Funções e permissões para a visualização de tags

Os resultados da pesquisa do Dataplex mostram apenas os dados a que você tem acesso. Você precisa dos seguintes papéis ou permissões do Identity and Access Management (IAM) para pesquisar as tags anexadas às suas tabelas do BigQuery.

Finalidade Papel predefinido Permissões relevantes
Visualizar o modelo de tag particular Leitor de TagTemplate do Data Catalog (roles/datacatalog.tagTemplateViewer) datacatalog.tagTemplates.getTag
Consultar as tags aplicadas às tabelas do BigQuery Leitor de metadados do BigQuery (roles/bigquery.metadataViewer) bigquery.datasets.get
bigquery.tables.get

Para mais informações sobre papéis do Dataplex, consulte Papéis para visualizar tags públicas e particulares.

Para informações sobre como conceder um papel predefinido, consulte Conceder um único papel. Para usar um papel personalizado em vez de predefinido, verifique se o papel personalizado tem as permissões relevantes. Para mais informações, consulte Criar um papel personalizado.

Encontrar o modelo de tag gerado

  1. No console do Google Cloud, acesse a página Modelos de tag do Dataplex.

    Acesse Modelos de tag

  2. Na lista, encontre o modelo de tag. Para saber mais sobre o nome, o ID e o local do modelo de tag, consulte Detalhes do modelo de tag.

  3. Opcional: para encontrar o modelo de tag gerado por uma determinada configuração de verificação de descoberta, insira o seguinte no campo Filtro:

    name:PROJECT_ID.TAG_TEMPLATE_ID

    Substitua:

    • PROJECT_ID: o ID do projeto associado à configuração da verificação. Se você criou um perfil de dados no nível da organização ou da pasta, insira o ID do projeto do contêiner do agente de serviço.
    • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração da verificação for para uma organização ou pasta; sensitive_data_profile_project se ela for para um projeto.

Encontrar a tag gerada para um determinado perfil de dados da tabela

  1. No console do Google Cloud, acesse a página Pesquisa do Dataplex.

    Acesse Pesquisar

  2. No campo Pesquisar, digite o seguinte:

    name:TABLE_ID tag:PROJECT_ID.TAG_TEMPLATE_ID

    Substitua:

    • TABLE_ID: o ID da tabela com o perfil criado.
    • PROJECT_ID: o ID do projeto que contém o modelo de tag. Se você criou um perfil de dados no nível da organização ou da pasta, insira o ID do projeto do contêiner do agente de serviço.
    • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração da verificação for para uma organização ou pasta; sensitive_data_profile_project se ela for para um projeto.

  3. Na lista exibida, clique no ID da tabela. Os detalhes da tabela do BigQuery aparecem com as tags Sensitive Data Profile ou Sensitive Data Profile (Project) anexadas a ela.

    Uma tabela tem duas tags se tiver um perfil criado por meio de ambos:

    • Configuração de verificação no nível da organização ou da pasta
    • Configuração de verificação para envolvidos no projeto

Para informações sobre como realizar uma pesquisa na API Data Catalog, consulte Como pesquisar recursos de dados.

Exemplo de consultas de pesquisa

Nesta seção, mostramos exemplos de consultas de pesquisa que você pode usar no Dataplex para encontrar dados na sua organização ou projeto com valores de tag específicos.

Só é possível acessar os dados que você pode acessar. O acesso aos dados é controlado por meio de permissões do IAM. Para mais informações, consulte Papéis e permissões para visualizar tags nesta página.

É possível inserir essas consultas na página Pesquisa do Dataplex no Console do Google Cloud.

Acesse Pesquisar

Para mais informações sobre como formar as consultas, consulte Sintaxe de pesquisa do Data Catalog. Para informações sobre como realizar uma pesquisa na API Data Catalog, consulte Como pesquisar recursos de dados.

Encontrar todas as tabelas com tag usando o novo modelo de tag

tag:PROJECT_ID.TAG_TEMPLATE_ID

Substitua:

  • PROJECT_ID: o ID do projeto que contém o modelo de tag. Se você criou um perfil de dados no nível da organização ou da pasta, insira o ID do projeto do contêiner do agente de serviço.
  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração da verificação for para uma organização ou pasta; sensitive_data_profile_project se ela for para um projeto.

Os exemplos seguintes nesta página não incluem o ID do projeto. Portanto, você pode receber resultados associados a várias configurações da verificação de descoberta. Para limitar os resultados a uma configuração de verificação específica, adicione o ID do projeto à consulta, conforme mostrado neste exemplo.

Encontrar todas as tabelas que tiveram um perfil criado pela última vez antes de uma determinada data

tag:TAG_TEMPLATE_ID.profile_last_generated<DATE

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração da verificação for para uma organização ou pasta; sensitive_data_profile_project se ela for para um projeto.
  • DATE: uma data no formato YYYY-MM-DD, por exemplo, 2023-01-15.

Encontrar todas as tabelas com uma determinada pontuação de sensibilidade no nível da tabela

tag:TAG_TEMPLATE_ID.sensitivity_score=SENSITIVITY_SCORE

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração da verificação for para uma organização ou pasta; sensitive_data_profile_project se ela for para um projeto.
  • SENSITIVITY_SCORE: um de HIGH, MODERATE ou LOW.

Para mais informações, consulte Níveis de risco e confidencialidade de dados.

Encontrar todas as tabelas com um determinado nível de risco de dados

tag:TAG_TEMPLATE_ID.data_risk_level=DATA_RISK_LEVEL

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração da verificação for para uma organização ou pasta; sensitive_data_profile_project se ela for para um projeto.
  • DATA_RISK_LEVEL: um de HIGH, MODERATE ou LOW.

Para mais informações, consulte Níveis de risco e confidencialidade de dados.

Encontrar todas as tabelas que contêm um determinado infoType previsto

tag:TAG_TEMPLATE_ID.predicted_info_types:INFOTYPE

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração da verificação for para uma organização ou pasta; sensitive_data_profile_project se ela for para um projeto.
  • INFOTYPE: o infoType, por exemplo, PERSON_NAME.

Para uma lista de todos os infoTypes integrados, consulte a referência dos detectores de InfoType.

Para mais informações, consulte InfoType previsto na Referência de métricas.

Encontrar todas as tabelas que contêm parcialmente um determinado infoType

tag:TAG_TEMPLATE_ID.other_info_types:INFOTYPE

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração da verificação for para uma organização ou pasta; sensitive_data_profile_project se ela for para um projeto.
  • INFOTYPE: o infoType, por exemplo, PERSON_NAME.

Para uma lista de todos os infoTypes integrados, consulte a referência dos detectores de InfoType.

Para mais informações, consulte Outros InfoTypes na Referência de métricas.

Encontrar todas as tabelas que contêm uma determinada coluna com um determinado infoType previsto

tag:TAG_TEMPLATE_ID.column_insights:COLUMN_NAME:INFOTYPE

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração da verificação for para uma organização ou pasta; sensitive_data_profile_project se ela for para um projeto.
  • COLUMN_NAME: o nome da coluna na tabela do BigQuery.
  • INFOTYPE: o infoType, por exemplo, PERSON_NAME.

Para uma lista de todos os infoTypes integrados, consulte a referência dos detectores de InfoType.

Para mais informações, consulte InfoType previsto na Referência de métricas.

Encontrar todas as tabelas que contêm uma determinada coluna com uma determinada pontuação de sensibilidade no nível da coluna

tag:TAG_TEMPLATE_ID.column_sensitivity:COLUMN_NAME:SENSITIVITY_SCORE

Substitua:

  • TAG_TEMPLATE_ID: sensitive_data_profile se a configuração da verificação for para uma organização ou pasta; sensitive_data_profile_project se ela for para um projeto.
  • COLUMN_NAME: o nome da coluna na tabela do BigQuery.
  • SENSITIVITY_SCORE: um de HIGH, MODERATE ou LOW.

Para mais informações, consulte Níveis de risco e confidencialidade de dados.