데이터 프로필의 통계를 기반으로 Dataplex 범용 카탈로그 측면 추가

이 페이지에서는 Sensitive Data Protection이 리소스를 프로파일링한 후 데이터에 Dataplex Universal Catalog 측면을 자동으로 추가하는 방법을 설명합니다. 이 페이지에서는 조직 및 프로젝트에서 특정 측면 값이 있는 데이터를 찾는 데 사용할 수 있는 쿼리 예시도 제공합니다.

이 기능은 Dataplex Universal Catalog에서 메타데이터를 Sensitive Data Protection 데이터 프로필에서 수집한 통계로 보강하려는 경우에 유용합니다. 생성된 측면에는 다음 통계가 포함됩니다.

  • 테이블 또는 데이터 세트의 계산된 민감도 수준
  • 테이블 또는 데이터 세트의 계산된 데이터 위험 수준
  • 표 또는 데이터 세트에서 감지된 정보 유형 (infoTypes)

Sensitive Data Protection 데이터 프로필의 통계는 Dataplex Universal Catalog를 사용하여 조직에서 민감하고 위험성이 높은 데이터를 찾는 데 도움이 될 수 있습니다. 이러한 통계를 사용하여 데이터 관리 및 거버넌스 방식에 대해 정보에 입각한 결정을 내릴 수 있습니다.

데이터 프로필 정보

Sensitive Data Protection을 구성하여 조직, 폴더 또는 프로젝트 전체에서 데이터에 대한 프로필을 자동으로 생성할 수 있습니다. 데이터 프로필은 데이터에 대한 측정항목과 메타데이터를 포함하며 민감한 정보와 고위험 데이터를 저장할 위치를 결정하는 데 도움이 됩니다. Sensitive Data Protection은 이러한 측정항목을 다양한 세부 수준에서 보고합니다.

Dataplex Universal Catalog, Pub/Sub, Security Command Center, Google Security Operations와 같은 다른 Google Cloud 서비스에 데이터 프로필을 전송하여 데이터 거버넌스, 알림, 보안 워크플로를 강화할 수 있습니다.

Dataplex Universal Catalog 정보

Dataplex 범용 카탈로그는 Google Cloud 리소스의 통합 인벤토리를 제공합니다.

Dataplex Universal Catalog를 사용하면 관점을 사용하여 데이터에 비즈니스 및 기술 메타데이터를 추가하여 리소스에 관한 컨텍스트와 지식을 파악할 수 있습니다. 그런 다음 조직 전반에서 데이터를 검색하고 탐색할 수 있으며 데이터 애셋에 대한 데이터 거버넌스를 사용 설정할 수 있습니다. 자세한 내용은 관점을 참고하세요.

지원되는 리소스

Sensitive Data Protection은 다음 리소스의 Dataplex Universal Catalog 항목에 측면을 자동으로 연결할 수 있습니다.

  • BigQuery 테이블
  • Cloud SQL 테이블

  • BigQuery 테이블에서 생성된 Vertex AI 데이터 세트

Dataplex Universal Catalog는 Cloud Storage 버킷을 수집하지 않으므로 Cloud Storage 데이터를 프로파일링할 때는 이 기능을 사용할 수 없습니다.

작동 방식

데이터 프로필을 기반으로 Dataplex Universal Catalog 관점을 자동으로 만드는 대략적인 워크플로는 다음과 같습니다.

  1. 지원되는 리소스 유형의 스캔 구성을 만들기 또는 수정합니다.

  2. 작업 추가 단계에서 Dataplex Catalog에 관점으로 전송 작업이 사용 설정되어 있는지 확인합니다.

    스캔 구성을 만드는 경우 이 작업은 기본적으로 사용 설정됩니다.

    스캔 구성을 수정하는 경우 이 작업을 사용 설정합니다.

Sensitive Data Protection은 프로파일링하는 각 지원되는 리소스Dataplex Universal Catalog 항목Sensitive Data Protection profile 측면을 추가하거나 업데이트합니다. 그런 다음 Dataplex Universal Catalog에서 특정 측면 값이 있는 조직 또는 프로젝트의 모든 데이터를 검색할 수 있습니다.

Dataplex 카탈로그에 관점으로 전송 작업을 사용 설정하면 Sensitive Data Protection은 신규 및 업데이트된 프로필에만 이 작업을 적용합니다. 업데이트되지 않은 기존 프로필은 Dataplex Universal Catalog로 전송되지 않습니다.

최상위 필드

프로파일링된 테이블의 결과 측면에는 다음과 같은 최상위 필드가 있을 수 있습니다.

표시 이름 예시 값 설명
Sensitivity MODERATE 테이블의 계산된 민감도 수준
Risk MODERATE 테이블의 계산된 데이터 위험 수준
InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
  • infoType: US_SOCIAL_SECURITY_NUMBER
예측된 infoType기타 infoType을 비롯해 테이블에서 발견된 모든 infoType의 목록입니다. 이 필드는 표에서 하나 이상의 infoType이 감지된 경우에 포함됩니다.
Column InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
표의 모든 열에서 발견된 모든 예측된 infoType의 목록입니다. 이 필드는 표에서 하나 이상의 예측된 infoType이 감지된 경우에 포함됩니다.
Project Profile 이 페이지의 프로젝트 프로필 및 조직 프로필을 참고하세요. 리소스가 프로젝트 수준 스캔 구성을 통해 프로파일링된 경우 포함됩니다.
Organization Profile 이 페이지의 프로젝트 프로필 및 조직 프로필을 참고하세요. 조직 수준 또는 폴더 수준 스캔 구성을 통해 리소스가 프로파일링된 경우 포함됩니다.

리소스가 프로젝트 수준과 조직 또는 폴더 수준에서 모두 프로파일링된 경우 Sensitive Data Protection은 두 프로필의 값을 집계합니다. 이 측면은 감지된 infoType의 합집합을 제공하고 두 프로필의 가장 높은 민감도 및 데이터 위험 등급을 사용합니다.

예를 들어 프로젝트 수준 프로필에서 리소스의 민감도를 MODERATE로 평가하고 조직 수준 프로필에서 민감도를 LOW로 평가한다고 가정해 보겠습니다. 이 경우 측면의 최상위 Sensitivity 필드의 값은 MODERATE입니다.

프로젝트 프로필 및 조직 프로필 필드

결과 Sensitive Data Protection profile 측면에는 리소스가 프로파일링된 수준에 따라 다음 최상위 필드 중 하나 또는 둘 다가 포함됩니다.

Project Profile
리소스가 프로젝트 수준 스캔 구성을 통해 프로파일링된 경우 측면에 포함됨
Organization Profile
조직 수준 또는 폴더 수준 스캔 구성을 통해 리소스가 프로파일링된 경우 측면에 포함됨

리소스가 프로젝트 수준과 조직 또는 폴더 수준에서 모두 프로파일링된 경우 결과 측면에는 Project ProfileOrganization Profile 필드가 모두 있습니다.

Project Profile 또는 Organization Profile 필드에는 데이터 프로필에 나열된 값이 있는 중첩된 SensitivityRisk 필드가 포함됩니다. 데이터 프로필에 예측된 infoType과 기타 infoType이 나열되어 있는 경우 이러한 유형도 중첩된 Column InfoTypesInfoTypes 필드로 사용할 수 있습니다. 또한 각 Project Profile 또는 Organization Profile 필드에는 다음 중첩 필드가 포함됩니다.

Profile

데이터 프로필의 전체 리소스 이름입니다. 예:

  • 프로젝트 수준 프로필: projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • 조직 수준 또는 폴더 수준 프로필: organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
Profile Link

Google Cloud 콘솔의 프로필 링크 예:

  • 프로젝트 수준 프로필: https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • 조직 수준 또는 폴더 수준 프로필: https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Dataplex API 사용 설정

측면을 추가할 리소스가 포함된 각 프로젝트에서 Dataplex API를 사용 설정해야 합니다. 이 섹션에서는 단일 프로젝트 또는 조직이나 폴더의 모든 프로젝트에서 Dataplex API를 사용 설정하는 방법을 설명합니다.

단일 프로젝트에서 Dataplex API 사용 설정

  1. Dataplex API를 사용 설정할 프로젝트를 선택합니다.

    프로젝트 선택기로 이동

  2. Enable the Dataplex API.

    Enable the API

조직 또는 폴더의 모든 프로젝트에서 Dataplex API 사용 설정

이 섹션에서는 조직 또는 폴더의 모든 프로젝트를 검색하고 각 프로젝트에서 Dataplex API를 사용 설정하는 스크립트를 제공합니다.

조직 또는 폴더의 모든 프로젝트에서 Dataplex API를 사용 설정하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이러한 사전 정의된 역할에는 조직 또는 폴더의 모든 프로젝트에서 Dataplex API를 사용 설정하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

조직 또는 폴더의 모든 프로젝트에서 Dataplex API를 사용 설정하려면 다음 권한이 필요합니다.

  • 조직 또는 폴더의 모든 프로젝트를 검색하려면 다음을 충족해야 합니다. cloudasset.assets.searchAllResources 조직 또는 폴더에 대한 권한
  • Dataplex API를 사용 설정하려면 Dataplex API를 사용 설정할 각 프로젝트에서 serviceusage.services.use를 실행합니다.

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

조직 또는 폴더의 모든 프로젝트에서 Dataplex API를 사용 설정하려면 다음 단계를 따르세요.

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. 다음 스크립트를 실행합니다.

    #!/bin/bash
    
    RESOURCE_ID="RESOURCE_ID"
    
    gcloud asset search-all-resources \
        --scope="RESOURCE_TYPE/$RESOURCE_ID" \
        --asset-types="cloudresourcemanager.googleapis.com/Project" \
        --format="value(name)" |
        while read project_name; do
          project_id=$(echo "$project_name" | sed 's|.*/||')
          gcloud services enable "dataplex.googleapis.com" --project="$project_id"
        done
    

    다음을 바꿉니다.

    • RESOURCE_ID: 프로젝트를 포함하는 리소스의 조직 번호 또는 폴더 번호
    • RESOURCE_TYPE: 프로젝트를 포함하는 리소스 유형(organizations 또는 folders)
  3. 측면 보기 권한 및 역할

    리소스와 연결된 측면을 검색하는 데 필요한 권한을 얻으려면 관리자에게 리소스에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

    역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

    이러한 사전 정의된 역할에는 리소스와 연결된 측면을 검색하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

    필수 권한

    리소스와 연결된 측면을 검색하려면 다음 권한이 필요합니다.

    • Dataplex Universal Catalog 항목을 확인합니다.
      • dataplex.entries.list
      • dataplex.entries.get
    • BigQuery 데이터 세트 및 테이블 보기:
      • bigquery.datasets.get
      • bigquery.tables.get
    • Vertex AI 데이터 세트를 확인합니다. aiplatform.datasets.get

    커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

    Dataplex Universal Catalog를 사용하는 데 필요한 권한에 관한 자세한 내용은 Dataplex Universal Catalog IAM 권한을 참고하세요.

    지정된 테이블 데이터 프로필에 대해 생성된 측면 찾기

    1. Google Cloud 콘솔에서 Dataplex Universal Catalog 검색 페이지로 이동합니다.

      검색 페이지로 이동

    2. 조직 또는 프로젝트를 선택합니다.

    3. 검색 플랫폼 선택에서 검색 모드로 Dataplex Catalog를 선택합니다.

    4. 검색 필드에 다음을 입력합니다.

      name:TABLE_ID
      

      TABLE_ID를 프로파일링된 테이블의 ID로 바꿉니다.

    5. 표시되는 목록에서 표 이름을 클릭합니다. BigQuery 테이블의 세부정보가 표시됩니다. Sensitive Data Protection profile와 연결된 모든 측면은 선택적 태그 및 측면 섹션에 표시됩니다.

    리소스를 검색하는 방법에 대한 자세한 내용은 Dataplex Universal Catalog에서 리소스 검색을 참고하세요.

    검색어 예

    이 섹션에서는 Dataplex Universal Catalog에서 특정 관점 값을 사용하여 조직 또는 프로젝트의 데이터를 찾는 데 사용할 수 있는 검색어의 예를 제공합니다.

    액세스 권한이 있는 데이터만 찾을 수 있습니다. 데이터 액세스는 IAM 권한을 통해 제어됩니다. 자세한 내용은 이 페이지의 측면 보기 역할 및 권한을 참고하세요.

    Dataplex Universal Catalog 검색 페이지의 검색 필드에 이러한 예시 검색어를 입력할 수 있습니다.

    검색 페이지로 이동

    쿼리를 구성하는 방법에 대한 자세한 내용은 Dataplex Universal Catalog 검색 문법을 참고하세요.

    민감한 정보 보호 프로필 측면이 있는 모든 리소스 찾기

    aspect:sensitive-data-protection-profile
    

    특정 민감도 점수가 있는 모든 리소스 찾기

    aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE
    

    SENSITIVITY_SCOREHIGH, MODERATE, UNKNOWN, LOW로 바꿉니다.

    자세한 내용은 민감도 및 데이터 위험 수준을 참고하세요.

    특정 위험 점수가 있는 모든 리소스 찾기

    aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL
    

    DATA_RISK_LEVELHIGH, MODERATE, UNKNOWN, LOW로 바꿉니다.

    자세한 내용은 민감도 및 데이터 위험 수준을 참고하세요.

    프로젝트 수준 프로필이 있는 모든 리소스 찾기

    aspect:sensitive-data-protection-profile.projectProfile
    

    조직 수준 프로필이 있는 모든 리소스 찾기

    aspect:sensitive-data-protection-profile.organizationProfile