특히 조직 내 다양한 니즈가 있는 여러 그룹에서 사용될 경우 데이터 항목을 규모에 맞춰 문서화하기가 어렵습니다. 각 그룹은 동일한 데이터를 설명하기 위해 자체 문서와 메타데이터 모음을 만들어 작업은 중복되고 정보는 불완전하기도 합니다. Data Catalog는 태그를 사용하여 이 문제를 해결하여 조직에서 통합 서비스의 모든 데이터 항목에 대한 메타데이터를 만들고 검색하고 관리할 수 있게 해줍니다.
이 문서에서는 Data Catalog의 두 가지 주요 개념을 설명합니다.
태그. 컨텍스트를 제공하기 위해 데이터 항목에 연결할 수 있는 커스텀 메타데이터 필드입니다.
태그 템플릿. 새 태그를 빠르게 만드는 데 사용할 수 있는 재사용 가능한 구조입니다.
태그
태그는 비즈니스 메타데이터의 한 유형입니다. 데이터 항목에 태그를 추가하면 애셋을 사용해야 하는 모든 사람에게 의미 있는 컨텍스트를 제공할 수 있습니다. 예를 들어 태그는 특정 데이터 항목의 담당자, 개인 식별 정보(PII) 포함 여부, 애셋의 데이터 보관 정책, 데이터 품질평가점수와 같은 정보를 제공할 수 있습니다.
태그는 공개 태그나 비공개 태그일 수 있습니다. 태그 유형마다 비즈니스 요구사항에 맞는 고유한 이점이 있습니다.
비공개 태그
비공개 태그는 엄격한 액세스 제어를 제공합니다. 개발자는 비공개 태그 템플릿과 데이터 항목 모두에 필요한 보기 권한이 부여된 경우에만 태그 및 태그와 연결된 데이터 항목을 검색하거나 볼 수 있습니다.
Data Catalog 페이지에서 비공개 태그를 검색하려면 tag: 검색 구문이나 검색 필터를 사용해야 합니다.
비공개 태그는 민감한 정보를 태그에 저장해야 하는 시나리오와 개발자가 사용자에게 태그가 지정된 항목을 볼 수 있는 권한이 있는지 확인하는 것 외에 추가 액세스 제한사항을 적용하려는 시나리오에 적합합니다.
공개 태그
공개 태그는 비공개 태그와 비교 시 태그를 검색하고 볼 때 덜 엄격한 액세스 제어를 제공합니다. 데이터 항목에 필요한 보기 권한이 있는 사용자는 누구나 데이터 항목과 연결된 모든 공개 태그를 볼 수 있습니다. 공개 태그에 대한 보기 권한은 tag: 구문을 사용하여 Data Catalog에서 검색을 수행하거나 연결되지 않은 태그 템플릿을 보는 경우에만 필요합니다.
공개 태그는 Data Catalog 검색 페이지에서 조건자로 간단한 검색 및 검색을 모두 지원합니다. 태그 템플릿을 만들 때 공개 태그 템플릿을 만드는 옵션은 Google Cloud 콘솔의 기본 및 권장 옵션입니다.
예를 들어 Name, Location, Salary라는 데이터 항목 3개에 태그를 만드는 데 사용한 employee data라는 공개 태그 템플릿이 있다고 가정해 보겠습니다. 데이터 항목 3개 중에서 HR이라는 특정 그룹의 구성원만 Salary 데이터 항목을 볼 수 있습니다. 다른 두 데이터 항목에는 모든 회사 직원에 대한 보기 권한이 있습니다.
HR 그룹의 구성원이 아닌 직원이 Data Catalog 검색 페이지를 사용하고 employee 단어를 사용하여 검색하면 검색결과는 연결된 공개 태그가 있는 Name 및 Location 데이터 항목을 반환합니다.
공개 태그는 다양한 상황에 유용하며 이러한 태그는 직관적으로 사용할 수 있습니다. 공개 태그는 조건자를 사용한 간단한 검색 및 검색을 지원하고, 비공개 태그는 조건자를 사용한 검색만 지원합니다.
데이터 항목에 연결된 샘플 태그
다음은 테이블과 해당 열에 여러 비즈니스 메타데이터 태그가 연결된 샘플 고객 테이블 cust_tbl을 보여주는 다이어그램입니다.
태그 템플릿
데이터에 태그를 지정하려면 먼저 태그 템플릿을 하나 이상 만들어야 합니다. 태그 템플릿은 공개 또는 비공개 태그 템플릿일 수 있습니다. 태그 템플릿을 만들 때 공개 태그 템플릿을 만드는 옵션은 Google Cloud 콘솔의 기본 및 권장 옵션입니다. 태그 템플릿은 필드라는 메타데이터 키-값 쌍의 그룹입니다. 템플릿 세트는 메타데이터의 데이터베이스 스키마와 유사합니다.
주제별로 태그를 구성할 수 있습니다. 예를 들면 다음과 같습니다.
- 데이터 거버넌스, 보관 날짜, 삭제 날짜, PII(예 또는 아니요), 데이터 분류(공개, 기밀, 민감, 규제) 필드가 있는 데이터 거버넌스 태그
- 품질 문제, 업데이트 빈도, SLO 정보 필드가 있는 데이터 품질 태그
- 인기 사용자, 인기 검색어, 평균 일일 사용자 필드가 있는 데이터 사용 태그
그런 다음 각 데이터 애셋 및 비즈니스 요구 사항에 맞는 태그만 사용하여 태그를 조합하고 일치시킬 수 있습니다.
태그의 필드
태그에는 정보를 저장할 수 있는 필드가 하나 이상 포함됩니다. 태그의 필드는 태그 템플릿에서 정의되며 각 필드를 사용하여 값을 하나 이상 저장할 수 있습니다. 모든 태그는 태그 템플릿 인스턴스이며 전체 데이터 항목 또는 특정 테이블이나 열에 적용할 수 있습니다. 예를 들어 열에 있는 태그는 해당 열에 PII가 포함되어 있는지, 지원 중단되었는지 여부 또는 특정 값을 계산하는 데 사용된 수식 등을 알려줄 수 있습니다.
각 필드에는 ID, 표시 이름, 유형이 포함됩니다. 유형은 string, double, boolean, enum(열거형) 또는 datetime일 수 있습니다. 유형이 enum이면 템플릿은 필드에 허용되는 값도 저장합니다.
필드는 정렬된 집합으로 템플릿에 저장되며, 순서는 다른 필드와 비교하여 필드의 상대적 중요도를 나타냅니다.
필수로 표시하지 않는 한 필드는 선택사항입니다. 템플릿이 사용될 때 필수 필드에는 값이 지정되어야 하며, 선택 필드는 비워 둘 수 있습니다.
템플릿을 만든 후에는 선택 필드를 필수로 변경할 수 없습니다.
태그의 샘플 필드
다음은 여러 필드 유형이 포함된 빠른 시작의 태그 템플릿 예시입니다.
다음은 템플릿에서 생성된 태그로, 각 필드에 값이 제공됩니다.
태그 템플릿 갤러리 보기
시작하는 데 도움이 되도록 Data Catalog에는 일반적인 태그 지정 사용 사례를 보여주는 샘플 태그 템플릿 갤러리가 포함되어 있습니다. 이러한 예시를 통해 태그 지정의 강력함을 알아보거나 고유한 태그 지정 인프라를 만들 수 있습니다.
태그 템플릿 템플릿을 사용하려면 다음 단계를 수행합니다.
Google Cloud 콘솔에서 Dataplex 태그 템플릿 페이지로 이동합니다.
태그 템플릿 만들기를 클릭합니다.
템플릿 갤러리가 템플릿 만들기 페이지의 일부로 표시됩니다.
갤러리의 템플릿을 선택했으면 다른 태그 템플릿처럼 사용할 수 있습니다. 템플릿의 속성을 추가 및 삭제하고 비즈니스 니즈에 맞게 템플릿을 변경할 수 있습니다. 그런 다음 Data Catalog를 사용하여 템플릿 필드와 값을 검색할 수 있습니다.
태그 액세스 제어
태그와 메타데이터에는 민감한 정보가 포함될 수 있으며 데이터 거버넌스팀은 특정 태그를 일부 사용자 그룹에게만 표시할 수 있습니다. Data Catalog는 태그 템플릿에 대한 액세스 제어를 제공하며 이러한 설정은 해당 템플릿을 사용하여 만든 모든 태그로 확장됩니다.
다음 예시와 같이 다양한 액세스 제어 구성이 있는 태그 템플릿을 설정할 수 있습니다.
- 템플릿 생성자만 태그를 만드는 데 사용할 수 있는 태그 템플릿
- 특정 사용자 그룹에게만 표시되는 태그를 생성하는 태그 템플릿
- 선택된 사용자 집합이 다른(다른 동일한 사용자) 방문자 집합에게만 표시되는 태그를 만드는 데 사용할 수 있는 태그 템플릿
- 조직 또는 프로젝트의 모든 사용자에게 표시되는 태그 템플릿(공개 태그)
태그 템플릿 액세스 권한은 IAM 역할로 부여되거나 거부됩니다. 이는 태그 템플릿을 생성, 편집, 사용할 수 있는 권한을 제공합니다. 다음은 사용 가능한 Data Catalog 역할입니다.
사용자가 태그 템플릿을 만들거나 업데이트할 수 있게 하려면 태그 템플릿 생성자 역할을 부여해야 합니다.
사용자가 데이터 항목에 태그를 적용할 수 있게 하려면 태그 템플릿 사용자 역할을 부여해야 합니다.
자세한 내용은 Data Catalog Identity and Access Management를 참조하세요.
리전 리소스
모든 태그 템플릿과 태그는 특정 Google Cloud 리전에 저장됩니다. 태그 템플릿을 사용하여 모든 리전에서 태그를 만들 수 있으므로 데이터 항목이 여러 리전에 분산되어 있는 경우 템플릿 사본을 만들 필요가 없습니다.
다음 단계
공개 태그와 비공개 태그를 보고 연결하는 데 필요한 역할 및 권한을 알아보세요. 공개 및 비공개 태그를 볼 수 있는 역할 및 Google Cloud 리소스에 태그를 연결할 수 있는 역할을 참조하세요.
공개 태그와 비공개 태그를 사용하여 데이터 항목을 검색하는 방법을 알아봅니다. Data Catalog 검색 구문을 참조하세요.
샘플 공개 태그 템플릿과 일부 태그를 만듭니다. Data Catalog를 사용하여 BigQuery 테이블에 태그 지정을 참조하세요.