Data Catalog 구문 검색

이 문서에서는 Data Catalog 검색 쿼리의 구문을 설명합니다. 이 문서를 읽기 전에 데이터 항목, 태그 및 태그 템플릿, 기타 종류의 메타데이터와 같은 Data Catalog의 개념을 이해하는 것이 중요합니다. Data Catalog란 무엇인가요?를 참조하세요.

Data Catalog 검색어를 시작하려면 Google Cloud 콘솔에서 Dataplex 검색 페이지로 이동합니다.

Dataplex 검색으로 이동

가장 간단한 형태의 Data Catalog 검색어는 단일 조건자로 구성됩니다. 이러한 조건자는 다음과 같은 여러 메타데이터와 일치할 수 있습니다.

  • 이름, 표시 이름 또는 데이터 애셋 설명의 하위 문자열
  • 데이터 애셋의 정확한 유형
  • 데이터 애셋의 스키마에 있는 열 이름의 하위 문자열(또는 중첩된 열 이름)
  • 프로젝트 ID의 하위 문자열
  • 공개 태그 값, 공개 태그 템플릿 이름, 데이터 항목에 연결된 공개 태그 템플릿의 필드 이름
  • (미리보기) 데이터 스튜어드의 이메일 주소나 이름의 문자열
  • (미리보기) 개요 설명의 문자열

단순 검색에서는 datetime 유형의 태그 템플릿 필드를 지원하지 않습니다.

예를 들어 조건자 foo는 다음 항목과 일치합니다.

  • foo.bar 이름의 데이터 애셋
  • Foo Bar 표시 이름의 데이터 애셋
  • This is the foo script. 설명을 포함한 데이터 애셋
  • 정확한 foo 유형의 데이터 애셋
  • 데이터 애셋 스키마의 열 foo_bar
  • 데이터 애셋 스키마의 중첩 열 foo_bar
  • 프로젝트 prod-foo-bar
  • foo라는 공개 태그 템플릿, foo 태그 템플릿으로 태그된 데이터 항목, foo의 태그 템플릿 표시 이름, foo의 태그 템플릿 필드 이름, 문자열의 foo 태그 필드 값, enum 또는 서식 있는 텍스트를 반환합니다.
  • (미리보기) foo라는 데이터 스튜어드가 있는 데이터 애셋
  • (미리보기) 개요에 foo라는 단어가 포함된 데이터 애셋

공개 및 비공개 태그를 볼 수 있는 역할 및 권한에 대해 자세히 알아보려면 공개 및 비공개 태그를 볼 수 있는 역할을 참조하세요.

한정된 조건자

특정 메타데이터 조각으로 일치를 제한하는 키를 조건자에 프리픽스로 지정하여 조건자를 한정시킬 수 있습니다.

등호(=)는 검색을 일치검색으로 제한합니다.

키 뒤의 콜론(:)은 조건자를 검색결과 값의 하위 문자열 또는 토큰과 일치시킵니다.

토큰화는 텍스트 스트림을 일련의 토큰으로 나눕니다. 각 토큰은 단어 하나에 해당합니다.

예를 들면 다음과 같습니다.

  • name:foofoo 하위 문자열이 포함된 이름의 항목을 선택합니다(foo1barfoo).
  • description:foo는 설명에서 foo 토큰이 있는 항목을 선택합니다(bar and foo).
  • location=foo는 지정된 위치에서 위치 이름이 foo인 모든 데이터 애셋을 찾습니다.

Data Catalog는 다음 한정자를 지원합니다.

한정자 설명
name:x 데이터 애셋 ID의 하위 문자열인 x과 일치합니다.
displayname:x 데이터 애셋 표시 이름의 하위 문자열인 x과 일치합니다.
column:x 데이터 애셋 스키마에서 열 이름(또는 중첩 열 이름)의 하위 문자열인 x과 일치합니다.
AND 논리 연산자를 사용하여 경로를 통해 중첩 열을 검색할 수 있습니다.
예를 들어 column:(foo bar)은 중첩된 열을 foo.bar 경로와 일치시킵니다.
description:x 데이터 애셋 설명에 있는 x 토큰을 찾습니다.
label:bar 라벨(일부 값 포함)가 있는 BigQuery 데이터 애셋을 찾습니다. 라벨 키에는 하위 문자열인 bar가 있습니다.
label=bar 라벨(일부 값 포함)이 있는 BigQuery 데이터 애셋을 찾습니다. 라벨 키는 bar 문자열에 필적합니다.
label:bar:x BigQuery 데이터 애셋에 연결된 bar 키가 있는 라벨의 값에서 하위 문자열과 일치하는 x를 찾습니다.
label=foo:bar 키가 foo이고 키 값이 bar인 BigQuery 데이터 애셋을 찾습니다.
label.foo=bar 키가 foo이고 키 값이 bar인 BigQuery 데이터 애셋을 찾습니다.
label.foo 키가 문자열로 foo인 라벨이 있는 BigQuery 데이터 애셋을 찾습니다.
type=<type> 특정 객체 유형 또는 하위 유형의 데이터 애셋을 찾습니다. 하위 유형은 <type>.<sub-type>.
형식으로 추가할 수 있으며 유형과 하위 유형은 다음과 같습니다.
  • type=table은 모든 테이블을 찾습니다.
  • type=dataset는 모든 데이터 세트를 찾습니다.
  • type=table.view 또는 type=view는 모든 뷰를 찾습니다.
  • type=lake는 모든 레이크를 찾습니다.
  • type=zone은 모든 영역을 찾습니다.
  • type=tag_template은 모든 태그 템플릿을 찾습니다.
  • type=entry_group은 모든 항목 그룹을 찾습니다.
  • type=data_stream은 모든 Pub/Sub 주제를 찾습니다.
  • (미리보기) type=dataset.linked는 모든 Analytics Hub 연결 데이터 세트와 일치합니다.
projectid:bar 클라우드 프로젝트 내 ID에서 bar 하위 문자열과 일치하는 데이터 애셋을 찾습니다.
parent:x BigQuery 데이터 애셋의 계층적 경로의 하위 문자열과 일치하는 x를 찾습니다. 경로의 형식은 <project_id>.<dataset_name>입니다.
예를 들어 parent:foo.bar는 경로가 project-foo.bar-dataset인 데이터 세트의 모든 테이블과 뷰를 찾습니다.
orgid=number number의 정확한 ID 값을 가진 클라우드 조직 내의 데이터 애셋과 일치합니다.
system=<system> 지정된 시스템에서 모든 데이터 애셋을 찾습니다.
시스템은 다음을 포함합니다:
  • system=bigquery는 BigQuery의 모든 데이터 애셋을 찾습니다.
  • system=cloud_bigtable은 Bigtable의 모든 데이터 애셋을 찾습니다.
  • system=cloud_pubsub은 Pub/Sub의 모든 데이터 애셋을 찾습니다.
  • system=cloud_spanner는 Spanner의 모든 데이터 애셋을 찾습니다.
  • system=dataproc_metastore는 Dataproc Metastore의 모든 데이터 애셋을 찾습니다.
  • system=data_catalog는 Data Catalog에서 생성된 모든 데이터 애셋을 찾습니다.
  • system=dataplex는 Dataplex에서 생성된 모든 데이터 애셋을 찾습니다.
location=<location> 지정된 위치에서 이름이 정확하게 일치하는 모든 데이터 애셋을 검색합니다. 예를 들어 location=us-central1은 Iowa에 호스팅되는 모든 일치하는 애셋을 검색합니다.
지원되는 위치의 전체 목록은 Data Catalog 리전을 참조하세요.
cluster_location=<location> 정확한 이름을 사용해서 지정된 위치의 모든 Bigtable 데이터 애셋을 찾습니다.
예를 들어 cluster_location=us-central1은 아이오와에서 호스팅되는 모든 애셋을 찾습니다.
지원되는 위치의 전체 목록은 Bigtable 리전을 참조하세요.
tag:x x가 비공개 또는 공개 태그의 <tag_template_project_id>.<tag_template_id>.<tag_field_id>에 있는 하위 문자열과 일치하는 데이터 애셋을 찾습니다.
예:
  • tag:data_ownerdata_owner 태그가 있는 데이터 애셋을 찾습니다.
  • tag:data_gov_templatedata_gov_template 태그 템플릿으로 태깅된 데이터 애셋을 찾습니다.
  • tag:mycloudproject.data_gov_templatemycloudproject 프로젝트의 data_gov_template 템플릿 태그가 지정된 데이터 애셋을 찾습니다.
tag:key<operator>val 먼저 key를 태그 템플릿의 Google Cloud 프로젝트 ID, 태그 템플릿 ID, 또는 태그 필드 ID의 하위 문자열과 일치시킵니다. 그런 다음 태그 필드 유형에 따라 valkey의 태그 값과 일치시킵니다.
태그 값에 허용되는 유형에 종속된 <operator> 집합은 다음과 같습니다.
  • string/richtext: ":"
    참고: 이 문자열 검색의 콜론은 하위 문자열이 아닌 정확한 토큰 일치를 나타냅니다.
  • booleanenum: '='
  • double: '=', '<', '>', '<=', '>='
  • timestamp: ':', '=', '<', '>', '<=', '>='
예:
  • string: tag:data_owner:@mail.com@mail.com 값을 갖는 데이터 애셋을 찾습니다.
  • boolean: tag:data_gov_template.hasPII=truetruedata_gov_templatehasPII boolean 태그를 찾습니다.
  • enum: tag:certification_level_1=HIGHEST.
  • double: tag:datascore=9는 값 9datascore double 태그가 있는 데이터 애셋을 찾습니다.
  • timestamp: tag:expiredDate:2019-01-01expiredDate 태그가 2019-01-01인 데이터 애셋을 찾습니다.
  • timestamp: tag:expiredDate<2019-02expiredDate 태그가 2019-02-01T00:00:00 이전인 데이터 애셋을 찾습니다.
createtime 지정된 날짜나 시간 내에, 이전에 또는 이후에 생성된 데이터 애셋을 찾습니다.
예:
  • createtime:2019-01-012019-01-01에 생성된 데이터 애셋을 찾습니다.
  • createtime<2019-022019-02-01T00:00:00 이전에 생성된 데이터 애셋을 찾습니다.
  • createtime>2019-022019-02-01T00:00:00 이후에 생성된 데이터 애셋을 찾습니다.
updatetime 지정된 날짜나 시간 내에, 이전 또는 이후에 업데이트된 데이터 애셋을 찾습니다.
예:
  • updatetime:2019-01-012019-01-01에 업데이트된 데이터 애셋을 찾습니다.
  • updatetime<2019-022019-02-01T00:00:00 이전에 업데이트된 데이터 애셋을 찾습니다.
  • updatetime>2019-022019-02-01T00:00:00 이후에 업데이트된 데이터 애셋을 찾습니다.
policytag:x 정책 태그 표시 이름의 하위 문자열과 일치하는 x를 찾습니다. 일치하는 정책 태그 또는 하위 요소를 사용하여 모든 애셋을 찾습니다.
policytagid=x 정책 태그 또는 분류 ID와 일치하는 x를 찾습니다. 일치하는 정책 태그 또는 하위 요소를 사용하여 모든 애셋을 찾습니다.
term:x 이름, 설명 또는 데이터 스튜어드의 하위 문자열이 x와 일치하는 비즈니스 용어집 용어에 연결된 데이터 애셋과 일치합니다.
fully_qualified_name:x fully_qualified_name의 하위 문자열로서 x와 일치합니다.
fully_qualified_name=x fully_qualified_name으로 x와 일치합니다.

논리 연산자

논리 연산자와 여러 조건자를 묶어서 쿼리를 구성할 수 있습니다. 연산자를 지정하지 않으면 논리적 AND가 암시적으로 사용됩니다. 예를 들어 foo bar는 조건자 foo와 조건자 bar 모두 충족하는 항목을 반환합니다.

논리적 AND와 논리적 OR이 지원됩니다. 예: foo OR bar.

- 또는 NOT 프리픽스를 사용하여 조건자를 부정할 수 있습니다. 예를 들어 -name:foo는 이름이 foo 조건자와 일치하지 않는 모든 항목을 반환합니다.

축약된 구문

OR 연산자에 |를 사용하고 AND 연산자에 ,를 사용하여 축약 검색 구문을 사용할 수도 있습니다.

예를 들어 OR 연산자를 사용하여 여러 프로젝트 중 하나에서 항목을 검색하려면 다음을 사용합니다.

projectid:(pid1|pid2|pid3|pid4)

다음을 대신해서 사용합니다.

projectid:pid1 OR projectid:pid2 OR projectid:pid3 OR projectid:pid4

일치하는 열 이름이 있는 항목을 검색하려면 다음 안내를 따르세요.

  • AND: column:(name1, name2, name3)
  • OR: column:(name1|name2|name3)

축약된 구문은 tag, term, policytag, policytagid, label을 제외하고 앞서 나열된 자격이 있는 서술어에 적용됩니다.