Dataplex Catalog에서 데이터 애셋 검색

Dataplex 카탈로그에서 검색을 사용하여 BigQuery 데이터 세트, Cloud SQL 인스턴스 등의 데이터 애셋을 검색합니다. Dataplex 카탈로그에서 지원되는 Google Cloud 애셋에 관한 자세한 내용은 지원되는 Google Cloud 소스를 참조하세요.

검색 범위

Dataplex 카탈로그의 검색 결과는 소스 시스템에서 해당 리소스에 대해 있는 권한을 존중합니다.

예를 들어 객체에 대해 BigQuery 메타데이터 읽기 액세스 권한이 있으면 해당 객체가 Dataplex 카탈로그 검색 결과에 표시됩니다. BigQuery 테이블에 대해 액세스 권한이 있지만 이 테이블을 포함하는 데이터 세트에 대해서는 액세스 권한이 없는 경우에도 예상한 대로 테이블이 Dataplex 카탈로그 검색에 표시됩니다.

검색 결과에는 검색이 수행되는 프로젝트와 동일한 VPC-SC 경계에 속하는 리소스만 포함됩니다. Google Cloud 콘솔을 사용하는 경우 이는 콘솔에서 선택한 프로젝트입니다.

프로젝트의 VPC 서비스 제어 경계 내 리소스 이상으로 검색 결과의 범위를 확장하려면 VPC 서비스 제어 인그레스 및 이그레스 규칙을 사용하세요. 이러한 규칙은 조직 전반에서 효율적인 비공개 데이터 교환을 용이하게 합니다. Google Cloud 콘솔을 사용하거나 JSON 또는 YAML 파일을 통해 인그레스 및 이그레스 규칙을 구성할 수 있습니다. 다음 YAML 예시를 참조하고 VPC 서비스 제어 문서를 참고하여 특정 요구사항에 맞게 규칙을 조정하세요.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Dataplex 카탈로그 IAM 역할에 대한 자세한 내용은 Dataplex IAM 역할을 참조하세요.

검색에서 재현율 제한

Dataplex 카탈로그 검색어는 전체 재현율을 보장하지 않습니다. 후속 결과 페이지에서도 검색어와 일치하는 결과가 반환되지 않을 수 있습니다. 또한 검색어를 반복하면 반환된(및 반환되지 않는) 결과가 달라질 수 있습니다.

필터

필터를 사용하면 검색 결과 범위를 좁힐 수 있습니다. 모든 필터는 다음과 같은 섹션별로 그룹화됩니다.

BigQuery, Cloud SQL과 같은 시스템. Dataplex 시스템에는 커스텀 항목이 포함되어 있습니다.
사용할 수 있는 모든 관점이 나열된 관점(태그)
사용할 수 있는 모든 프로젝트가 나열된 프로젝트
데이터베이스, 데이터 세트, 모델, 테이블, 뷰, 서비스, 커스텀 유형과 같은 리소스 유형을 설명하는 유형 별칭
BigQuery에서 가져온 데이터 세트

여러 섹션의 필터를 조합하여 선택한 모든 섹션에서 하나 이상의 조건과 일치하는 자산을 찾을 수 있습니다. 단일 섹션 내에서 선택한 여러 필터는 OR 논리 연산자를 사용하여 평가됩니다.

예를 들어 다음 이미지의 필터 조합을 살펴보세요(확대하려면 클릭). 시스템 BigQuery, 유형 별칭 table 및 view, 관점 My aspect type 1 및 My aspect type 2, 프로젝트 my-test-project, 데이터 세트 test_bq_dataset 등의 검색 필터가 선택됩니다.

Dataplex 카탈로그는 다음 애셋을 찾습니다.

관점이 My aspect type 1인 test_bq_dataset의 BigQuery 테이블
관점이 My aspect type 2인 test_bq_dataset의 BigQuery 테이블
관점이 My aspect type 1인 test_bq_dataset의 BigQuery 뷰
관점이 My aspect type 2인 test_bq_dataset의 BigQuery 뷰

관점 값으로 필터링

관점 필터를 사용하면 특정 템플릿을 사용하여 태그된 애셋을 쿼리할 수 있습니다. 맞춤설정 메뉴를 사용하여 결과를 미세 조정하고 특정 관점 값으로 필터링할 수 있습니다. 관점 값 필터 조건은 해당 관점 필드의 데이터 유형에 따라 달라집니다. 예를 들어 datetime 및 number 필드의 경우 특정 날짜 또는 범위를 지정할 수 있습니다.

필터 공개 상태

시스템, 유형 별칭, 프로젝트, 데이터 세트 필터는 검색 필드의 현재 검색어에 따라 표시됩니다.

시작하기 전에

데이터 애셋을 검색하기 전에 다음을 실행합니다.

필요한 역할

이 섹션에서는 데이터 애셋을 검색하고 검색 결과에 액세스하는 데 필요한 역할과 권한에 대해 설명합니다.

역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

커스텀 역할 또는 기타 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

항목 검색에 필요한 역할

항목을 검색하려면 검색에 사용되는 프로젝트에 대한 Dataplex 카탈로그 IAM 역할이 1개 이상 필요합니다. 검색 결과에 대한 권한은 선택한 프로젝트와는 별도로 확인됩니다.

검색 결과에 액세스하는 데 필요한 역할

Dataplex 카탈로그의 검색 결과는 역할에 따라 범위가 지정됩니다. Dataplex 카탈로그에서 애셋을 검색하려면 소스 시스템에서 해당 리소스에 액세스할 권한이 있어야 합니다. 자세한 내용은 이 문서의 검색 범위 섹션을 참조하세요.

예를 들어 BigQuery 데이터 세트, 테이블, 뷰, 모델을 검색하려면 해당 항목에 대한 권한이 필요합니다. 자세한 내용은 BigQuery 권한을 참조하세요. 다음 목록에서는 필요한 최소 권한을 설명합니다.

테이블을 검색하려면 해당 테이블에 대한 bigquery.tables.get 권한이 필요합니다.
데이터 세트를 검색하려면 해당 데이터 세트에 대한 bigquery.datasets.get 권한이 필요합니다.
데이터 세트 또는 테이블의 메타데이터를 검색하려면 BigQuery 메타데이터 뷰어 역할(roles/bigquery.metadataViewer)이 필요합니다.

또 다른 예시로 Cloud SQL 인스턴스, 데이터베이스, 스키마, 테이블, 뷰를 검색하려면 해당 항목에 대한 권한이 필요합니다. 자세한 내용은 Cloud SQL 역할 및 권한을 참조하세요.

커스텀 항목을 검색하려면 Dataplex 카탈로그 뷰어 역할(roles/dataplex.catalogViewer)이 필요합니다.

API 사용 설정

Enable the Dataplex API.

Enable the API

데이터 애셋 검색

콘솔

데이터 애셋을 검색하려면 다음 단계를 따르세요.

Google Cloud 콘솔에서 Dataplex 검색 페이지로 이동합니다.

검색 페이지로 이동
검색 플랫폼 선택에서 검색 모드로 Dataplex 카탈로그를 선택합니다.

Dataplex 카탈로그를 선택하면 Dataplex 카탈로그 메타데이터 스토리지를 검색할 수 있습니다. 기존 Data 카탈로그 사용자인 경우 Data 카탈로그를 선택하면 Data 카탈로그 저장소를 검색할 수 있습니다.
검색창에 검색어를 입력하거나 필터 패널을 사용하여 검색 매개변수를 미세 조정합니다.

다음 필터를 수동으로 추가할 수 있습니다.
- 프로젝트 필터 추가: 프로젝트에서 프로젝트 추가를 클릭합니다. 특정 프로젝트를 검색하여 프로젝트를 선택한 다음 열기를 클릭합니다.
- 관점 유형 필터 추가: 관점에서 관점 유형 추가 메뉴를 클릭합니다. 특정 템플릿을 검색하여 템플릿을 선택한 다음 확인을 클릭합니다.
선택사항: 사용 가능한 애셋 외에도 공개 데이터 세트 포함을 선택하여 Google Cloud에서 공개적으로 사용할 수 있는 데이터 애셋을 검색할 수 있습니다.

다음 도움말을 사용하여 검색어를 작성하세요.

공백이 포함된 경우 검색 표현식을 따옴표로 묶습니다. 예를 들면 "search terms"입니다.
키워드 앞에 NOT을 붙이면 keyword:term 필터의 논리적 부정과 일치하는 항목을 찾을 수 있습니다. AND 및 OR 불리언 연산자를 사용하면 검색 표현식을 조합할 수도 있습니다. AND, OR, NOT 연산자는 대소문자를 구분하지 않습니다.

예를 들어 NOT column:term은 지정된 용어와 일치하는 열을 제외한 모든 열을 나열합니다. Dataplex 카탈로그 검색 표현식에 사용할 수 있는 키워드 및 기타 용어 목록은 검색 구문을 참조하세요.

gcloud

데이터 애셋을 검색하려면 gcloud dataplex entries search 명령어를 사용합니다.

REST

데이터 애셋을 검색하려면 searchEntries 메서드를 사용합니다.

항목 세부정보 보기

콘솔

Dataplex 카탈로그 검색을 사용하여 항목의 세부정보를 확인합니다.

Google Cloud 콘솔에서 Dataplex 검색 페이지로 이동합니다.

검색 페이지로 이동
검색 모드로 Dataplex 카탈로그를 선택합니다.
검색창에 항목의 이름을 입력합니다.
항목을 클릭합니다.

항목 세부정보 페이지가 열립니다. 이 페이지에는 다음 섹션이 포함되어 있습니다.
- 항목 세부정보: 항목 유형, 시스템, 플랫폼, 정규화된 이름, 생성 시간, 마지막 수정 시간, 설명, 관리자와 같은 정보가 포함됩니다.
- 개요: 항목의 개요입니다(제공되는 경우).
- 관점: 항목에 정의된 필수 및 선택적 관점입니다. 자세한 내용은 관점 카테고리를 참조하세요.

gcloud

항목 세부정보를 보려면 gcloud dataplex entries lookup 명령어를 사용합니다.

REST

항목의 세부정보를 보려면 lookupEntry 메서드를 사용합니다.