Analytics Hub 소개

Analytics Hub는 강력한 보안 및 개인 정보 보호 프레임워크로 조직 경계에서 규모에 맞게 데이터와 통계를 공유할 수 있도록 하는 데이터 교환 플랫폼입니다. Analytics Hub를 사용하면 다양한 데이터 제공업체가 선별한 데이터 라이브러리를 찾아 액세스할 수 있습니다. 이 데이터 라이브러리에는 Google 제공 데이터 세트도 포함되어 있습니다.

예를 들어 Analytics Hub를 사용하면 타사 및 Google 데이터 세트로 분석 및 ML 이니셔티브를 보강할 수 있습니다.

Analytics Hub 사용자는 다음 작업을 수행할 수 있습니다.

• Analytics Hub 게시자는 데이터를 파트너 네트워크와 공유하거나 조직 내부에 실시간으로 공유하여 수익을 창출할 수 있습니다. 목록을 사용하면 공유 데이터를 복제하지 않고도 데이터를 공유할 수 있습니다. 적합한 대상에게 데이터를 전달할 수 있는 세분화된 권한으로 분석용 데이터 소스의 카탈로그를 빌드할 수 있습니다. 또한 구독을 관리하고 목록의 사용량 측정항목을 볼 수 있습니다.

• Analytics Hub 구독자는 원하는 데이터를 탐색하고, 공유 데이터를 기존 데이터와 결합하고, BigQuery의 기본 제공 기능을 활용할 수 있습니다. 목록을 구독하면 프로젝트에 연결된 데이터 세트 또는 연결된 Pub/Sub 구독이 생성됩니다. 구독자에 대한 관련 정보를 저장하고 게시자와 구독자 사이의 연결을 나타내는 구독 리소스를 사용해서 구독을 관리할 수 있습니다.

• Analytics Hub 뷰어는 Analytics Hub에서 액세스할 수 있는 데이터 세트를 찾아보고 공유 데이터에 액세스하기 위해 게시자에게 요청할 수 있습니다.

• Analytics Hub 관리자는 데이터 공유를 사용 설정하는 데이터 교환을 생성한 다음 데이터 게시자와 구독자에게 이러한 데이터 교환에 액세스할 수 있는 권한을 부여할 수 있습니다.

Analytics Hub 사용자 역할에 대한 자세한 내용은 Analytics Hub 역할 구성을 참조하세요.

아키텍처

Analytics Hub는 Google Cloud 데이터 리소스의 게시 및 구독 모델을 기반으로 하며, 이를 통해 제로 카피 공유가 가능합니다. Analytics Hub는 다음 Google Cloud 리소스를 지원합니다.

• BigQuery 데이터 세트
• Pub/Sub 주제

Analytics Hub의 게시자 및 구독자 워크플로에 대해서는 다음 섹션에서 자세히 설명합니다.

게시자 워크플로

다음 다이어그램은 게시자가 Analytics Hub와 상호작용하는 방법을 설명합니다.

그림 1. Analytics Hub 게시자 워크플로

그림 1에는 공유 리소스, 데이터 교환, 목록 기능에 라벨이 지정되어 있습니다.

공유 리소스

공유 리소스는 Analytics Hub에서 게시자가 공유하는 단위입니다.

공유 데이터 세트

공유 데이터 세트는 Analytics Hub의 데이터 공유 단위인 BigQuery 데이터 세트입니다. BigQuery 아키텍처에서 컴퓨팅과 스토리지를 분리하기 때문에 데이터 게시자는 데이터의 여러 복사본을 만들 필요 없이 원하는 만큼 많은 구독자와 데이터 세트를 공유할 수 있습니다. 게시자는 다음과 같은 지원 객체를 구독자에게 전달하도록 프로젝트에서 기존 BigQuery 데이터 세트를 만들거나 사용합니다.

• 승인된 뷰
• 승인된 데이터 세트
• BigQuery ML 모델
• 외부 테이블
• 구체화된 뷰
• 루틴. 모든 루틴이 공유 데이터 세트에서 지원되지는 않습니다. 자세한 내용은 제한사항을 참조하세요.
• 테이블
• 테이블 스냅샷
• 뷰

공유 데이터 세트는 열 수준 및 행 수준 보안을 지원합니다.

공유 주제(미리보기)

공유 주제는 Analytics Hub에서의 스트리밍 데이터 공유 단위인 Pub/Sub 주제입니다. 게시자는 프로젝트에서 Pub/Sub를 만들거나 기존 Pub/Sub를 사용하고 구독자에게 배포합니다.

데이터 교환

데이터 교환은 셀프서비스 데이터 공유를 사용 설정하는 컨테이너입니다. 여기에는 공유 리소스를 참조하는 목록이 포함됩니다. Analytics Hub를 사용하면 게시자와 관리자가 교환 및 목록 수준에서 구독자에게 액세스 권한을 부여할 수 있습니다. 이 방법은 기본 공유 리소스에 대한 액세스 권한을 명시적으로 부여하지 않도록 도와줍니다. Analytics Hub 구독자는 데이터 교환을 탐색하고, 액세스할 수 있는 데이터를 검색하고, 공유 리소스를 구독할 수 있습니다. 데이터 교환의 유형은 다음과 같습니다.

• 비공개 데이터 교환. 기본적으로 데이터 교환은 비공개이며 해당 교환에 액세스할 수 있는 사용자 또는 그룹만 목록을 보거나 구독할 수 있습니다.
• 공개 데이터 교환. 기본적으로 데이터 교환은 비공개이며 해당 교환에 액세스할 수 있는 사용자 또는 그룹만 목록을 보거나 구독할 수 있습니다. 하지만 데이터 교환을 공개로 설정할 수 있습니다. Google Cloud 사용자(allAuthenticatedUsers)가 공개 데이터 교환의 목록을 검색하고 구독할 수 있습니다. 공개 데이터 교환에 대한 자세한 내용은 데이터 교환 공개로 설정을 참조하세요.

Analytics Hub 관리자는 Analytics Hub에서 여러 개의 데이터 교환을 만들고 다른 Analytics Hub 사용자를 관리할 수 있습니다.

등록정보

목록은 게시자가 데이터 교환에 나열하는 공유 리소스를 참조합니다. 게시자는 목록을 만들고 리소스 설명, 실행할 샘플 쿼리 또는 샘플 메시지 데이터, 관련 문서 링크, 구독자가 공유 리소스를 사용하는 데 도움이 되는 추가 정보를 지정할 수 있습니다. 자세한 내용은 목록 관리를 참조하세요. 목록은 목록에 설정된 Identity and Access Management(IAM) 정책과 목록을 포함하는 데이터 교환의 유형에 따라 다음 두 가지 유형 중 하나일 수 있습니다.

• 공개 목록. 모든 Google Cloud 사용자(allAuthenticatedUsers)와 공유됩니다. 공개 데이터 교환의 목록은 공개 목록입니다. 이 목록은 무료 공개 리소스 또는 상용 리소스의 참조일 수 있습니다. 목록이 상용 리소스인 경우 구독자가 목록에 대한 액세스를 요청할 수 있고 데이터 제공업체가 해당 구독자에게 직접 연락합니다.
• 비공개 목록. 개인 또는 그룹과 직접 공유됩니다. 예를 들어 비공개 목록은 조직의 다른 내부 팀과 공유하는 마케팅 측정항목 데이터 세트를 참조할 수 있습니다.

구독자 워크플로

다음 다이어그램은 구독자가 Analytics Hub와 상호작용하는 방식을 설명합니다.

그림 2. Analytics Hub 구독자 워크플로.

그림 2에는 공유 리소스, 데이터 교환, 목록, 연결된 리소스 Analytics Hub 기능에 라벨이 지정되어 있습니다.

연결된 리소스

연결된 리소스는 Analytics Hub 목록을 구독할 때 생성되며, 구독자를 기본 공유 리소스에 연결합니다.

연결된 데이터 세트

연결된 데이터 세트는 공유 데이터 세트의 포인터 또는 참조 역할을 하는 읽기 전용 BigQuery 데이터 세트입니다. 목록을 구독하면 데이터 세트의 사본이 아닌 프로젝트에 연결된 데이터 세트가 생성되므로 구독자는 데이터를 읽을 수 있지만 그 안에 객체를 추가하거나 업데이트할 수 없습니다. 연결된 데이터 세트를 통해 테이블 및 뷰와 같은 객체를 쿼리하면 공유 데이터 세트의 데이터가 반환됩니다. 연결된 데이터 세트에 대한 자세한 내용은 목록 보기 및 구독을 참조하세요. 연결된 데이터 세트는 공유 데이터 세트의 테이블과 뷰에 액세스할 수 있는 권한이 있습니다. 연결된 데이터 세트가 있는 구독자는 추가 Identity and Access Management 승인 없이 공유 데이터 세트의 테이블과 뷰에 액세스합니다. 연결된 데이터 세트는 다음 객체를 지원합니다.

• 승인된 뷰
• 승인된 데이터 세트
• 승인된 루틴

연결된 Pub/Sub 구독(미리보기)

공유 주제가 있는 목록을 구독하면 구독자 프로젝트에 연결된 Pub/Sub 구독이 생성됩니다. 공유 주제 또는 메시지 데이터의 사본은 생성되지 않습니다. 연결된 Pub/Sub 구독의 구독자는 공유 주제에 게시된 메시지에 액세스할 수 있습니다. 구독자는 추가 Identity and Access Management 승인 없이 공유 주제의 메시지 데이터에 액세스합니다. 게시자는 Pub/Sub에서 직접 또는 Analytics Hub 구독 관리를 통해 구독을 관리할 수 있습니다. 연결된 Pub/Sub 구독에 대한 자세한 내용은 Pub/Sub를 통한 스트림 공유를 참고하세요.

데이터 이그레스 옵션(BigQuery 공유 데이터 세트만 해당)

데이터 이그레스 옵션을 사용하면 게시자가 BigQuery 연결 데이터 세트 외부의 데이터 구독자에 따라 내보내기를 제한할 수 있습니다.

참고: 버전에 무관한 오퍼링 또는 Enterprise Plus 버전을 사용하는 구독자만 데이터 이그레스 제한이 적용되는 데이터를 쿼리할 수 있습니다.

게시자는 목록, 쿼리 결과 또는 둘 다에 데이터 이그레스 제한을 사용 설정할 수 있습니다. 데이터 이그레스가 제한된 경우 다음 제한이 적용됩니다.

• 복사, 클론, 내보내기, 스냅샷 API가 사용 중지됩니다.

• Google Cloud 콘솔에서 복사, 클론, 내보내기, 스냅샷 옵션이 사용 중지됩니다.

• 테이블 탐색기에 대한 제한된 데이터 세트 연결이 사용 중지됩니다.

• BigQuery Data Transfer Service가 제한된 데이터 세트에서 사용 중지됩니다.

• CREATE TABLE AS SELECT 문 및 대상 테이블에 쓰기가 사용 중지됩니다.

• CREATE VIEW AS SELECT 문 및 대상 뷰에 쓰기가 사용 중지됩니다.

목록을 만들 때 적합한 데이터 이그레스 옵션을 설정할 수 있습니다.

제한사항

Analytics Hub에는 다음과 같은 제한사항이 있습니다.

• 공유 데이터 세트에는 최대 1,000개의 연결된 데이터 세트가 있을 수 있습니다.

• 공유 주제는 최대 10,000개의 Pub/Sub 구독을 포함할 수 있습니다. 이 한도에는 연결된 Pub/Sub 구독과 Analytics Hub 외부에서(예: Pub/Sub에서 직접) 생성된 Pub/Sub 구독이 포함됩니다.

• 목록을 만들 때 지원되지 않는 리소스가 있는 데이터 세트는 공유 데이터 세트로 선택할 수 없습니다. Analytics Hub가 지원하는 BigQuery 객체에 대한 자세한 내용은 이 문서의 공유 데이터 세트를 참조하세요.

• 연결된 데이터 세트 내 개별 테이블에 대한 IAM 역할 또는 IAM 정책을 설정할 수 없습니다. 대신 연결된 데이터 세트 수준에서 적용하세요.

• 2023년 7월 25일 이전에 생성된 연결된 데이터 세트는 구독 리소스로 백필되지 않습니다. 2023년 7월 25일 이후에 생성된 구독만 API 메서드가 작동합니다.

• 게시자라면 다음 BigQuery 상호 운용성 제한사항이 적용됩니다.

  • 구독자가 연결된 데이터 세트 내에서 뷰를 쿼리할 수 있게 하려면 구독자에게 소스 데이터 세트를 읽을 수 있는 명시적 권한을 부여해야 합니다. 뷰에 대한 액세스 권한을 부여하려면 게시자가 승인된 뷰를 만드는 것이 좋습니다. 승인된 뷰는 구독자에게 기본 소스 데이터에 대한 액세스 권한을 부여하지 않고도 뷰 데이터에 대한 액세스 권한을 부여할 수 있습니다.

  • 쿼리 계획에는 프로젝트 ID 및 승인된 뷰에 포함된 기타 데이터 세트를 포함하여 공유된 뷰 쿼리 및 루틴 쿼리가 표시됩니다. 민감한 것으로 간주되는 암호화 키와 같은 항목은 공유 뷰 또는 루틴 쿼리에 포함하지 마세요.

  • Data Catalog에서 공유 데이터 세트 색인이 생성됩니다. 테이블 또는 뷰 추가와 같은 공유 데이터 세트에 대한 업데이트는 지연 없이 구독자에게 제공됩니다. 하지만 특정 시나리오에서 예를 들어 공유 데이터 세트에 구독자나 테이블이 100개 넘게 있는 경우 업데이트가 Data Catalog에서 색인을 생성하는 데 최대 18시간이 걸릴 수 있습니다. 색인 생성이 지연되므로 구독자는 Google Cloud 콘솔에서 업데이트된 이러한 리소스를 즉시 검색할 수 없습니다.

  • 공유 주제는 Data Catalog에서 색인이 생성되지만 해당 리소스 유형을 특별히 필터링할 수는 없습니다.

  • 나열된 테이블에 행 수준 보안 또는 데이터 마스킹 정책을 설정한 경우 구독자는 Enterprise 또는 연결된 데이터 세트에서 쿼리 작업을 실행하기 위한 Enterprise Plus 고객이어야 합니다. 버전에 대한 자세한 내용은 BigQuery 버전 소개를 참조하세요.

• 구독자라면 다음과 같은 BigQuery 상호 운용성 제한사항이 적용됩니다.

  • 연결된 데이터 세트의 테이블을 참조하는 구체화된 뷰는 지원되지 않습니다.

  • 연결된 데이터 세트 테이블의 스냅샷 생성은 지원되지 않습니다.

  • 연결된 데이터 세트와 JOIN 문이 1TB(물리적 스토리지)보다 큰 쿼리는 실패할 수 있습니다. 이 문제를 해결하려면 지원팀에 문의하세요.

  • INFORMATION_SCHEMA 뷰에서 리전 한정자를 사용하여 연결된 데이터 세트의 테이블 메타데이터를 볼 수 없습니다.

  • 연결된 데이터 세트에서 routines을 쿼리할 때는 사용자 정의 함수(SQL 및 JavaScript UDF 모두) 및 테이블 함수 루틴 유형만 쿼리할 수 있습니다. 지원되지 않는 루틴 유형을 쿼리하면 다음 오류 메시지가 표시됩니다. Querying routine type type is not yet supported on linked dataset dataset.

    주의: 게시자는 지원되지 않는 루틴과 데이터 세트를 공유할 때 주의해야 합니다. 지원되지 않는 루틴은 이후에 지원을 받으면서 지원되지 않는 루틴에서 이전에 비활성화된 쿼리가 작동할 수 있습니다. 구독자에게 공유하려는 루틴만 공유 데이터 세트에 포함해야 합니다.

• 사용량 측정항목에는 다음과 같은 제한사항이 적용됩니다.

  • 2023년 7월 20일 이전에 구독된 목록에 대해서는 사용량 측정항목을 가져올 수 없습니다.

  • num_rows_processed 및 total_bytes_processed 필드의 외부 테이블 사용 측정항목은 부정확한 데이터를 포함할 수 있습니다.

  • 소비에 대한 사용량 측정항목은 BigQuery 작업을 통한 사용량에만 지원됩니다. 다음 리소스를 사용하는 소비는 지원되지 않습니다.

    • BigQuery Storage Read API
    • tabledata.list
    • BigQuery BI Engine 쿼리

  • 뷰의 사용량 측정항목은 2024년 4월 22일 이후의 쿼리에 대해서만 채워집니다.

  • Analytics Hub에 연결된 Pub/Sub 구독에 대한 사용량 측정항목은 캡처되지 않습니다(Pub/Sub에서 직접 사용량을 계속 확인할 수 있음).

• Salesforce Data Cloud 데이터를 구독할 때 다음 제한사항이 적용됩니다.

  • Data Cloud 데이터는 뷰로 공유됩니다. 구독자는 뷰가 참조하는 기본 테이블에 액세스할 수 없습니다.

지원되는 리전

Analytics Hub는 다음 리전 및 멀티 리전에서 지원됩니다.

리전

다음 표에는 Analytics Hub를 사용할 수 있는 미주 지역의 리전이 나와 있습니다.

리전 설명	리전 이름	세부정보
오하이오 주 콜럼부스	us-east5
댈러스	us-south1	낮은 CO2
아이오와	us-central1	낮은 CO2
라스베이거스	us-west4
로스앤젤레스	us-west2
몬트리올	northamerica-northeast1	낮은 CO2
북버지니아	us-east4
오리건	us-west1	낮은 CO2
솔트레이크시티	us-west3
상파울루	southamerica-east1	낮은 CO2
산티아고	southamerica-west1
사우스캐롤라이나	us-east1
토론토	northamerica-northeast2

다음 표에는 Analytics Hub를 사용할 수 있는 아시아 태평양의 리전이 나와 있습니다.

리전 설명	리전 이름	세부정보
델리	asia-south2
홍콩	asia-east2
자카르타	asia-southeast2
멜버른	australia-southeast2
뭄바이	asia-south1
오사카	asia-northeast2
서울	asia-northeast3
싱가포르	asia-southeast1
시드니	australia-southeast1
타이완	asia-east1
도쿄	asia-northeast1

다음 표에는 Analytics Hub를 사용할 수 있는 유럽 내 리전이 나와 있습니다.

리전 설명	리전 이름	세부정보
벨기에	europe-west1	낮은 CO2
핀란드	europe-north1	낮은 CO2
프랑크푸르트	europe-west3	낮은 CO2
런던	europe-west2	낮은 CO2
네덜란드	europe-west4	낮은 CO2
바르샤바	europe-central2
취리히	europe-west6	낮은 CO2

다음 표에는 Analytics Hub를 사용할 수 있는 중동 내 리전이 나와 있습니다.

리전 설명	리전 이름	세부정보
Dammam	me-central2
텔아비브	me-west1

다음 표에는 Analytics Hub를 사용할 수 있는 아프리카 내 리전이 나와 있습니다.

리전 설명	리전 이름	세부정보
요하네스버그	africa-south1

멀티 리전

다음 표에는 Analytics Hub를 사용할 수 있는 멀티 리전이 나와 있습니다.

멀티 리전 설명	멀티 리전 이름
유럽 연합 회원국의 데이터 센터^1	EU
미국의 데이터 센터	US

¹ EU 멀티 리전에 있는 데이터는 europe-west2(런던) 또는 europe-west6(취리히) 데이터 센터에 저장되지 않습니다.

Omni 리전

다음 표에는 Analytics Hub를 사용할 수 있는 Omni가 나와 있습니다.

	Omni 리전 설명	Omni 리전 이름
AWS
	AWS - 미국 동부(북 버지니아)	aws-us-east-1
	AWS 미국 서부(오리건)	aws-us-west-2
	AWS - 아시아 태평양(서울)	aws-ap-northeast-2
	AWS - 아시아 태평양(시드니)	aws-ap-southeast-2
	AWS - 유럽(아일랜드)	aws-eu-west-1
	AWS - 유럽(프랑크푸르트)	aws-eu-central-1
Azure
	Azure - 미국 동부 2	azure-eastus2

사용 사례

이 섹션에서는 Analytics Hub를 사용하는 방법의 예시를 보여줍니다.

소매업체이고 조직에 예측이라는 Google Cloud 프로젝트에 실시간 수요 예측 데이터가 있다고 가정해 보겠습니다. 이 수요 예측 데이터를 공급망 시스템에 있는 수백 개의 공급업체와 공유하려고 합니다. Analytics Hub를 통해 공급업체와 데이터를 공유하는 방법은 다음과 같습니다.

Analytics Hub 관리자

예측 프로젝트 소유자는 먼저 Analytics Hub API를 사용 설정한 다음 Analytics Hub 관리자 역할을 프로젝트 내 데이터 교환을 관리하는 사용자에게 할당해야 합니다. Analytics Hub 관리자 역할이 있는 사용자를 Analytics Hub 관리자라고 합니다.

Analytics Hub 관리자는 다음 작업을 수행할 수 있습니다.

• 조직의 예측 프로젝트에서 데이터 교환을 생성, 업데이트, 삭제, 공유합니다.

• 다른 Analytics Hub 관리자를 관리합니다.

• 조직 직원에게 Analytics Hub 게시자 역할을 부여하여 게시자를 관리합니다. 일부 직원의 경우에는 목록을 업데이트, 삭제, 공유할 수 있지만 만들 수는 없도록 하려면 Analytics Hub 목록 관리자 역할을 부여하면 됩니다.

• 모든 공급업체로 구성된 Google 그룹에 Analytics Hub 구독자 역할을 부여하여 구독자를 관리합니다. 일부 공급업체에게 사용 가능한 교환 및 목록에 대한 보기 액세스 권한만 부여하려면 Analytics Hub 뷰어 역할을 부여하면 됩니다. 이러한 공급업체는 목록을 구독할 수 없습니다.

자세한 내용은 데이터 교환 관리를 참조하세요.

Analytics Hub 게시자

게시자는 예측 프로젝트 또는 다른 프로젝트에서 데이터 세트에 대해 다음 목록을 만듭니다.

• 목록 A: 수요 예측 데이터 세트 1
• 목록 B: 수요 예측 데이터 세트 2
• 목록 C: 수요 예측 데이터 세트 3

데이터 제공업체는 공유 데이터 세트에 대해 사용량 측정항목을 추적할 수 있습니다. 사용량 측정항목에는 다음 세부정보가 포함됩니다.

• 공유 데이터 세트에 대해 실행되는 작업
• 구독자 프로젝트 및 조직의 공유 데이터 세트 소비 세부정보
• 작업에서 처리한 행 및 바이트 수

자세한 내용은 목록 관리를 참조하세요.

Analytics Hub 구독자

구독자는 데이터 교환에서 액세스할 수 있는 목록을 탐색할 수 있습니다. 또한 연결된 데이터 세트를 만들어 이러한 목록을 구독하고 프로젝트에 데이터 세트를 추가할 수 있습니다. 공급업체는 연결된 데이터 세트에서 쿼리를 실행하고 실시간으로 결과를 검색할 수 있습니다.

자세한 내용은 목록 보기 및 구독을 참조하세요.

가격 책정

데이터 교환 또는 목록을 관리하는 데 추가 비용이 들지 않습니다.

BigQuery 데이터 세트의 경우 Analytics Hub 게시자는 데이터 스토리지에 대해 비용이 청구되지만 구독자는 주문형 또는 용량 기반 가격 책정 모델에 따라 공유 데이터에 대해 실행되는 쿼리 비용을 지불합니다. 가격 책정에 대한 자세한 내용은 BigQuery 가격 책정을 참조하세요.

Pub/Sub의 경우 주제 게시자에게 공유 주제 및 네트워크 이그레스에 기록된 총 바이트 수(게시 처리량)에 대한 요금이 청구됩니다(해당하는 경우). 구독자에게는 연결된 구독에서 읽은 총 바이트 수(구독 처리량)와 네트워크 이그레스에 대한 요금이 청구됩니다(해당하는 경우). 자세한 내용은 Pub/Sub 가격 책정을 참조하세요.

할당량

Analytics Hub 할당량에 대한 자세한 내용은 할당량 및 한도를 참조하세요.

VPC 서비스 제어

게시자와 구독자가 VPC 서비스 제어 경계가 있는 프로젝트의 데이터에 액세스하는 데 필요한 인그레스 및 이그레스 규칙을 설정할 수 있습니다. 자세한 내용은 Analytics Hub VPC 서비스 제어 규칙을 참조하세요.

다음 단계

• 목록을 보고 구독하는 방법 알아보기
• Analytics Hub 사용자에게 역할을 부여하는 방법 알아보기