구글 클라우드, AWS 서울 리전에 빅쿼리 옴니 지원

많은 엔터프라이즈급 기업들이 멀티 클라우드 아키텍처를 배포하면서, 기업의 데이터는 여러 퍼블릭 클라우드 제공업체로 분산되고 있습니다. 나아가 기업은 비즈니스 인텔리전스, 분석, 스트리밍 등 여러 사용 사례에서 파생되는 데이터를 데이터 웨어하우스, 운영 및 관계형 데이터베이스, 객체 스토리지 등 다양한 스토리지 시스템으로 점점 더 분할 관리하는 추세입니다.

이러한 데이터 트렌드에 따라 고객들은 개방형 멀티 클라우드 데이터 레이크로 눈을 돌리고 있습니다. 그러나 멀티 클라우드 데이터 레이크는 데이터 사일로, 데이터 복제, 파편화된 거버넌스, 도구의 복잡성, 비용 증가와 같은 여러 문제를 안고 있습니다. 

구글 클라우드는 이러한 고객의 다양한 문제점을 해결하기 위해 AWS 서울 리전에 빅쿼리 옴니(BigQuery Omni)를 지원합니다.

빅쿼리 옴니는 데이터 사일로를 허물고 원활한 데이터 액세스를 지원해, 한국에 기반을 둔 멀티 클라우드 고객 또는 해당 지역에서 엔드 유저를 확보하려는 기업에 이상적인 서비스를 제공합니다.

빅쿼리 옴니는 유연한 멀티 클라우드 분석 솔루션으로 익숙한 빅쿼리 사용자 인터페이스(UI)를 사용해 구글 클라우드, 아마존웹서비스(AWS) 및 애저(Azure) 환경에서 비용 효율적으로 데이터에 액세스하고 안전하게 데이터를 분석할 수 있도록 지원합니다.

기업은 표준 SQL과 구글 클라우드 고객들이 선호하는 빅쿼리 API를 사용해 데이터 사일로를 해소하고 단일 창에서 중요한 비즈니스 인사이트를 확보할 수 있습니다. 또한 데이터 소스 전반에서 클라우드 간 분석을 수행하고 빅레이크(BigLake) 및 데이터플렉스(Dataplex)를 통해 통합된 멀티 클라우드 거버넌스를 확보할 수 있습니다.

빅쿼리 옴니가 기업에 어떻게 적용될 수 있을지 궁금하신가요? 구글의 데이터 클라우드를 활용해 비즈니스 과제를 해결하고 있는 고객들의 클라우드 간 분석 사용 사례와 이를 통해 실현하고 있는 이점을 소개합니다.

Cross-Cloud 분석을 가능하게 하는 빅쿼리 옴니 

구글의 데이터 클라우드 기술을 통해 고객은 분산형 클라우드 서비스 간 고유한 조합을 활용할 수 있습니다. 루커(Looker)를 사용해 애자일한 크로스 클라우드(cross-cloud) 시맨틱 비즈니스 계층을 생성하고, 빅쿼리와 빅레이크, 빅쿼리 옴니와 같은 기능을 통해 클라우드 환경 전반에 걸쳐 데이터 레이크 및 데이터 웨어하우스를 대규모로 관리할 수 있습니다.

빅레이크는 데이터 웨어하우스와 레이크 하우스를 통합하는 스토리지 엔진으로, 빅쿼리 관리 테이블 및 파케이(Parquet), 아파치 아이스버그(Apache Iceberg)와 같은 오픈 파일 형식을 비롯한 다양한 스토리지 형식을 표준화합니다. 빅쿼리 옴니는 AWS 또는 애저 스토리지에서 로컬로 실행할 수 있는 컴퓨팅 엔진을 제공하며, 고객은 이를 사용해 AWS 또는 애저의 데이터를 원활하게 쿼리할 수 있습니다. 

이러한 서비스는 다음과 같은 몇 가지 주요 이점을 제공합니다 :

1. (구글 클라우드 플랫폼, 아마존웹서비스, 마이크로소프트 애저 전반에서) 멀티 클라우드 데이터 레이크를 쿼리할 수 있는 단일 창 제공

2. 여러 플랫폼에서 이그레스(egress) 비용 발생 전혀 (또는 거의) 없이 데이터를 결합해 크로스 클라우드 분석 수행 

3. 데이터 위치와 관계없이 데이터에 대한 통합 거버넌스 및 보안 관리 

다각적 인사이트를 위한 통합 마케팅 분석

기업은 광고 최적화, 재고 관리, 고객 이탈 예측, 구매자 성향 트렌드 등 다양한 마케팅 분석을 수행하고자 합니다. 기존에 이러한 분석을 수행하려면 구글 애널리틱스(Google Analytics), 공공 데이터 세트, 클라우드 환경에 저장된 기타 독점 정보 등 여러 다른 소스의 데이터를 사용해야 했습니다. 클라우드 간 분석을 수행하고 실행 가능한 인사이트를 도출하기 위해서는 대량의 데이터를 이동하고 중복 복사본을 관리하며 비용 증가 또한 감수해야 합니다. 

빅쿼리 옴니를 사용하면 이러한 워크플로를 훨씬 간소화할 수 있습니다. 사용자는 익숙한 빅쿼리 인터페이스를 사용해 AWS 또는 애저에 있는 데이터에 액세스하고, 추가 분석을 위해 결합해야 하는 관련 데이터만 검색 및 선택할 수 있습니다. 이 데이터의 하위 집합은 빅쿼리 옴니의 새로운 클라우드 간 전송 기능(Cross-Cloud Transfer capabilities)을 사용해 구글 클라우드로 이전할 수 있습니다. 고객은 해당 데이터를 구글 클라우드의 다른 데이터 세트와 결합할 수 있으며, 이렇게 통합된 테이블은 루커 및 루커 스튜디오(Looker Studio)와 같은 고급 분석 도구를 통해 주요 비즈니스 이해관계자에게 제공될 수 있습니다. 이제 버텍스 AI(Vertex AI)를 통해 이 데이터를 최신 AI 모델과 연결할 수도 있습니다.

세일즈 및 재고, 사용자 및 검색 데이터가 여러 데이터 사일로에 분산되어 있는 리테일 업체를 예로 들어보겠습니다. 빅쿼리 옴니를 사용하면 이러한 데이터 세트를 원활하게 통합하고 고객 세분화, 캠페인 관리, 수요 예측 등과 같은 여러 마케팅 분석 시나리오를 강화할 수 있습니다.

멀티 클라우드 거버넌스를 갖춘 데이터 플랫폼

고객들의 또 다른 니즈는 통합 데이터 플랫폼을 통해 서로 다른 클라우드의 데이터 사일로 환경에서도 운영, 트랜잭션 및 비즈니스 데이터를 분석하고자 하는 것입니다. 데이터 사일로는 인수 합병, 분석 도구의 표준화, 여러 클라우드 환경에서 다양한 솔루션 활용, 클라우드 간 데이터 사용 공간 다각화 등 다양한 요인으로 인해 발생합니다. 사일로 전반에서 데이터 액세스를 지원하는 단일 창 외에도, 고객은 모든 클라우드 환경에서 일관되고 균일한 데이터 거버넌스를 원합니다.

스토리지와 컴퓨팅 계층을 각각 추상화하는 빅레이크와 빅쿼리 옴니를 활용해 기업은 데이터 위치에 관계없이 구글 클라우드에서 데이터에 액세스하고 쿼리를 수행할 수 있습니다. 또한 빅쿼리에서 세분화된 행 수준 및 열에 대한 액세스 정책을 설정하고, 모든 클라우드 환경에서 일관성 있게 데이터를 관리할 수 있습니다. 이러한 구성 요소를 통해 데이터 엔지니어링 팀은 복잡한 데이터 파이프라인을 구축하고 관리할 필요 없이, 데이터 사용자를 위해 통합 및 관리된 데이터 플랫폼을 구축할 수 있습니다. 또한 데이터플렉스 및 데이터 카탈로그(Data Catalog)와 빅쿼리 옴니를 통합해 모든 클라우드에서 데이터를 검색하고, 비즈니스 용어 및 도메인 관련 데이터를 통해 비즈니스 컨텍스트를 추가함으로써 데이터를 보강할 수 있습니다.

데이터 공급자와 고객 간 데이터 공유 간소화

크로스 클라우드 분석에서 새롭게 떠오르는 세 번째 패턴은 데이터 공유입니다. 여러 서비스에서 재고 데이터, 가입자 데이터와 같은 정보를 고객 또는 사용자와 공유해야 하는 비즈니스 요구가 있으며, 자체 데이터로 이를 분석하거나 집계한 후 그 결과를 서비스 제공업체와 다시 공유하는 경우가 종종 발생합니다. 두 대상의 클라우드 환경이 서로 달라 데이터를 클라우드 간 이동 및 공유해야 하는 경우도 많습니다.

빅쿼리 옴니로 고객은 다음과 같은 기능을 사용할 수 있습니다:

• 단일 사용자 인터페이스를 기반으로 여러 클라우드 간 데이터 액세스 및 쿼리 수행

• 데이터 분석 전 데이터 엔지니어링의 필요성 감소

• 동일하고 일관된 보안 제어를 활용하고 여러 클라우드 환경에서 실행되는 애플리케이션을 배포해 운영 오버헤드 및 위험 감소

• 데이터 처리 및 분석에 소요되는 시간을 크게 단축해 인사이트 창출 가속화

• 여러 클라우드의 사용 공간 및 범위에 대해 일관성 있고 예측 가능한 예산 수립

• 기민한 분석 지원 및 모든 클라우드 투자에 대한 이점 극대화

삼성전자 빅데이터센터(Big Data Center), 콘텐츠웨이브(Waave), LG CNS를 비롯한 고객들은 이미 빅쿼리 옴니를 사용해 데이터 사일로를 허물고 클라우드 제공업체 간 원활한 데이터 액세스를 확보하고 있습니다. 

“멀티 클라우드 전략에 꼭 필요한 빅쿼리 옴니의 한국 출시를 축하드립니다. 당사의 데이터 플랫폼 전략 수립 및 구축에 큰 도움이 될 것입니다.” - 임근휘 부사장, 삼성전자 빅데이터센터 BD 플랫폼 R&D 총괄

“빅쿼리 옴니를 테스트해 본 결과, AWS 데이터를 빅쿼리로 바로 가져올 수 있는 기능이 정말 만족스러웠습니다. 새로운 클라우드에 온보딩하지 않고도 여러 조직과의 데이터 공유를 관리할 수 있는 빅쿼리 옴니의 잠재력에 기대가 큽니다.” - 신익준 팀장, LG CNS 구글 클라우드 비즈니스 담당

“웨이브는 구글 클라우드 플랫폼(GCP)을 활용해 전체 조직과 서비스를 아우르는 대규모 데이터 플랫폼을 구축하고 있습니다. 초기 서비스 탐색 및 기술 검증(PoC) 과정에서 빅쿼리 옴니의 뛰어난 잠재력을 확인했으며, 앞으로 빅쿼리 옴니가 당사의 클라우드 여정을 지원하고 향후 애플리케이션의 규모 및 효율성을 향상시킬 수 있을 것으로 기대하고 있습니다.” - 한원식 플랫폼기술본부장(CTO), 콘텐츠웨이브

더 알아보기

본 문서에서 빅쿼리 옴니에 대해 보다 자세한 내용을 확인하실 수 있습니다. 자기 주도형 실습을 통해 빅쿼리 옴니를 쉽게 설정하는 방법도 배워보세요.