사용자의 워크로드를 혁신하는 데이터의 무한 가능성

* 본 아티클의 원문은 2022년 4월 6일 Google Cloud 블로그(영문)에 게재되었습니다. 

오늘날 데이터는 다양한 형식으로 존재하고 실시간 스트림으로 제공되며 세계 각지의 여러 데이터 센터 및 클라우드에 분산되어 있습니다. 분석부터 데이터 엔지니어링, AI/ML, 데이터 기반 애플리케이션에 이르기까지 데이터를 활용하고 공유하는 방식이 계속 확장되고 있습니다. 분석가의 전유물이었던 데이터가 이제는 모든 직원, 고객, 파트너에게 영향을 주고 있습니다. 데이터, 워크로드, 사용자의 규모가 커지고 유형이 다변화되면서 기존 데이터 아키텍처로는 클라우드에서도 잠재력을 온전히 발휘할 수 없는 지점에 이르렀습니다. 그 결과, 데이터와 데이터로부터 추출할 수 있는 가치와의 격차가 벌어지고 있습니다.

오늘 Google Cloud는 이러한 문제를 해결하기 위해 고객이 모든 워크로드에 무한대의 데이터를 사용하고 액세스를 모든 사용자로 확대할 수 있도록 지원하는 여러 데이터 클라우드 혁신 기술을 선보입니다. 이번 발표에는 BigLake 및 Spanner 변경 스트림이 포함되어 고객 데이터를 더욱 확실하게 통합하고 실시간 제공을 보장하는 것은 물론 Vertex AI Workbench 및 모델 레지스트리를 통해 데이터와 AI 가치의 격차를 좁힐 수 있습니다. 또한 모든 사용자에게 데이터가 도달되도록 데이터 클라우드 파트너 생태계를 지원하는 새로운 프로그램과 함께 새로운 Workspace 통합을 포함하는 통합 비즈니스 인텔리전스(BI) 환경을 도입합니다.

모든 데이터의 한도를 없애기

오늘 Google Cloud는 데이터 레이크와 웨어하우스를 통합하여 데이터 한도를 없앤 데이터 레이크 스토리지 엔진인 BigLake의 미리보기 버전을 발표합니다. 서로 다른 레이크와 웨어하우스에 위치한 데이터를 관리하면 사일로가 형성되며 특히 데이터를 이동해야 할 경우 위험과 비용이 커집니다. BigLake를 사용하면 기업에서 데이터 웨어하우스와 레이크를 통합하여 기본 스토리지 형식이나 시스템에 대한 걱정 없이 데이터를 분석할 수 있습니다. 이에 따라 소스에서 데이터를 복제하거나 이동할 필요가 없기 때문에 효율적인 시스템이 가능합니다.

BigLake에서는 고객이 Apache Spark와 같은 오픈소스 처리 엔진과 Google Cloud 전반의 API 인터페이스, Parquet와 같은 개방형 파일 형식을 사용해 액세스를 세밀하게 제어할 수 있습니다. 이러한 기능은 십여 년간 축적된 BigQuery의 혁신 기술을 Google Cloud Storage의 데이터 레이크로 확장하여 유연하고 비용 효율적인 개방형 레이크 하우스 아키텍처를 지원하는 것입니다.

Twitter는 이미 BigQuery에 스토리지 기능을 통해 데이터 한도를 제거함으로써 사용자의 플랫폼 이용 방식, 사용자가 관심을 가질 만한 콘텐츠 유형 등을 효과적으로 파악하고 있습니다. 그 결과, 초당 300만 개 이상의 집계를 실행하는 광고 파이프라인으로 매일 수조 건의 이벤트에 콘텐츠를 제공할 수 있게 되었습니다.

오늘 발표되는 또 다른 주요 혁신 기술은 Spanner 변경 스트림입니다. 곧 출시될 이 신제품은 데이터 한도를 추가적으로 제거합니다. 이에 따라 고객은 Spanner 데이터베이스의 변경사항을 실시간으로 추적하여 새로운 가치를 창출할 수 있습니다. Spanner 변경 스트림을 통하면  Spanner 삽입, 업데이트, 삭제를 추적하여 고객의 전체 Spanner 데이터베이스에 변경사항을 실시간으로 스트리밍할 수 있습니다. 고객이 실시간 분석을 위해 Spanner에서 BigQuery로 변경사항을 쉽게 복제하거나, Pub/Sub를 사용하여 다운스트림 애플리케이션 동작을 트리거할 수 있습니다. 또한 규정 준수를 위해 Google Cloud Storage(GCS)에 변경사항을 저장할 수 있어 항상 최신 데이터에 액세스할 수 있습니다. 현재 최대 99.999%의 가용성으로 최대 초당 20억 개 이상의 요청을 처리하는 Spanner에 변경 스트림이 추가되면서 고객이 자유롭게 데이터를 처리하게 합니다.

데이터 워크로드를 최적화 하기

Google Cloud의 AI 포트폴리오는 Vertex AI를 기반으로 합니다. 이 관리형 플랫폼은 모델을 구축, 배포, 확장하는 데 필요한 모든 ML 도구를 포함하고 있으며 BigQuery 등에서 데이터 워크로드와 원활하게 작동하도록 최적화되어 있습니다. 오늘 Google Cloud는 고객에게 더욱 간소화된 경험을 제공하여 AI 모델을 빠르게 프로덕션으로 전환하고 손쉽게 유지보수할 수 있는 새로운 Vertex AI 혁신 제품을 발표합니다.

이제 정식 버전으로 제공되는 Vertex AI Workbench는 데이터 및 ML 시스템을 단일 인터페이스에 통합하여 팀에서 데이터 분석, 데이터 과학, 머신러닝에 공통의 도구 모음을 활용할 수 있습니다. 팀에서는 BigQuery, Serverless Spark, Dataproc과 기본적으로 통합되는 Vertex AI Workbench를 사용하여 기존 노트북보다 5배 더 빠른 속도로 ML 모델을 구축, 학습, 배포할 수 있습니다. 실제로 한 글로벌 소매업체는 Vertex AI Workbench를 사용한 덕분에 매출이 수백만 달러 증가하고 출시 속도가 15% 향상되었습니다.

Vertex AI를 사용하면 고객이 모델을 정기적으로 업데이트할 수 있습니다. 하지만 수많은 관련 아티팩트가 발생하여 아티팩트 관리가 순식간에 어려워질 수 있습니다. 이를 해결하기 위해 Vertex AI 모델 레지스트리를 사용하는 새로운 MLOps 기능이 도입됩니다. 이 기능은 모델 유지보수 오버헤드를 쉽게 관리할 수 있도록 합니다. 현재 미리보기 버전인 Vertex AI 모델 레지스트리는 BigQuery ML의 모델을 포함한 머신러닝 모델을 검색, 사용, 제어하는 중앙 저장소를 제공합니다. 데이터 과학자의 모델 공유 및 애플리케이션 개발자의 모델 사용이 손쉬워지면서 궁극적으로 팀은 데이터에 입각하여 실시간 의사결정을 내리고 역동적인 시장 변화에 더욱 빠르게 대응할 수 있게 됩니다.

데이터 범위를 확장하기

오늘 Google Cloud에서 Looker용 연결된 시트를 출시함에 따라 이제 데이터 스튜디오 내에서 Looker 데이터 모델에 액세스할 수 있습니다. 고객이 Looker Explore, Google Sheets, 데이터 스튜디오의 드래그 앤 드롭 인터페이스 등 무엇을 사용하든 관계없이 원하는 대로 데이터와 상호작용할 수 있습니다. 새로운 통합 Google Cloud 비즈니스 인텔리전스(BI) 플랫폼에서는 모든 사용자가 손쉽게 데이터에 액세스하고 데이터에서 유용한 정보를 도출할 수 있습니다. 이를 통해 데이터를 기반으로 의사결정을 내리며 혁신을 주도할 수 있습니다. 이 통합 BI 환경은 신뢰할 수 있는 관리형 엔터프라이즈 데이터를 활용하여 새로운 데이터 세트 및 계산을 포함하고 동료와 공동으로 작업할 수 있도록 지원합니다.

중남미 최대의 온라인 상거래 및 결제 생태계인 Mercado Libre는 Looker용 연결된 시트를 초기에 도입했습니다. 이 통합 플랫폼 덕분에 Mercado Libre에서는 직원들이 이미 익숙하게 사용 중인 스프레드시트 인터페이스를 이용하여 데이터에 광범위로 접근할 수 있었습니다. 진입 장벽을 낮춤으로써 모두가 데이터를 기반으로 결정을 내리는 데이터 기반 문화를 조성할 수 있었습니다.

데이터 클라우드 파트너 생태계에 집중하기

Google 파트너 생태계가 아니었다면 데이터 혁신으로 데이터와 가치의 격차를 좁힐 수 없었을 것입니다. 현재 700곳이 넘는 소프트웨어 파트너가 Google의 데이터 클라우드를 사용해 자체 애플리케이션을 지원하고 있습니다. Bloomreach, Equifax, Exabeam, Quantum Metric, ZoomInfo 등 많은 파트너가 Built with BigQuery 이니셔티브를 통해 Google의 데이터 클라우드 기능을 사용하기 시작했습니다. 이 이니셔티브에서는 전담 엔지니어링팀, 공동 마케팅, 시장 진출 지원 등을 제공합니다.

Google 고객들은 BigQuery와 같은 제품과 긴밀히 통합 및 최적화된 파트너 솔루션을 찾기를 원합니다. 오늘 Google Cloud Ready - BigQuery를 도입하는 이유가 바로 여기에 있습니다. 이 새로운 검증 프로그램에서는 기능 및 상호 운용성 핵심 요건을 충족하는 Fivetran, Informatica, Tableau 등의 파트너 솔루션을 포함합니다. 이미 새로운 Google Cloud Ready - BigQuery 프로그램에서 인정하는 파트너가 25곳이 넘습니다. 이 프로그램을 통해 고객은 새 도구를 평가하고 신규 고객 사용 사례에 대한 지원을 추가하는 데 드는 비용을 절감할 수 있습니다.

또한 데이터베이스 마이그레이션 프로그램도 새로 도입됩니다. 이 프로그램은 고객이 온프레미스 및 다른 클라우드에서 업계 최고의 Google 관리형 데이터베이스 서비스로 효율적이고 효과적이며 빠르게 이전하는 데 도움이 될 것입니다. Deloitte와 같은 제휴사의 도구, 리소스, 풍부한 경험은 물론 데이터베이스 마이그레이션 비용을 상쇄해줄 Google의 인센티브도 제공됩니다.

Google은 고객들이 투자하는 선도적인 데이터 및 분석 기업과 협력하여 지속적인 혁신을 이루기 위해 노력하고 있습니다. 이번 주 Databricks, Fivetran, MongoDB, Neo4j, Redis에서 Google Cloud 고객을 위한 중요한 새 기능을 발표합니다.

모든 발표 내용은 Data Cloud Summit에서 자세히 다룰 예정입니다. 데이터 클라우드 전략 세션, 소그룹 세션을 시청하고 실습 콘텐츠도 이용해보세요. 데이터의 미래에 무한한 가능성이 있다는 점에는 의심의 여지가 없습니다. 이러한 데이터 클라우드 여정에 Google Cloud가 함께하게 되어 기쁩니다.