데이터 및 클라우드 혁신의 도래: 2021년에 예상되는 6가지 변화

 * 본 아티클의 원문은 2020년 12월 24일 Google Cloud 블로그(영문)에 게재되었습니다. 

예측은 대상 기간에 따라 그 내용이 달라지기 때문에 예측을 제공하기란 쉬운 일이 아닙니다. 하지만 클라우드 도입에 관련된 트렌드를 살펴보면 2020년에 확인된 몇 가지 사항을 통해 2021년에 예상되는 변화를 가늠할 수 있습니다. 

인터넷 혁명이 진행될 당시 네트워크 엔지니어로 활동한 사람으로서 클라우드와 데이터를 중심으로 한 또 다른 혁명의 조짐을 느낄 수 있습니다. 이러한 변화의 조짐에 어떤 조치를 취하느냐에 따라 성공과 실패가 갈릴 것입니다. 

앞으로 예상되는 상황과 새해를 맞이하면서 명심해야 할 사항을 소개합니다.

1.클라우드 컴퓨팅의 다음 단계는 혁신에 따른 이점과 관련되어 있으며 이는 단순히 비용 측면에 국한되지 않습니다. 

2021년에는 조직 전반에서 분석 및 AI 도입이 가속화되며 클라우드 모델에 관리형 데이터 아키텍처가 포함되기 시작할 것입니다. 과거에도 대대적인 클라우드 도입을 가져온 주목할 만한 변화가 있었습니다. 처음으로 클라우드 마이그레이션을 이끈 요소는 서비스로서의 애플리케이션으로, 비즈니스에 CRM 등의 특정 애플리케이션을 빠르고 안전하게 개발할 수 있는 도구를 제공했습니다. 이후 많은 기업이 물리적 데이터 센터의 유지보수에서 벗어나기 위해 인프라를 현대화하면서 클라우드가 또 다시 대거 도입되었습니다.  

모두 비즈니스에 유용한 변화였고 2020년에도 큰 변화가 있었지만 3단계에 해당하는 디지털 혁신이 본격적으로 일어나지는 않았습니다. 3단계가 진행되면 진정한 비즈니스 혁신이 일어나면서 그에 따른 이점이 나타나기 시작합니다. 긍정적인 결과로는 일상 업무 프로세스에 데이터 분석 및 AI/ML이 도입되어 모든 산업과 사회 전반에 막대한 영향을 미친다는 점을 꼽을 수 있습니다.

2.규정 준수에는 부가기능 이상의 의미가 있습니다.

최신 클라우드 모델은 데이터 주권 및 접근성 문제에 대한 면밀한 검토를 통과해야 합니다. 규정 준수는 기업의 비즈니스 수행 방식과 사회 운영에 변화를 가할 것입니다. 기존 대기업마저 규제 강화 등의 긴급한 요구사항에 대응하기 위해 클라우드로 이전하고 있습니다. 오늘날 기업에서 보안 및 개인정보 보호라는 중요 요소를 무시한다면 많은 것을 잃게 될 가능성이 높습니다. 

이러한 규정 준수 및 거버넌스 관련 사안은 Google Cloud를 비롯한 클라우드가 데이터 분석 역량 향상에 중요한 이유 중 하나이기도 합니다. 전 세계 모든 규모의 기업이 보안, 개인정보 보호, 데이터 주권에 점점 더 관심을 쏟고 있습니다. 2021년에 일어날 디지털 혁신의 상당 부분이 필요에 의해 발생하겠지만 그러한 혁신을 가능케 하는 요소는 오늘날의 클라우드입니다. Google Cloud는 이러한 기본 요구사항을 기반으로 구축된 플랫폼이므로 기업은 데이터가 보호된다는 확신을 가지고 클라우드로 이전할 수 있습니다.  

3.개방형 인프라가 대세가 될 것입니다. 

2021년까지 기업의 80% 이상이 멀티 클라우드 또는 하이브리드 IT 전략을 채택할 전망입니다. 클라우드 고객은 자체 워크로드에 맞는 옵션을 원합니다. 개방형 인프라 및 개방형 API를 지향하고 열린 사고를 갖춰야 합니다. 중요한 데이터가 특정 제공업체나 서비스에 종속된 상태를 감당할 수 있는 기업은 없습니다.  

개방형 표준의 부상은 곧 멀티 클라우드 및 온프레미스 데이터 소스가 함께 신속하게 도입될 것이라는 의미입니다. 적절한 도구를 사용하면 조직에서 여러 클라우드 서비스를 마치 하나의 인프라처럼 사용하여 각 클라우드에서 조직이 필요로 하는 특정한 이점을 얻을 수 있습니다. 또한 개방성 및 클라우드를 향한 대대적인 변화는 보다 강력한 데이터 애셋과 더 우수한 데이터 분석으로의 전환을 가능케 합니다. 지난 1년간 귀사에서 확인한 데이터 소스가 놀라울 정도로 많을 텐데 이는 특정 기업만의 상황이 아닙니다. 개방형 인프라를 사용하면 비즈니스에 가장 적합한 클라우드 경로를 선택할 수 있습니다. 

Looker와 BigQuery Omni 같은 데이터 솔루션은 끊임없이 변화하는 데이터 소스보다 앞서 나갈 수 있도록 특별히 Google Cloud 개방형 플랫폼의 개방형 API 환경에서 작동하도록 설계되었습니다.

4.데이터 과학 분야의 학위가 없어도 AI/ML을 활용할 수 있습니다. 

데이터 과학 및 이와 일반적으로 관련된 모든 전문 지식과 특수 도구는 더 이상 일부 특권층만의 전유물이 아닙니다. 조직의 각 팀이 새로운 분야를 학습하지 않고도 ML 모델링 및 AI와 같은 기능을 통해 데이터 과학을 이용할 수 있어야 합니다. 이러한 변화는 많은 팀원의 업무 방식과 의사결정에 새로운 활력을 불어넣을 것입니다. 데이터를 사용하지 않았던 팀원들도 데이터를 활용하기 시작할 것입니다. 

전체 팀에 분석 역량을 제공할 수 있는 기업은 여전히 기존의 분리형 데이터 과학 모델을 사용하는 기업보다 훨씬 빠르게 데이터를 수집 및 분석하고 관련 조치를 취할 수 있습니다. 직원들에게 필요 시에 데이터를 수집, 정렬, 공유할 수 있는 도구를 제공함으로써 생산성이 향상되고 정보에 입각한 의사결정이 이루어집니다. 또한 평소에 구성, 분석, 프레젠테이션 작성에 시간을 할애하던 팀원들이 데이터 과학 경험을 통해 각자의 역량과 교육 수준에 적합한 업무에 집중할 수 있습니다.  

Google Cloud의 인프라, 데이터, AI/ML 솔루션을 활용하면 데이터를 클라우드로 손쉽게 이전하고 분석을 시작할 수 있습니다. Connected Sheets, Data QnA,, Looker와 같은 도구를 사용하면 인증 받은 데이터 분석가나 과학자가 아니더라도 모든 직원이 데이터 분석을 수행할 수 있습니다. 

5.전 세계 기업 데이터에서 실시간으로 처리해야 하는 양이 갈수록 증가할 것입니다. 

클라우드의 데이터가 데이터 센터의 데이터 양을 앞지르는 시점이 머지 않았습니다. 2025년까지 전 세계 데이터가 61% 증가하여 175제타바이트에 이를 것으로 추산됩니다. 이렇듯 막대한 양의 데이터는 기업에 탐색의 기회를 제공합니다. 문제는 해당 시점에서 데이터 유용성을 포착하는 것입니다. 과거에 저장된 데이터를 따르는 것도 유익할 수 있지만 예상치 못한 사건에 대처하는 경우를 비롯하여 즉각적인 정보를 필요로 하는 사용 사례가 증가하고 있습니다. 예를 들어 실시간 데이터와 실시간 대응을 통해 제때 네트워크 보안 침해를 식별하고 저지할 역량을 갖췄는지는 비즈니스에 매우 중요한 영향을 미칩니다. 실시간 대처로 위험 완화에 드는 수없이 많은 시간과 비용을 줄일 수 있습니다.

Google Cloud는 바로 이러한 방식을 사용하여 고객이 DDOS 공격을 방어하도록 돕고 있습니다. 2020년을 지나면서 얻은 교훈이 있다면 앞으로 기업에는 예상치 못한 문제에 즉각적으로 대응할 수 있는 능력이 그 어느 때보다도 절실하게 필요하다는 것입니다.

실시간 데이터가 데이터 수집 속도를 혁신적으로 단축하긴 했지만 예상외로 가장 유용한 데이터 소스는 예측 분석일 것입니다. 기존에 데이터는 물리적 환경에서만 수집되었기 때문에 미래를 계획하는 유일한 방법은 물리적으로 테스트 가능한 항목을 살펴보는 것이었습니다. 하지만 조직에서 예측 모델과 더불어 BigQuery ML 같은 AI/ML 도구를 사용하면 실제 시나리오 및 정보를 기반으로 시뮬레이션을 실행하여 물리적 환경에서는 테스트가 어렵거나, 비용이 많이 들거나, 실행 불가능한 상황에 대한 데이터를 얻을 수 있습니다.

6.50%가 넘는 데이터 레이크가 여러 클라우드와 온프레미스에 걸쳐 있게 됩니다. 

사용 사례에 맞는 적절한 서비스를 제공하는 것은 복잡한 문제일 수 있습니다. 클라우드로 인해 더 나은 데이터 옵션을 제공할 수 있는 무수한 기회가 생겼습니다. 많은 기업이 클라우드 솔루션으로 이전하고 있다는 사실은 곧 조직이 경쟁력을 유지하기 위해 강력한 디지털 전략을 갖춰야 한다는 의미이며 이는 데이터 스토리지에도 적용됩니다. 많은 기업이 유연성을 위해 특히 다양한 옵션이 제공되는 멀티 클라우드를 선택하고 있습니다. 클라우드에서 데이터 스토리지는 모든 정보를 쉽게 검색할 수 있도록 주로 구조화된 데이터를 저장하는 데이터 웨어하우스나 구조에 관계없이 모든 비즈니스 데이터를 모아 놓는 데이터 레이크의 형태를 취해 왔습니다 

이미 확인된 이러한 트렌드가 강세를 보이면서 데이터 레이크와 데이터 웨어하우스의 구분이 모호해지기 시작할 것입니다. Google Cloud에는 조직에서 AI/ML 솔루션을 사용해 데이터 레이크를 쉽게 탐색하고, 통계를 도출하고, 협업을 촉진할 뿐만 아니라 구조화되지 않은 데이터를 통합할 수 있는 기능을 제공하는 다양한 데이터 레이크 현대화 솔루션이 있습니다.

비즈니스의 미래

변화가 빠른 속도로 일어나고 있어 대응이 힘들 수도 있지만 이 모든 기술 변화가 짜릿하게 느껴지기도 합니다. 궁극적으로는 문제에 실시간으로 대응하고, 비즈니스 사용자가 지연 없이 데이터를 얻도록 도우며, 데이터의 전체 수명 주기를 확실히 파악할 수 있게 됩니다. 모두 변화에 동참하시기를 바랍니다.

최신 데이터 웨어하우스 빌드 가이드를 참조하거나 Harvard Business Review Analytic Services의 데이터에서 탁월한 비즈니스 가치 도출하기(Turning data into unmatched business value) 보고서에서 데이터를 가치로 전환하는 리더가 엔터프라이즈 데이터 전략으로 어떻게 성과를 거두고 있는지 확인해 보세요.