Google 데이터 전문가가 소개하는 2022년에 필요한 핵심 데이터 실무자 기술

* 본 아티클의 원문은 2022년 2월 19일 Google Cloud 블로그(영문)에 게재되었습니다.

2022년을 맞이해 소형 위성, NFT, 피자 배달용 자율 주행 차량이 본격적으로 등장하고 있습니다. 간단한 기술로 복잡한 문제를 해결하는 오늘날의 환경에서 기업이 성공하려면 간편한 사용자환경을 제공해야 합니다. 이는 많은 클라우드 제공업체가 최신 데이터 소비자의 필요를 세심히 파악하면서도 데이터 제공 프로세스를 간소화할 수 있도록 완벽하게 통합된 데이터 제품을 제공해야 한다는 의미입니다.

새로운 기술이 제공하는 보다 간편하고 빠른 데이터를 통해 기업은 정보를 바탕으로 결정을 내릴 수 있게 됐지만, 데이터 분석가, 데이터 엔지니어, 데이터 관리자, 개발자 등과 같이 클라우드 데이터 도구와 기술을 매일 사용하는 데이터 실무자에게는 어떤 영향이 있을까요? 2022년 데이터 클라우드 시장 트렌드보다 적극적으로 앞서 나가기 위해 데이터 실무자는 데이터 파이프라인 기술 같은 데이터 클라우드 기술을 전문화하는 데 시간을 투자해야 할까요, 아니면 데이터 분석, 데이터베이스 AI/ML 등 여러 영역에서 역량을 키우는 것과 같이 데이터 클라우드 기술을 일반화하는 데 시간을 투자해야 할까요?

데이터 기술의 폭과 깊이

Google Cloud 솔루션 엔지니어링, 기술 솔루션, 전략 부문 부사장 압둘 라작은 둘 다 조금씩 필요하다고 말합니다.

“데이터 실무자는 기술 면에서 폭넓은 지식이 있어야 하지만 기술을 적용하는 영역에 대해 전문성이 있어야 합니다. 비즈니스 분석, 스트리밍, 머신러닝, 데이터 파이프라인, 데이터 웨어하우징 같이 과거에는 구분되었던 많은 기술이 융합되고 있기 때문입니다. 데이터 실무자들은 각 영역의 기술을 이용하여 특정 비즈니스 문제를 해결하는 엔드 투 엔드 워크플로를 구현할 수 있어야 합니다.”

수많은 고객이 Google의 데이터 클라우드를 선택하는 이유는 실무자가 사일로를 허물고, 데이터 플랫폼을 벗어나지 않고도 프로젝트를 시작 및 종료하고, 조직 전반에서 혁신을 앞당길 수 있는 통합되고 개방적인 접근법을 사용할 수 있기 때문입니다.

Google 데이터 클라우드의 스마트하고 민첩한 접근법을 데이터 영역의 기술 사용과 학습에 적용하는 실무자는 한두 분야만 전문으로 했을 때보다 더욱 섬세한 문제를 더 폭넓은 범위에서 해결하는 이점을 누리게 됩니다. 예를 들면 인터넷 규모의 애플리케이션을 빌드하고, 분석과 AI를 활용하여 스마트 프로세스를 조정하고, 제품 빌드를 간소화하는 데이터 메시를 구축할 수 있습니다.

“결국에는 데이터 실무자가 워크플로를 완료하는 데 어떤 도구를 사용하는지가 중요합니다. 제한적인 도구를 사용한다면 배우고 개발할 수 있는 기술도 그만큼으로 제한되는 겁니다. 전반적으로 데이터 실무자가 증가하면서 BigQuery 같은 플랫폼을 사용해 훨씬 더 쉽게 다양한 필요를 처리할 수 있게 되었습니다. BigQuery를 사용하면 선택할 필요가 없습니다. 예를 들어, 스트리밍 데이터와 저장 데이터, 배치와 실시간, 비즈니스 인텔리전스와 데이터 과학 중에 하나를 선택하지 않아도 됩니다. 이러한 자유 덕분에 데이터 실무자는 기술을 구축하고 복잡한 프로젝트를 진행할 때 큰 이점을 누리게 됩니다.” - 압둘 라작 - Google Cloud 솔루션 엔지니어링, 기술 솔루션, 전략 부문 부사장

기술 향상의 전제 조건은 기술의 가치를 아는 것

일부 전문가들은 폭과 깊이 중에 선택할 때 실무자의 기술에 따라 애초에 향방이 결정된다고 생각하지만, Google Cloud의 데이터 및 분석 책임자 브루노 아지자는 실무자의 현재 위치, 실무자의 커리어 목표, 그 목표를 지원하기 위한 기업의 투자도 선택에 영향을 미친다고 주장합니다.

아지자는 “최고 데이터 책임자가 되고 싶다면 먼저 내 데이터 영역 전반에서 기술이 어떻게 결합되는지 이해해야 합니다”라며 “내가 확실한 ‘데이터 전문가’라고 느껴진다면 비로소 내가 주력할 기술 스택을 결정할 수 있습니다”고 말합니다.

하지만 기술이 전부는 아닙니다. 아지자가 말합니다. “내 데이터 업무가 비즈니스에 미치는 영향에 집중해야 합니다.  비즈니스 파트너와 가능한 한 많은 시간을 투자하여 비즈니스 목표와 과제를 이해해야 합니다. Harvard Business Review는 최고 데이터 책임자로 성공하는 방법에 대해 훌륭한 지침을 제공합니다."

아지자와 라작은 최고 데이터 책임자가 되는 것이 목표가 아니더라도 2022년에 데이터 실무자가 갖추어야 할 가장 중요한 기술은 폭넓으면서도 추상적인 기술이라고 주장합니다. 바로 데이터 기반 전략으로 문제를 해결하려는 호기심을 키우고 실행하는 기술입니다.

한마디로 오늘날 데이터 실무자는 업계에서 학습하고 지속적으로 특정 기술을 발전시키는 데 항상 관심을 가져야 합니다. 기업도 실무자가 그러한 관심을 키울 수 있도록 학습 자료를 제공하고, 경력 개발 대화를 나누고, 교육 보조금을 지원하고, 새로운 인증 또는 기술 확보 시 인센티브를 제공하는 등 다양한 방법으로 투자해야 합니다. 

“모든 산업이 디지털 혁신을 거치고 있는 만큼, 수집할 데이터와 데이터 준비 방법은 물론 데이터에서 유용한 정보를 추출하는 방법을 파악하는 능력이 무엇보다 중요합니다. 따라서 비즈니스 과제를 찾아내고 그 문제를 해결할 수 있도록 데이터 기반 접근법을 마련하는 능력이야말로 실무자가 갖춰야 할 가장 중요한 기술입니다” 압둘 라작 - Google Cloud 솔루션 엔지니어링, 솔루션, 전략 부문 부사장

제가 VentureBeat에 대해 쓴 '데이터 메시'를 예를 들어 소개하겠습니다.  [여기에 문서 연결] .  이 새로운 개념을 대하는 태도에는 3가지 유형이 있습니다. 첫 번째로 추종자는 새로운 책의 저자나 이론 창안자 등의 출처를 통한 지속적인 학습만을 장려합니다. 방해자는 새로운 기술과 트렌드가 가짜 뉴스라고 말합니다. 왜곡자는 한 가지 만병통치약을 판매하는 업자와 같습니다. 하지만 이러한 세 유형과 상호작용할 때 올바른 접근법을 찾아내야 할 당사자도, 기술을 배우고 구축할 때 나만의 길을 다져 해답을 찾아내야 할 당사자도 데이터 실무자입니다. 좋든 싫든 시행 착오와 실험이 뒤따르며 시작했을 때에 비해 더욱 성장하려는 욕구가 필요합니다."

데이터 기술을 발전시킬 준비가 되셨나요? 지금 시작하세요.

데이터 호기심을 유지하는 데 관심이 있다면 데이터 여정 동영상 시리즈를 시청해 보세요. 매주, 브루노 아지자는 고객의 데이터 여정에 관한 새로운 실제 사례를 통해 클라우드로 마이그레이션, 유용한 목표를 위한 데이터 플랫폼 구축에서 데이터 실행에 이르는 데이터 여정을 소개합니다. 이들의 데이터 여정이 어떠했는지, 권장사항과 주의해야 할 사항은 무엇이었는지, 다음 목표는 무엇인지 알아보세요. 데이터 여정 동영상 시리즈에는 데이터 역량 전문화와 확대를 위한 내용이 모두 포함되어 있습니다.

기술을 발전시키는 데 관심이 있다면 곧 열릴 가상 이벤트인 최신 Google Cloud 데이터 분석 혁신에서 Google의 데이터 커뮤니티와 교류하세요. 지금 등록하고 예약하여 GCP의 최고 데이터 리더로부터 데이터 질문에 대한 답을 실시간으로 받고, BigQuery, Dataproc, Dataplex, Dataflow 등의 최신 Google 제품의 시연을 보세요.

학습 과정 중 궁금한 점이 있거나 지원이 필요하면 문의해 주세요. Google Cloud Innovator에 등록하고 Google Cloud 데이터 분석 커뮤니티에 참여하세요.