데이터베이스 전문가가 클라우드 데이터 웨어하우스에 적응하기 위한 6가지 팁

* 본 아티클의 원문은 2020년 8월 14일 Google Cloud 블로그(영문)에 게재되었습니다.  

데이터 웨어하우스 현대화는 사람과 기술 모두에 영향을 미칩니다. 기존 아키텍처를 운영하는 데이터베이스 관리자(DBA)와 같은 IT 전문가가 클라우드 데이터 웨어하우스를 이용하면 테스트, 패치, 업그레이드 또는 백업 관리와 같은 번거로운 작업에 더는 많은 시간을 할애하지 않아도 됩니다. 더 신속하고 우수한 데이터 정보가 필요한 최신 비즈니스를 1990년대에 고안된 기술로 따라잡으려 애쓰는 고된 작업을 할 필요도 없어집니다.

대신 DBA, 데이터 엔지니어, 기타 데이터 전문가는 서버리스 환경에서 전략적인 역할을 맡아 주목을 받을 수 있습니다. 다음은 데이터 웨어하우스에 적응하고 효과적으로 활용하기 위한 몇 가지 팁입니다.

1. 마이그레이션 전에 비즈니스 리더와 협력하기

엔터프라이즈 데이터 웨어하우스 환경은 매우 복잡하여 클라우드 마이그레이션이 어렵습니다. 광범위한 시스템을 다루며 시스템에 의존하는 작업을 수행하는 전문가로서 DBA는 조직에서 계획을 세우고 실행하는 것은 물론 보다 많은 업무에서도 선도적인 역할을 할 수 있습니다. DBA는 다른 사람이 알지 못하는 데이터 환경의 자세한 사항들과 이 정보의 가치를 알고 있습니다. 회사에서 아직 현대화 작업을 시작하지 않았더라도 다양한 서버리스 데이터 웨어하우스 솔루션을 평가하고, 초기 TCO 분석을 수행하며, 적절한 마이그레이션 방식을 선택하거나 제안하여 미래를 준비할 수 있습니다.

그런 다음엔 먼저 마이그레이션할 사용 사례와 함께 각각의 토대가 되는 데이터 세트, 프로세스, 파이프라인, 애플리케이션을 파악하고 우선순위를 지정합니다. 이 단계를 수행하는 동안 DBA는 데이터 웨어하우스 현대화 프로젝트를 위해 공유하는 목표를 발전시키고, 데이터가 비즈니스에 가져올 가치를 이해할 수 있도록 회사의 임원진과 긴밀하게 소통해야 합니다. 이러한 소통을 통해 사람들이 데이터에 대해 생각하는 방식을 재구성하는 폭넓은 의견 수렴 이니셔티브의 기초를 형성할 수 있습니다. 비즈니스팀에서 데이터를 숫자와 테이블의 모음이라고 생각하지 않고 조직의 가장 중요한 전략적 애셋으로 인식하게끔 하는 것이 중요합니다. 이렇게 하여 단순히 중요한 리소스를 다루는 사람이 아니라 리소스가 가진 무한한 잠재력을 깨우는 전문가로 발돋움할 수 있습니다.

2. 동료가 문제를 해결할 수 있도록 지원하기

기존 환경에서 DBA의 작업은 데이터베이스의 기능을 사용하는 수많은 사람과 분리되고 인정받지 못한 채 조용히 이루어집니다. (새벽 2시에 긴급 호출을 받기 전까지는 그렇습니다.) 중요한 정보 시스템을 보호하는 DBA와 팀은 너무 높은 기준을 적용한다거나 변화에 방해가 된다는 평판을 얻기도 합니다. 사실 기존 환경에 따른 제약 때문에 현실적일 수밖에 없습니다. 다음번 하드웨어 갱신 주기가 몇 년 이후라서 데이터와 유용한 정보에 대한 액세스 수요의 증가를 따라잡기 어렵기 때문입니다.

Google 사용자들은 Google Cloud의 BigQuery와 같은 서버리스 데이터 웨어하우스를 통해 이러한 모델을 바꿀 수 있다고 이야기합니다. 서버리스 데이터 웨어하우스는 가장 일상적인 유지보수 및 구성 작업을 자동화하므로 DBA가 문제를 해결하기 위해 서버룸에 오래 있을 필요가 없습니다. 클라우드 자체의 탄력성 덕분에 비즈니스팀에서 리소스를 필요로 할 때 확장하기가 훨씬 쉬워지므로 밤샘 작업 걱정 없이 작업 의뢰를 수락할 가능성이 커집니다.

3. 전략적으로 리소스 할당 방식 결정하기

서버리스 클라우드 데이터 웨어하우스를 이용하면 데이터베이스 전문가가 새로운 하드웨어를 구입하여 설치하거나, 노드를 더 추가하거나, 리소스를 프로비저닝하거나, 앞으로 필요한 용량을 예측할 필요가 없어집니다. 이렇게 되면 시스템 다운타임을 줄이고 조직이 발 빠르게 새로운 비즈니스 기회를 잡을 수 있게 되어 IT 업무 부담이 줄어듭니다. 하지만 사용량 제한이 없으면 플랫폼에 따른 예상치 못한 쿼리 비용이 발생하여 SLA가 엄격하게 적용되는 중요 업무 애플리케이션의 예산이 줄어들 수도 있습니다.

서버리스 환경에서도 조직은 비용과 워크로드를 관리해야 합니다. 그리고 DBA는 이런 작업에 이미 능통합니다. BigQuery에는 쿼리 비용 책정 계산기와 프로젝트나 사용자 수준에서 커스텀 할당량을 생성할 수 있는 기능 등 유용한 여러 도구와 기능이 탑재되어 있습니다. 회사에서 매월 또는 매년 단위로 전용 쿼리 용량 슬롯을 구매하는 BigQuery의 정액제 가격 책정 모델을 적용하는 경우 DBA는 사용 가능한 리소스의 파티션을 나누어 예약하고 특정한 팀이나 프로젝트, 애플리케이션의 우선순위를 지정할 수 있습니다. 유휴 용량은 리소스가 낭비되지 않도록 조직 전체에 분배됩니다.

4. 성능 최적화를 위해 사전 조치 취하기

온프렘 환경에서 DBA는 언제나 생존 모드이며 데이터 웨어하우스를 가동하고 실행하기 위한 일상적인 작업을 수행하는 데 많은 시간을 할애합니다. 서버리스 솔루션을 사용하면 현 상태를 유지하는 데에 드는 노력을 줄이면서 비용을 낮추고 제품 게재 속도를 높이고 고객 만족을 향상시키는 등 끊임없이 성능을 개선하는 데 집중할 수 있습니다. 또한 단순히 데이터를 사용 가능한 상태로 만드는 데 그치지 않고 조직에서 데이터를 최대한 효과적으로 사용할 수 있도록 지원합니다.

관리자가 최적화 업무를 향상시킬 때 BigQuery와 같은 솔루션이 도움이 되는 이유가 하나 더 있습니다. 감사 로그는 모든 쿼리를 실시간으로 포착하여 조직의 총괄적인 데이터 사용량 패턴을 제공합니다. 이렇게 하면 중요한 애플리케이션이 정체되기 전에 비효율성을 찾아 처리할 수 있습니다. 예를 들어 쿼리가 불필요하게 대용량 데이터를 스캔하는 경우 사용자에게 파티션 필터를 지정하도록 요구하여 처리되는 바이트 수를 줄일 수 있습니다. 사전에 비즈니스팀에게 구체화된 뷰를 생성하거나 공개 데이터 세트를 쿼리하여 워크플로를 향상하는 방법을 안내할 수 있습니다

5. 보안 권장사항을 수립하고 시행하기

서버리스 환경에서도 DBA는 악성 공격 및 실수로 인한 데이터 손실로부터 고객 정보를 보호할 책임이 있습니다. BigQuery와 같은 솔루션은 자동 데이터 복제 및 암호화를 통해 까다로운 작업을 제거합니다. 그와 동시에, 비즈니스 요구를 충족시키고 규정 준수 상태를 유지하도록 보안과 거버넌스 기반을 맞춤설정할 수 있습니다. 예를 들면 온프렘 환경에서처럼 BigQuery 리소스에 대한 액세스를 셀 수준까지 부여하고, 서비스 경계를 생성하며, 개인 식별 정보(PII)를 탐지 및 마스킹하고, 자체 암호화 키를 관리할 수 있습니다.

클라우드에서의 보안은 조금 다르게 작동하므로 이러한 솔루션은 데이터 웨어하우스를 마이그레이션하기 전에 주요 원칙 및 권장사항을 숙지하는 데 도움이 됩니다. 이러한 지식과 함께 조직 전체에서 클라우드를 사용하는 새로운 정책 및 절차 프레임워크를 향상시키는 선도적인 역할을 맡을 수 있습니다

6. 모두와 데이터 통계를 공유하기

수집하고 분석한 데이터를 활용하여 빠른 결정을 내리고 현명하게 예측하고 더욱 향상된 고객 환경을 구축하기 위해 노력하는 비즈니스가 많습니다. 하지만 누구나 데이터 과학자는 아니기 때문에 더 많은 사람들이 비즈니스 인텔리전스 및 머신러닝을 활용할 수 있도록 간편하면서 액세스가 쉬운 도구에 대한 수요가 증가했습니다. 이러한 솔루션 중 일부는 BigQuery와 같은 서버리스 데이터 웨어하우스 내에서 바로 작동하므로 지연 시간을 최소화하고 데이터를 이동할 필요가 없습니다. 예를 들어 BigQuery ML을 사용하면 사용자는 표준 SQL 쿼리를 활용하여 BigQuery에서 머신러닝 모델을 생성하고 실행할 수 있습니다. 또한 BigQuery BI Engine은 대화형 시각적 분석을 위한 인메모리 분석 서비스입니다.

물론 비즈니스팀에서는 적절한 도구 및 데이터 소스를 결정하거나 니즈에 맞는 시스템을 구축하고 결과 통계를 활용하여 실행에 옮길 때 도움을 필요로 하는 경우가 많습니다. 또한 다른 부서에서 독립적으로 솔루션을 선택하여 도입함으로써 중복되는 작업이나 보안 문제가 발생하거나 데이터가 격리될 위험도 존재합니다. 데이터베이스 전문가는 특정한 질문이나 문제점에 대한 맞춤형 안내를 제공하고, 팀의 요구와 가장 관련성이 높은 도구 및 정보를 제공하며, 모든 데이터 프로젝트가 전반적인 비즈니스 전략에 부합하는지 확인하여 이러한 사항을 관리할 수 있습니다. 그러는 동안, 지식을 공유하며 공동작업할 수 있도록 서로 다른 팀을 연결하는 중개자의 역할을 맡을 수 있습니다.