데이터를 유용하게 활용한다는 것은 어떤 의미일까요? 고객 경험을 개선하고, 새로운 고객에게 도달하며, 매출을 끌어올리는 데에 활용한다는 의미입니다. 즉 혁신에 활용한다는 뜻입니다. 이러한 결과를 달성하는 데 도움이 되는 데이터 플랫폼을 선택하기 위해서는 두 가지 원칙을 따르는 것이 좋습니다.
원칙 1: 단순성과 확장성
기업은 현재 많은 양의 데이터를 보유하고 있을 것입니다. 데이터가 기하급수적으로 증가하는 가운데 기업은 이 추세에 보조를 맞추면서도 ROI를 유지하거나 개선하고자 합니다. 미래에 보유하게 될 데이터의 양(예: 테라바이트)을 예측하고 그 정도의 양을 처리하도록 시스템을 설계하고 있겠지만, 증가 속도가 예상을 초과하는 경우 전면적인 시스템 마이그레이션을 고려할 수밖에 없습니다. 또는 예상되는 성장에 맞게 확장할 수 있는 데이터 웨어하우스를 선택했지만 처리 요구사항이 증가하여 관리하기가 어려워지고 있을 수 있습니다.
소규모 시스템은 문제가 그보다는 간단하겠지만, 이제는 더 이상 사용하기 쉬운 시스템과 확장성이 높은 시스템 중에서 양자택일을 할 필요가 없습니다. 서버리스 아키텍처를 사용하면 클러스터 관리가 필요 없으며 엄청난 규모의 컴퓨팅과 스토리지 둘 다 처리할 수 있으므로 기술적 역량을 초과하는 규모의 데이터에 대해 걱정할 필요가 없습니다.
단순성과 확장성을 위해서는 서버리스 데이터 플랫폼을 사용하는 것이 좋습니다. 소프트웨어 설치, 클러스터 관리, 쿼리 미세 조정이 필요한 옵션은 고려하지 않는 것이 좋습니다.
원칙 2: 민첩성 및 비용 절감
컴퓨팅과 스토리지를 결합하는 데이터 관리 시스템을 사용하면 컴퓨팅이 필요하지 않은 경우에도 증가하는 데이터 볼륨을 처리하기 위해 컴퓨팅을 확장할 수밖에 없습니다. 이로 인해 비용이 많이 들 수 있으며, 이를 피하기 위해 분석 웨어하우스에 지난 12개월분의 데이터만 저장하는 등 절충을 하게 될 수 있습니다. 당장 필요하지 않아 일부 데이터를 포함하지 않기로 결정했지만, 나중에 데이터가 없어 가설을 테스트할 수 없게 되어 새로운 파이프라인 필요하게 될 수도 있습니다.
또는 여기서 조금 더 나아가 컴퓨팅과 스토리지를 서로 독립적으로 확장하고 비용을 청구하지만, 여전히 직접 클러스터를 설정, 확장, 최적화해야 하는 시스템도 있습니다. 인프라 관리를 최대한 줄이기 위해서는 향상된 안정성, 성능, 기본 제공 데이터 보호 기능이 있는 서버리스, 멀티 클라우드 데이터 웨어하우스(예: BigQuery)가 효과적입니다.
비용 및 관리 외에 민첩성에 대해서도 생각해야 합니다. 데이터가 변경되면 확인하고 대응하는 데 시간이 얼마나 걸리나요? 사용하는 소프트웨어나 도구의 새 버전이 나올 경우 새로운 기능을 수용하는 데 시간이 얼마나 걸리나요? 민첩성을 높이는 방법 중 하나는 손을 댈 필요가 적고 다양한 워크로드에 적용할 수 있는 유연한 도구를 선택하는 것입니다.
Redshift와 같은 시스템에서 쿼리는 효율성을 위해 최적화해야 합니다. 즉, 실험의 여지가 제한되므로 문제가 있을 것으로 예상되는 경우에만 데이터를 추출하고 가져오게 됩니다. 컴퓨팅과 스토리지가 분리되지 않는다는 점과 데이터 웨어하우스를 최적화해야 할 필요성에서 비롯되는 타협은 한 손을 등 뒤로 묶는 것과 다름이 없습니다.
BigQuery와 같은 솔루션을 사용하면 쿼리를 미리 계획하거나 데이터 세트의 색인을 생성할 필요가 없습니다. 분리된 스토리지와 컴퓨팅을 사용하면 쿼리 비용 증가를 염려하지 않고 데이터를 배치할 수 있으며, 데이터 과학자가 클러스터 또는 데이터 웨어하우스의 크기를 걱정할 필요 없이 임시 쿼리를 통해 새로운 아이디어를 실험할 수 있습니다.
단순하고 확장 가능하고 유연하며 비용 효율적인 플랫폼으로 어떻게 혁신을 이룰 수 있는지 살펴보았습니다. 이번에는 이를 달성하는 데 있어 데이터가 어떻게 도움이 되는지 살펴보겠습니다.
