클라우드의 금융 서비스로 과거 한계 극복

* 본 아티클의 원문은 2020년 7월 17일 Google Cloud 블로그(영문)에 게재되었습니다.  

편집자 주: 금융 기관 KeyBank에 데이터 웨어하우스를 Teradata에서 Google Cloud로 마이그레이션하게 된 이야기를 들려달라고 부탁했습니다. 본 게시물은 KeyBank가 클라우드로 마이그레이션한 이유, KeyBank의 관련 조사 방식, 클라우드가 가져다 줄 수 있는 이점에 대한 자세한 내용을 담고 있습니다.

KeyBank는 350만 명의 고객에게 온라인과 대면 방식으로 금융 서비스를 제공하고 있으며 데이터 관리 및 분석은 훌륭한 서비스를 제공하는 데 필수적입니다. 매일 40억 건이 넘는 기록을 처리하고 40개 이상의 다운스트림 시스템에 데이터를 전송합니다. 이러한 데이터는 내부 팀에서 다양하게 활용되어 약 400명의 SAS 사용자와 4,000명의 Tableau 사용자가 분석 결과를 검토하고 보고서를 실행하고 있습니다.

KeyBank는 4~5년 전에 데이터 레이크 아키텍처로 Hadoop을 도입했고 고성능 분석을 위해 Teradata를 사용하기 시작했습니다. 150대 서버에 설치된 Hadoop에 페타바이트 규모의 데이터가 저장되고 Teradata 환경에 30페타바이트 이상의 데이터가 저장되어 있었습니다. 온프레미스 데이터 웨어하우스로 비즈니스 니즈를 충족하는 데 한계를 느껴 클라우드로 마이그레이션하게 되었습니다. 신속하게 클라우드로 마이그레이션하여 팀에 새로운 분석 기능을 제공하고자 했습니다. 

클라우드 플랫폼 검토 및 테스트

Teradata를 구축한 초기에는 Teradata가 매우 효과적이었습니다. 당시 Teradata는 데이터 웨어하우징 시장을 선도하고 있었고 대다수 주요 은행들의 투자가 이어졌습니다. KeyBank는 고성능 분석 기능을 위해 Teradata를 선택했고 마케팅팀과 위험 관리팀에서 Teradata 기반 분석 기능을 적극 활용했습니다. Teradata는 우리가 사용하던 다른 SAS 도구와 매끄럽게 연동되었으며 SAS 제품은 지금도 정보 관리 도구로 유용하게 사용되고 있습니다.

Teradata를 사용한 지 10년 차에 접어들면서 생성된 제품별 데이터 저장소가 무수히 많아졌습니다. 완벽하게 구성된 데이터 레이크 아키텍처가 아니었기에 200가지가 넘는 SAS 모델도 계속 유지하고 있습니다. 2019년에 사용하는 Teradata 어플라이언스가 용량 한계에 근접하면서 2021년에는 장비를 교체해야 하는 필요성을 인식하게 되었습니다. 대대적인 교체는 피하고 싶었기 때문에 Snowflake와 Google Cloud로 클라우드의 개념 증명과 테스트를 수행하기 시작했습니다.

클라우드 시험 사용 기간의 로드 시간, ETL 시간, 성능, 쿼리 시간을 기준으로 비교 벤치마크를 실시했습니다. Snowflake는 클라우드 형태라는 점 이외에는 Teradata와 별다른 차이가 없었습니다. Google Cloud를 시험 사용하면서 플랫폼 자체와 모든 관련 기술을 살펴보았습니다. 하나의 클라우드 플랫폼으로 기업의 요구를 충족하기에는 역부족이라는 판단하에 Snowflake를 선택하지 않고 구축 과정이 간단하고 다양한 확장 옵션을 제공하는 Google Cloud를 선택했습니다.

클라우드 플랫폼에 적응

변화하는 기술에 맞춰 팀에서도 클라우드 마이그레이션과 관련된 몇 가지 새 기술을 학습해야 했습니다. 클라우드 아키텍처로 마이그레이션하는 주된 목표는 단일 플랫폼에서 Hadoop 비용으로 Teradata 수준의 성능을 구현하는 것이었습니다. Teradata 아키텍처에서 실행되는 Hadoop 데이터 레이크를 관리하는 일은 전혀 다른 두 기술이 필요한 복잡한 과정입니다. 

기업에 이미 구축된 기술과 최신 기술을 비교하여 도입을 결정할 때는 중요한 고려사항이 있습니다. Teradata와 같은 온프레미스 데이터 웨어하우스를 사용하는 경우 사용자가 용량을 제어하므로 특정 시점에 하드웨어에 가해지는 부하에 따라 성능이 달라집니다. 따라서 월말 결산 등 업무가 몰리는 기간에는 분석이 한계에 다다르게 됩니다. Google Cloud 도입과 함께 사실상 무제한의 용량을 사용할 수 있게 되었습니다. 

비용 절감 역시 클라우드로 마이그레이션하게 된 중요한 이유입니다. 클라우드는 매우 다양한 가격 모델을 제공하므로 사용하지 않는 스토리지에 대해서는 요금을 지불하고 싶지 않은 우리의 궁극적인 목표에 부합합니다. 클라우드에서는 필요에 따라 한 달 동안 용량을 확장한 다음 사용량이 많은 기간이 지난 후 다시 축소하여 비용을 관리할 수 있습니다. 수요에 따라 용량을 조정하는 기술만 새로 습득하면 됩니다. 예를 들어 온프레미스 방식의 Teradata 또는 Hadoop에서 고부하 쿼리를 실행하면 성능 소모가 큰 반면 비용은 변화가 없습니다. Google Cloud에서 고부하 쿼리를 실행할 때는 요금만 추가로 내면 다른 사용자의 성능에 지장을 주지 않으면서 업무를 처리할 수 있습니다. 직원들이 실수 없이 올바른 유형의 쿼리를 실행하도록 교육을 하고 있습니다.

클라우드 컴퓨팅으로 전환

실제 클라우드 마이그레이션 작업에서는 보안 요건을 충족하기 위해 보안팀과 긴밀히 협력하고 데이터 형식도 조정해야 했습니다. 예를 들어 ETL 처리가 Google Cloud Storage 버킷 및 BigQuery 데이터 세트와 통신할 수 있는지 확인해야 했습니다. 대부분의 쿼리는 BigQuery로 원활하게 포팅됩니다. 형식 변경이 필요한 데이터 유형은 일부에 불과했습니다. 

클라우드 마이그레이션 후 초기에 나타난 결과는 매우 고무적이었습니다. 쿼리 성능이 3~4배 빨라지고 용량을 손쉽게 확장하거나 축소할 수 있습니다. 5개 데이터 마트에서 실제 데이터 볼륨을 사용해 비교 쿼리를 실행하는 테스트를 했습니다.

지금도 클라우드에서 서비스를 구축하고 구성하는 방법을 놓고 끊임없이 연구와 수정을 계속하고 있습니다. 클라우드에서 안전하게 데이터 자산을 소유하고 운영하고 있는 지금까지 감수해야 했던 변화입니다. 모든 개인 식별 정보(PII)가 안전하게 저장되고 토큰화되었는지 확인해야 했습니다. 또한 시간이 지나 클라우드에 저장되는 프로덕션 데이터가 더 많아질수록 효과적인 비용 관리를 위해 방식을 계속 조정해가야 할 것입니다. 

변경 관리 및 미래에 대비

클라우드의 변경 관리는 마이그레이션 과정에서 중요한 요소입니다. 우리는 최신 데이터 아키텍처를 사용하는데도 워크로드를 Google Cloud로 마이그레이션하면서 이미 정립된 패턴과 사용 사례를 계속 변경하고 있습니다. 이전 Teradata 방식을 사용할 때 더 많은 하드웨어가 있어야 하는 것과 비교하여 필요에 따라 용량을 변경할 수 있는 용량 기반 모델로 이동하는 것은 큰 변화입니다. 400명의 사용자가 새로운 도구로 마이그레이션하는 것을 돕기 위해서는 계획과 시간이 필요합니다. KeyBank는 Google의 도움으로 교육 세션을 진행하고 의견을 제시해줄 비즈니스 전문가가 함께 참여하도록 했습니다. 당사 분석가를 위한 교육 과정과 인증 제도에도 투자했습니다.

현재 KeyBank는 쿼리당 비용 기준으로 Google이 Teradata보다 훨씬 우수한 성능을 제공할 수 있음을 보여주는 산 증인이 되고 있습니다. BigQuery를 사용하면 데이터를 복사, 저장, 조작한 다음 보고서를 만들었던 이전 과정에 비해 더 많은 분석을 수행할 수 있습니다. 

직원들이 중요한 우선 과제와 소비자 관계에 집중할 수 있도록 분석 리소스를 구성하는 방법을 연구하고 있습니다. 예를 들어 분석이 가치를 더할 수 있는 상위 분야를 다섯 개가량 선별하여 모든 리소스를 집중하려고 합니다. 새로운 분석 기능을 효과적으로 활용하기 위해 정책을 마련하고 직능별 리더들의 참여를 이끌어내 모두가 중점 목표를 정확하게 인식하고 그에 따라 실행하도록 합니다. 관련 신규 기술을 습득하는 재교육을 하고 우수한 새 인재를 영입하고 있습니다. DevOps팀의 연장 선상에서 인프라 구축과 인프라를 코드처럼 이용하는 일에 집중할 전담 클라우드 기반팀을 구성했습니다. 

우리가 개발한 프로그램은 미래에 대비하기 위한 것입니다. KeyBank의 모든 직원과 기술이 조화를 이루어 성공적인 미래를 맞이할 만반의 준비가 되어 있습니다.