데이터베이스

Bigtable로 금융 시장을 연결한 Symphony

2024년 3월 15일

Olivier Richaud

VP Platforms and SRE, Symphony

Gemini 1.5 모델 사용해 보기

Google Vertex AI의 가장 진보한 멀티모달 모델

*본 아티클의 원문은 2024년 2월 27일 Google Cloud 블로그(영문)에 게재되었습니다.

편집자 주: Symphony의 사명은 금융 시장과 트레이딩팀이 소통하고 협업하는 방식을 혁신하는 것입니다. 이 목표를 달성하기 위해서는 대량의 데이터를 처리할 수 있는 것은 물론 계속해서 늘어나는 사용자층을 지원하는 데 필요한 확장성, 안정성, 유연성을 제공하는 관리형 데이터베이스가 필요했습니다. Bigtable이 니즈에 부합하였고 원활한 마이그레이션 이후 Symphony의 핵심 기술팀에서는 개발과 혁신에 집중할 수 있게 되었습니다.

Symphony는 안전한 커뮤니케이션과 협업을 이끄는 선구자로서 전 세계 금융 기관의 정보 이동을 주도하고 있습니다. 매일 Symphony의 플랫폼을 통해 수백만 개의 메시지가 전달됩니다. 시장을 계속 움직이는 빠른 속도의 성능을 유지하며 금융 기관 전반에서 원활한 커뮤니케이션과 협업을 촉진하는 데 중요한 역할을 하고 있습니다.

금융 기관에서 안전한 커뮤니케이션에 대한 니즈를 충족하는 신뢰할 수 있는 기반으로 Symphony를 채택하도록 하려면 플랫폼의 복원력, 확장성, 내구성이 중요합니다. 이 플랫폼의 강력한 인프라를 사용하는 금융 기관은 오늘날의 역동적인 시장에서 확신을 갖고 민첩하게 운영할 수 있습니다.

데이터베이스 관리 조정을 위한 관리형 서비스 수용

Google Cloud의 NoSQL 데이터베이스 서비스인 Bigtable로 마이그레이션하기 전에는 HBase를 사용해 메시지 및 협업 플랫폼을 지원했습니다. 이 오픈소스 비관계형 데이터베이스는 관리 시간과 비용이 많이 들어 전담 리소스가 운영 및 유지보수 작업을 처리해야 했습니다. 사이트 안정성 엔지니어링(SRE)팀에서는 수많은 HBase 클러스터를 운영하고 있었는데 그중 일부는 HBase 소프트웨어 자체뿐만 아니라 기본 인프라에 대해 특정 유지보수 기간이 필요했습니다.

주요 목표는 HBase에서 벗어나 성능 요구사항을 충족하면서도 비용 효율적이고 복원력과 확장성이 우수하며 기존 인프라와 원활하게 통합되는 관리형 서비스 솔루션으로 전환하는 것이었습니다. 궁극적으로 전 세계에서 글로벌 팀이 연중무휴로 주요 데이터 스토어를 실행 및 운영하도록 지원하고 풍부한 최신 정보를 이 팀에 계속 제공하는 동시에 전반적으로 심층적인 보안을 구현하는 것이 목표였습니다. 그래서 Bigtable을 채택했습니다.

Symphony 플랫폼의 핵심 요소가 된 Bigtable

Bigtable을 관리형 데이터베이스로 선택하게 된 이유에는 여러 가지가 있습니다.

HBase 호환성: Bigtable 클라이언트는 HBase 클라이언트와 호환되어 Java 백엔드에서의 성공적인 조정을 가능하게 합니다.
데이터 내구성: Bigtable은 선형적으로 확장 가능한 한편 안정성을 위해 핵심 Google 인프라 및 스토리지를 활용하여 성능을 유지합니다.
완전 관리형 복제를 통한 고가용성: Bigtable 클러스터 간 완전 관리형 자동 복제로 복원력을 향상합니다.
관측 가능성을 갖춘 개발자 친화적 기능: Bigtable은 모니터링 스택과 통합되어 필요한 경우 다른 대기 클러스터로 대체가 가능합니다.
다른 Google Cloud 서비스와의 원활한 통합: Bigtable은 효율적인 데이터 처리를 위해 개발 프로세스를 간소화해 주는 Dataflow 등의 Google Cloud 서비스와 원활하게 통합됩니다.
효과적인 완전 관리형 서비스: Bigtable은 성능, 확장성, 내구성, 사용 편의성 사이에서 완벽한 균형을 이룹니다. DevOps 배포를 간소화하여 유연성을 높이고 개발자와 클라우드 인프라 간의 명확한 업무 분장에 기여합니다.

성공적인 마이그레이션 조정

계획된 다운타임 전에 Cloud Storage에 저장된 HBase 데이터의 스냅샷을 캡처했습니다. 이후 Dataproc을 활용하여 HBase 클러스터에 연결된 더 큰 Hadoop 클러스터로 데이터를 내보냈습니다.

Dataflow 작업을 사용해 Cloud Storage에서 Bigtable로 데이터를 가져와 마이그레이션 도중에 필수적인 최적화를 수행했습니다. 비즈니스 연속성을 유지하기 위해 데이터를 복제된 Bigtable 클러스터에 삽입하여 프로덕션 시스템에는 전혀 영향을 끼치지 않도록 했습니다. 단 몇 분만에 데이터가 프로덕션 클러스터에 원활하게 완전히 복제되었습니다.

Dataproc과 Dataflow의 성능을 함께 활용한 결과, 성공적인 마이그레이션이 가능했습니다. 신중한 계획과 조정을 거쳐 고객 다운타임을 최소화하여 HBase 데이터를 Bigtable로 원활하게 이전했습니다.

40% 절감된 운영 비용으로 수백만 개의 메시지 저장

Bigtable로 Symphony의 운영 효율성이 크게 개선되어 SLA, 성능, 비용 관리가 향상되었습니다. 덕분에 팀에서는 핵심 인프라 서비스를 일일이 유지보수하고 업그레이드하는 일 대신 자동화, 확장성, 기타 중요한 작업에 집중할 수 있게 되었습니다. 자동화된 패치 적용과 원활한 통합이 보다 높은 수준의 보안 및 액세스 제어를 지원합니다.

Bigtable로 마이그레이션하여 얻은 지금까지의 주요 성과는 다음과 같습니다.

데이터베이스 운영 비용을 무려 40% 절감했고 관리 및 유지보수 활동도 크게 줄었습니다. 관리 및 유지보수 작업은 종종 예기치 않은 비상 조치를 필요로 하기 때문에 워크플로를 방해할 때가 있었습니다.
Bigtable은 수평 확장 시에도 응답 시간과 지연 시간 측면에서 탁월한 안정성을 보여주기 때문에 안정적인 서비스를 제공하는 데 매우 중요합니다. 다양한 크기의 Symphony 메시지에 액세스하는 데 15밀리초(p95)도 안 걸립니다.

Symphony는 핵심 서비스를 Google Cloud로 마이그레이션하는 데 큰 진전을 이뤘습니다. Symphony의 대표 고객을 포함한 400여 고객이 미국, 유럽, 중동, 아프리카, 아시아 태평양 지역의 Google Cloud 플랫폼으로 성공적으로 전환되었습니다. 이번 Bigtable 마이그레이션으로 인해 앞으로 계속해서 새로운 가능성이 열릴 것입니다. 방대한 양의 데이터를 성능 저하 없이 대규모로 저장할 수 있게 되었습니다. 전역 복제는 확장성과 복원력에 대한 새로운 기회를 제공합니다. Dataflow와 Dataproc을 사용하면 보안과 기밀성을 유지하면서 보다 쉽게 분석을 통합할 수 있습니다.

Symphony에서는 AI 구현 기회를 검토하는 동시에 기밀성 및 보안 강화를 위해 Confidential Space의 기능도 적극적으로 살펴보고 있습니다. 앞으로도 Bigtable은 핵심 메시지 데이터의 중앙 저장소 역할을 하며 Symphony에서 다루는 방대한 양의 데이터에 액세스하고 이를 처리할 수 있는 훌륭한 원스톱 공간을 제공할 것입니다.