엔라이튼 : 폭발적으로 늘어나는 데이터, 근본적 관리 부담 덜어낸 시스템 고도화
Enlighten에 대하여
엔라이튼은 ‘모두가 새로운 에너지의 생산과 소비 방식을 누리게 한다’는 목표로 IT, 데이터, 금융 기반 기술을 이용한 에너지 생태계를 만들고 있습니다. 지속 가능한 재사용 에너지의 생산과 유통 방법을 마련해주고, 세밀하게 수요를 예측해 에너지는 효과적으로 활용할 수 있도록 하고 있습니다. 2022년에는 재생 에너지의 가치를 실천하는 RE100과 CF100의 파트너로 선정되어 환경과 에너지 변화를 이끌고 있습니다.
어떤 어려움을 겪고 계신지 알려주세요. Google Cloud가 도와드리겠습니다.
문의하기친환경 재생 에너지를 생산하고 공유할 수 있는 서비스와 인프라를 제공하는 엔라이튼은 에너지와 관련된 다양한 데이터를 효과적으로 다루기 위해 구글 클라우드 플랫폼으로 데이터베이스를 이전했습니다. 전국에서 쏟아지는 에너지 생산과 수요에 대한 데이터는 실시간으로 저장, 분석되어야 하는데, 그 규모가 폭발적으로 늘어나며 인프라의 부담이 커졌습니다. 엔라이튼은 데이터를 역할에 따라 나누고, 적절한 구글 클라우드 플랫폼의 서비스를 적용해 데이터 증가에도 유연성과 확장성을 확보하게 됐습니다.
구글 클라우드 사용 효과
- 용도에 맞는 새로운 데이터 구조 설계
- 다양한 데이터 관리 서비스와 매끄러운 연동
- 단순해진 데이터 관리 포인트로 수월해진 인프라 운영
규모의 확장 대신 데이터 구조의 변경으로 근본적 데이터 확장성 확보 데이터베이스 고도화로 비즈니스 성장에 유연한 대응
엔라이튼은 에너지 자원을 모으고 연결해서 새로운 가치를 만들어내는 것을 목표로 하는 신재생 에너지 전문 스타트업입니다. 주택에 태양광 발전 시스템을 설치해서 전기요금 부담을 덜고 재생 에너지 환경을 구축하는 서비스를 비롯해 소규모 태양광 발전소를 만들고 원격으로 관리하는 ‘발전왕’, 맞춤형 전기차 충전 요금 안내 서비스인 ‘충전왕’ 등 지속 가능한 에너지를 효과적으로 생산하고, 나누면서 잘 이용하는 방법을 고민해 왔습니다.
엔라이튼은 에너지 기술을 바탕으로 과학기술정보통신부의 글로벌 ICT 유니콘 기업으로 선정되기도 했고, 2022년에는 RE100과 CF100의 동시 파트너사로 선정되면서 세계적인 환경과 에너지 흐름의 중심에 서 있습니다.
엔라이튼의 중요한 비즈니스 중 하나가 바로 에너지의 수요 관리입니다. 이미 국내에서도 개인, 혹은 기업이 직접 전기를 만들어서 전력 시장에 판매하는 시스템이 자리를 잡아가고 있습니다. 특히 ‘빅데이터 수요예측 기반 DR(Demand Response) 서비스’는 날씨 등의 영향에 따라 실시간으로 수요와 가격이 변동하는 전력 시장에서 정확한 수요를 예측해서 적절한 전기 거래의 기준이 되고 있습니다. 실제로 이 서비스를 통해 전력이 부족할 때 발전소들이 긴급 상황에 대응하는 고비용 발전기를 운영하는 대신 민간에서 생산한 전기를 적절한 값으로 거래할 수 있도록 도우면서 높은 에너지 비용과 환경 문제에 실질적으로 중요한 역할을 하고 있습니다.
"반복되는 스케일 업, 스케일 아웃으로 늘어나는 비용과 복잡한 관리 포인트에 애를 먹고 있었습니다. 구글 클라우드 플랫폼과 함께 새로운 형태의 데이터 구조를 고민했고, 데이터의 저장과 처리, 분석을 분리하는 구조로 데이터 흐름을 다시 설계했습니다. Pub/Sub 부터 BigQuery 까지 데이터는 지연, 정체 없이 매끄럽게 흐르고 처리되어 재생 에너지의 흐름을 빈틈 없이 관리할 수 있게 됐습니다."
지속 가능 에너지 관심 따라 비즈니스 급성장, 부담 커지는 데이터 관리
수요 반응 서비스가 제대로 이뤄지려면 전국에서 운영되는 자원거래 참여 기업들의 에너지 생산량이 정확하게 수집, 분석되어야 합니다. 최근 재생 에너지에 대한 관심이 높아지고 엔라이튼의 비즈니스도 빠르게 성장하면서 자원 거래에 참여하는 기업들의 수가 빠르게 늘어나고 있습니다. 이는 곧 처리해야 하는 데이터가 기하급수적으로 늘어나고 있다는 이야기와 통합니다.
엔라이튼은 타사 클라우드 상에서 운영하던 관리형 데이터베이스로는 매끄러운 운영이 어려울 만큼 높은 부하와 병목이 이어지면서 데이터 관리에 대한 근본적인 고민을 시작했습니다. 기본적으로 클라우드에서 트래픽을 해결할 때 가장 먼저 떠올리는 스케일업, 스케일아웃 등으로 처리 성능과 용량을 높이는 방법이 있었지만 엔라이튼이 다루고 있던 클라우드 데이터베이스는 이미 적지 않은 규모로 운영되고 있었습니다.
재생 에너지의 수요는 매일 매일 늘어나고 있기 때문에 데이터베이스의 규모는 앞으로 계속해서 커질 수밖에 없습니다. 효율적인 서비스 운영과 개선을 위해서는 지속적인 확장 가능성과 기존 시스템의 효율성 개선을 위해서 근본적인 데이터베이스의 설계 개선이 필요했습니다. 엔라이튼과 구글은 함께 데이터베이스를 단순 확장하는 것을 넘어 데이터의 역할과 용도에 따라 구분해 냄으로써 효율을 높일 수 있는 방법을 고민했습니다.
시스템 고도화는 고민부터 구성, 이전까지 단 3개월만에 이뤄졌습니다. 처음에는 새로운 데이터 아키텍처 반영에 적지 않은 시간이 걸릴 것이라는 우려도 있었지만 엔라이튼과 구글 클라우드 플랫폼은 함께 머리를 맞대고 작은 요소 하나하나를 테스트해가며 애자일 방식의 개발이 진행됐습니다. 잦은 커뮤니케이션을 통해 엔라이튼의 데이터 환경이 단순 확장이 아니라 지속적인 성장을 반영할 수 있어야 함을 이해했고, 목적에 따라 아예 데이터 흐름의 구조를 바꿀 필요가 있다는 합의점을 찾아냈습니다.
데이터 저장과 쿼리의 분리, 새로운 구조로 유연성 및 확장성 갖춰
엔라이튼의 DR 서비스가 꼭 지켜야 하는 것은 세 가지가 있습니다. 첫 번째는 발전소에서 계측된 데이터 수집 이벤트가 정확히 맞는지 확인하는 것, 두 번째는 5분 단위로 전기의 계량값을 정확히 수집하는 것입니다. 마지막은 에너지 거래에 관련된 중요한 정보들이 에너지 거래 기업들에게 5분 이내에 문자메시지와 이메일 등으로 100% 전달되는 것입니다.
이 중에서 두 번째 데이터의 수집과 세 번째 알림에 대한 부분은 구글 클라우드 플랫폼으로 고도화가 이뤄졌습니다. 데이터를 보관하고 분석, 조회하는 과정을 분리해서 데이터베이스 구조 자체를 바꾼 것입니다.
먼저 기존 데이터베이스에 가장 부담을 주었던 원본 데이터의 잦은 호출 구조를 새로 구성했습니다. 계측 장비를 체크하고, 데이터 수집이 제대로 이뤄지고 있는지 모니터링을 해야 했기 때문에 수집된 원본 데이터를 읽어들이는 과정이 필요했습니다. 하지만 매번 원본 데이터를 읽어서 확인하는 기존 구조는 시스템 전체에 꽤 큰 부담을 주었습니다.
여기에 관리 포인트가 늘어나면서 데이터를 수집하는 애그리게이션 로직이 복잡해졌고, 이 부담스러운 두 가지 일이 쉴 새 없이 데이터베이스 쿼리에 병목 현상을 일으켰습니다. 단순히 처리량을 늘리는 것으로는 또 다시 병목 현상이 반복될 수밖에 없는 구조였습니다.
해결 방법은 데이터의 원본 저장과 쿼리 결과의 관리를 따로 분리하는 것이었습니다. 데이터 수집은 Dataflow에 맡겨서 계측값을 특정 시간 단위별로 세밀하게 관리할 수 있도록 했습니다. Dataflow는 언제든 필요한 순간에 적절한 리소스를 배분하고, 관리 프로세스를 자동화하기 때문에 직접 시스템 자원을 할당하고 관리하는 부담 없이 매끄럽게 미리 정해둔 절차에 따라서 데이터를 처리해 주었습니다.
기존 클라우드에서 전달되는 이벤트 메시지는 Pub/Sub이 실시간으로 수집, 모니터링했습니다. 이를 통해 빈틈 없이 계측 장비들을 관리하고, 고객들에게 전달해야 하는 메시지를 지체 없이 알려줄 수 있었습니다. 특히 기존 장비들과 연결되어 있어서 당장 이전이 어려운 환경에서 Pub/Sub은 일관된 데이터 관리 환경을 만들 수 있는 최선의 방법이었습니다.
Pub/Sub과 Dataflow가 가져온 원본 데이터 및 처리된 데이터는 Cloud Bigtable에 저장했습니다. Cloud Bigtable은 NoSQL 기반으로 대규모 데이터 분석에 최적화되어 있기 때문에 시간대별로 치밀하게 관리되어야 하는 시계열 데이터 저장과 분석 처리를 매끄럽게 해 냈습니다. 또한 BigQuery와 Cloud Composer 등 구글의 다른 데이터 관리 서비스와 연동이 매끄럽기 때문에 원본 데이터를 필요로 하는 다른 서비스에서 실시간으로 데이터를 활용할 수 있도록 하는 창구 역할을 해 주었습니다
복잡해지는 데이터 성격 따라 적절한 구조 필요
엔라이튼의 데이터 고도화는 표면적으로 데이터베이스를 분리하는 것으로 병목 현상을 매끄럽게 해결해 냈지만 근본적으로 데이터 구조가 바뀌면서 데이터의 활용도 더 안정적이고 자유로워졌습니다. 전기 에너지 거래는 정부 정책을 예민하게 반영합니다. 이 때문에 엔라이튼도 새로운 정책에 따라서 데이터 집계 과정을 손 보거나 민감한 부분에 대해서 예외 처리가 필요한 경우들이 꽤 있었습니다.
결과적으로 데이터 집계 로직을 자주 바꾸는 일이 필요했는데, 이는 BigQuery로 간단하게 처리했습니다. BigQuery를 통해 정책을 업데이트하면 Cloud Bigtable에 저장된 원본 데이터의 규칙을 간단하게 업데이트할 수 있었습니다. BigQuery는 표준 SQL문을 사용하기 때문에 로직을 바꿔야 할 때 개발자의 도움을 받지 않아도 실무자가 간단하게 처리할 수 있어서 현장의 반응도 좋았습니다. 엔라이튼의 강대호님은 새로운 데이터 환경으로 인프라에 대한 부담을 내려두고 비즈니스 운영에 더욱 집중할 수 있게 된 점이 인상적이라고 말했습니다.
"BigQuery와 Cloud Bigtable을 활용하는 새로운 데이터베이스 환경 도입으로, 데이터베이스 확장에 대한 걱정을 덜고 이전보다 더 신속하게 질의에 답변을 고객에게 전달할 수 있게 되었습니다."
엔라이튼의 데이터베이스 고도화는 애초 데이터의 병목 현상을 스케일업 방식으로만 해결할 수는 없다는 고민에서 시작됐지만 그 과정과 결과는 단순한 인프라의 확장이나 데이터 처리량의 증가가 아니라는 점이 흥미롭습니다. 데이터는 점점 더 복잡해지고, 그 용도도 다양해집니다. 단순한 관계형 데이터베이스를 넘어 다양하게 활용과 분석이 이뤄집니다. 즉, 확장과 유연성이 필요하다는 이야기입니다.
구글 클라우드 플랫폼은 당장의 트래픽 처리를 넘어 비즈니스 성장을 유연하게 반영할 수 있고, 비용 효율성과 매끄러운 데이터 관리의 확장 방법들이 열려 있습니다. 엔라이튼도 비즈니스가 빠르게 성장하는 스타트업 입장에서 데이터 관리에 대한 근본적인 부담을 덜어낼 수 있게 해 주었다는 점으로 구글 클라우드 플랫폼에 대한 만족을 설명합니다.
어떤 어려움을 겪고 계신지 알려주세요. Google Cloud가 도와드리겠습니다.
문의하기
Enlighten에 대하여
엔라이튼은 ‘모두가 새로운 에너지의 생산과 소비 방식을 누리게 한다’는 목표로 IT, 데이터, 금융 기반 기술을 이용한 에너지 생태계를 만들고 있습니다. 지속 가능한 재사용 에너지의 생산과 유통 방법을 마련해주고, 세밀하게 수요를 예측해 에너지는 효과적으로 활용할 수 있도록 하고 있습니다. 2022년에는 재생 에너지의 가치를 실천하는 RE100과 CF100의 파트너로 선정되어 환경과 에너지 변화를 이끌고 있습니다.