SK C&C AccuInsight+, 가상머신부터 TPU까지 다양한 데이터 분석 플랫폼 기회 제공해
SK Holdings C&C에 대하여
SK주식회사C&C는 IT 서비스 회사로서 디지털 트랜스포메이션에 대한 기술적 전문성과 고객 산업에 대한 이해를 바탕으로 고객의 가치를 극대화하는데 기여해 왔습니다. 디지털 트랜스포메이션으로 확보한 데이터를 바탕으로 과감한 실행력과 속도를 더해 고객과의 동반 성장을 강화하고, 지속적인 디지털 기술을 활용한 비즈니스 혁신을 이뤄 디지털 이노베이션을 선도하고 있습니다.
어떤 어려움을 겪고 계신지 알려주세요. Google Cloud가 도와드리겠습니다.
문의하기SK주식회사C&C는 Accuinsight+라는 머신러닝 기반 데이터 분석 플랫폼을 운영하고 있습니다. Accuinsight+는 온프레미스 뿐 아니라 멀티클라우드 환경에서도 운영되는데 Google Cloud Platform을 통해 서비스 구축부터 TPU를 비롯한 클라우드 기능을 유연하게 더할 수 있게 되면서 고객사들에게 안정적이고 빠른 서비스 환경을 제공하게 됐습니다.
구글 클라우드 사용 효과
- 멀티 클라우드 환경 구성에 유리
- Kubernetes 기반의 개발 환경 제공
- TPU, GPU 등 고성능 컴퓨팅 자원 확보로 성능 향상
탁월한 성능, 유연성 갖춘 클라우드 기반 데이터 분석 플랫폼 제공
AccuInsight+는 SK주식회사C&C(이하 SK C&C)가 개발한 머신러닝 기반의 데이터 분석 플랫폼입니다. 빅데이터 분석과 머신러닝 등 데이터를 분석해 통찰력을 얻는 것은 이제 기업들이 필수로 고민해야 하는 일입니다. 하지만 무엇을 분석해야 하는지를 판단하는 것부터, 원하는 결과를 얻어내기 위해 필요한 도구들을 결정하고 분석과 활용하는 것까지 모든 과정이 기업들에게는 막연한 일입니다. 경험을 갖고 있는 서비스가 필요한 이유입니다.
SK C&C의 AccuInsight+는 현장의 경험을 갖고 있는 Citizen 데이터 분석가들, 즉 현장의 업무 전문가들이 데이터를 중심으로 인공지능 기술을 활용해 더 나은 능력을 발휘하고 그 동안 머릿속에서 생각만 하던 일들을 현실로 만들어낼 수 있도록 하는 데에 초점이 맞춰져 있습니다.
“데이터 분석가에 대한 수요는 꾸준히 늘어나고 있습니다. 하지만 적절한 인재를 현업에서 확보하는 것은 쉽지 않습니다. 또한 사내에 전문 분석가가 있다고 해도 결국 플랫폼과 현업의 Citizen 데이터 과학자가 적절한 역할을 해 주어야 AI가 현장에 자리를 잡을 수 있습니다.”
SK C&C의 플랫폼그룹을 맡고 있는 김준환 상무는 누구나 각자의 자리에서 인공지능을 활용하는 전문가, 스페셜리스트가 될 수 있도록 돕는 플랫폼을 만들고자 AccuInsight+를 개발하고 있다고 설명합니다. SK C&C는 이미 금융, 제조, 유통, 건설 등 다양한 산업 분야에서 AccuInsight+를 접목해 데이터 분석가와 엔지니어의 역량을 끌어올리는 경험을 이어오고 있습니다.
멀티 클라우드로 다양한 산업 환경 적용 기회 제공
최근 SK C&C는 AccuInsight+를 Google Cloud Platform에서 운영할 수 있도록 개선했습니다. AccuInsight+는 퍼블릭 클라우드와 프라이빗 클라우드를 폭넓게 활용하고 있습니다. 기본적으로 AccuInsight+는 기업의 데이터센터에서 온프레미스로 운영되지만 서서히 퍼블릭 클라우드를 통한 서비스 형태로 영역을 넓혀가고 있습니다. 금융 등 보안과 개인정보에 예민한 영역을 제외하고는 클라우드에 대한 보안과 안정성이 높아지면서 서서히 제약이 줄어들면서 도입과 운영에 대한 부담이 적은 퍼블릭 클라우드의 활용이 늘어나는 추세이기도 합니다.
특히 Google Cloud Platform은 성능과 안정성이 뛰어나고 GPU와 TPU등 별도 하드웨어가 필요한 분석 환경에도 적절히 대응할 수 있기 때문에 여러 산업 분야의 분석 요구에 곧바로 적용해 필요한 기능과 성능을 맞추기에 유리했습니다.
SK C&C는 GKE와 GPU를 통하여 컨테이너식 애플리케이션 배포를 위한 관리형 환경으로 개발자 생산성, 리소스 효율성, 자동화된 작업, 오픈소스 유연성에 혁신을 가져와 AccuInsight+제품 출시 시간을 단축하였습니다. AccuInsight+에 적용된 GKE(Google Kubernetes Engine)는 Kubernetes 컨테이너 관리를 위한 서비스입니다. Kubernetes의 출발이 구글인 만큼 Kubernetes에 대한 소스 기여도가 높고, 경험도 많습니다.
“현재 SK C&C의 AccuInsight+는 금융부터 제조 현장, 유통, 건설 등 다양한 산업 분야에서 데이터 분석을 맡고 있습니다. 각 산업 분야마다 데이터를 수집하는 과정부터 분석, 활용까지 모두 다르기 때문에 적절한 대응 방법이 필요합니다.”
김준환 상무는 AccuInsight+의 유연성을 강조했습니다. 예를 들어 금융권의 경우 데이터의 연동이 가장 큰 과제로 꼽힙니다. 데이터에 대한 보안이 예민할 뿐 아니라 분석 대상이 되는 데이터들이 수 십, 수 백가지 소스로 나뉘어져 있는데 이걸 하나로 취합해서 분석할 수 있도록 보관하는 것 자체도 쉽지 않기 때문입니다. 또한 데이터의 출처가 다양하기 때문에 중복이 빈번하게 일어나기도 합니다. 결국 막대한 데이터를 효율적으로 가져오는 체계가 필요합니다.
“대용량 데이터를 수집하는 단계부터 유사도를 파악해서 중복 데이터를 걸러내고, 중요한 데이터를 눈으로 확인하면서 실시간으로 탐색하고 처리하는 기능이 필요합니다. AccuInsight+는 이 과정을 거쳐 데이터 분석 외에도 다양한 방법으로 활용할 수 있도록 체계화하는 데이터 마스터링까지 확장했습니다.”
머신러닝의 역할도 중요합니다. 특히 제조 현장의 경우 제품이 생산되는 모든 과정이 데이터로 기록, 분석되는데, 설비나 환경 뿐 아니라 같은 라인에서 만들어지는 제품이라고 해도 종류에 따라 전부 다른 머신러닝 분석 모델이 필요합니다. 분석이 필요한 생산 환경에서는 보통 100~200개씩 머신러닝 모델이 개별적으로 만들어져야 합니다. AccuInsight+는 템플릿을 만들고 현업의 Citizen 데이터 분석가가 직접 튜닝하면서 생산 환경에 맞출 수 있습니다.
“Google Cloud Platform은 빠르고 매끄럽게 데이터 분석 서비스를 운영할 수 있는 바탕이 되었습니다. 또한 GPU나 TPU등 고성능 컴퓨팅이 필요한 환경에서도 API 형태로 자연스럽게 연동되어서 원하는 데이터 분석 플랫폼을 구축하기에 최적의 환경을 제공했습니다.”
자연어 처리, 비정형 데이터 분석 등 퍼블릭 클라우드로 기능 확장
최근의 멀티 클라우드에 대한 흐름도 눈여겨볼 부분입니다. 일부 산업의 경우 Google Cloud Platform처럼 기업 외부에서 운영되는 퍼블릭 클라우드의 성능과 안정성, 효율성 등에 주목하고 있지만 보안과 규제 등으로 온프레미스에서만 운영해야 하는 경우가 있습니다.
하지만 데이터와 분석이 고도화되면서 기존 고객이 보유한 물리 서버 자원만으로 원하는 결과를 얻어내기 어려운 경우가 늘어나는 추세입니다. 특히 분석이 텍스트 분석이나 자연어 처리, 비정형 데이터 분석이 큰 역할을 차지하는데, 이를 온프레미스에서 구현하려면 GPU를 비롯해 별도의 고성능 장비와 솔루션이 필요합니다. 현실적으로 클라우드 도입을 고민할 수밖에 없는 경우가 많습니다.
“온프레미스에 데이터 분석과 관련된 환경을 갖춰두었다고 해도 대용량 처리가 필요한 분석에는 별도의 시스템이 필요합니다. 특히 GPU 의존도가 높아지는데, 이 때문에 GPU를 수 십 대씩 따로 추가해서 운영하는 것은 부담스러운 일입니다. 분석의 고도화를 염두에 둔다면 퍼블릭 클라우드의 자원을 쓰는 것이 자연스러운 선택입니다.”
AccuInsight+는 대용량 분석이나 GPU 처리, 외부 머신러닝 API 등이 필요할 때는 Google Cloud Platform를 연결해서 성능을 끌어올릴 수 있도록 설계했습니다. 온프레미스와 Google Cloud가 병행되는 것입니다. SK C&C는 Google Cloud Platform의 인프라를 이용하기 시작했고, 대용량 컴퓨팅부터 GPU, TPU 등 클라우드 자원을 유연하게 활용하면서 기존 고객사의 온프레미스에서 운영되던 서비스에 최신 Data & AI 분석 기술과 클라우드 서비스를 접목할 수 있었습니다.
Google Cloud Platform은 인프라 뿐 아니라 특정 기능들에 대해 API 단위로 활용할 수 있기 때문에 AccuInsight+와 매끄럽게 연결이 됩니다. 개발 과정이 번거롭지 않고 서비스의 활용도 자연스럽게 때문에 이용자는 현재 분석이 어떤 서비스 위에서 돌아가고 있는지 신경 쓰지 않아도 원하는 결과를 곧바로 뽑아낼 수 있습니다. 온프레미스상에서 데이터 보안에 대한 부담을 줄이면서 분석을 활용하고, 대용량 컴퓨팅이 필요한 순간에만 클라우드를 이용하면서 성능과 효율, 비용을 모두 사로잡는 하이브리드 클라우드의 이점을 누릴 수 있는 것이지요.
“데이터 분석과 머신러닝 모델이 기본적으로 작동하기 시작하면 다음 단계는 이를 하나의 온전한 응용프로그램으로 만드는 과정으로 넘어갑니다. 원래는 이 과정과 기간을 기다리는 것이 일반적이었는데 최근에는 분석 로직만 만들어지면 곧바로 실무에 적용하려는 수요가 늘고 있습니다. 모델이 완성되면 곧바로 API로 불러서 쓸 수 있도록 기능을 더했는데, 이 과정에서도 Google Cloud Platform은 빠르고 매끄럽게 원하는 결과를 뽑아내 주었습니다.”
초기 설계된 모델이 현업에서 활용되면서 활발한 피드백을 얻을 수 있고, 빠르게 완성도가 높아지는 것을 선호하는 기업들이 늘어가고 있다고 합니다. 빠른 배포, 활용을 위한 기능을 통해 인공지능 기술도 애자일을 하나의 흐름으로 성장하는 것입니다.
SK C&C는 한미글로벌에 Google Cloud Platform에서 운영되는 Accuinsight+를 공급하면서 모델의 설계와 현업의 활용이 동시에 이뤄지도록 설계했습니다. 공사비용과 원가에 대한 데이터베이스에 저장된 비정형 데이터를 분류하는 파일럿 프로젝트였습니다. 공사비 내역서 안에는 자연어와 숫자 등 많은 정보들이 복잡하게 얽혀 있습니다. 이 정보 세트를 머신러닝으로 분석해 골조 공사나 토목 공사처럼 어떤 형태의 사업이 이뤄졌는지 분류하는 것을 목표로 했습니다.
실제 프로젝트는 아주 빠르게 이뤄졌습니다. 먼저 Google Compute Engine에 가상 머신을 만들고 Accuinsight+가 바로 설치됐습니다. 분석을 위한 기본 로직은 1주 안에 완성됐고, 대분류는 곧바로 활용할 수 있는 수준으로 완성됐습니다. 한미글로벌은 곧바로 이 모델을 API로 만들어 기존 애플리케이션에 적용했고, 실제 현장에서 운영하며 중분류와 소분류로 데이터들을 구분해 나가고 있습니다.
SK㈜ C&C 김영대 Digital Tech 센터장은 앞으로 AccuInsight+의 목표를 ‘더 작은 시작’으로 설명했습니다. 더 많은 기업들이 적은 부담으로 데이터 분석에 대한 가능성을 검토하면서 디지털 트랜스포메이션을 받아들이게 될 것이고, 그 과정에서 큰 투자가 필요한 온프레미스보다 확장이 유연한 퍼블릭 클라우드를 주목할 수밖에 없다는 이야기입니다.
“대형 과제에 분석 플랫폼이 들어가는 경우는 많지만 점차 인공지능 기술의 수요는 로직 한 두 개로 시작해 적응 과정을 거치며 가능성을 확인하고 서서히 확장해 나가는 것입니다. 작게, 대신 빠르게 시작하기 위해서는 Google Cloud Platform의 안정적인 확장성이 큰 기회가 될 것으로 보고 있습니다. 또한 Google Cloud Platform은 스케일 아웃 뿐 아니라 기능과 성능의 발전이 이어지기 때문에 AccuInsight+가 데이터 기반 의사 결정 플랫폼으로 자리잡기에 최적의 퍼블릭 클라우드 환경이라고 생각합니다.”
어떤 어려움을 겪고 계신지 알려주세요. Google Cloud가 도와드리겠습니다.
문의하기
SK Holdings C&C에 대하여
SK주식회사C&C는 IT 서비스 회사로서 디지털 트랜스포메이션에 대한 기술적 전문성과 고객 산업에 대한 이해를 바탕으로 고객의 가치를 극대화하는데 기여해 왔습니다. 디지털 트랜스포메이션으로 확보한 데이터를 바탕으로 과감한 실행력과 속도를 더해 고객과의 동반 성장을 강화하고, 지속적인 디지털 기술을 활용한 비즈니스 혁신을 이뤄 디지털 이노베이션을 선도하고 있습니다.