오픈 아키텍처 기반의 네트워크 애널리틱스 구현

도입 배경과 목표 - 대용량 데이터 처리 및 분석 인프라의 필요성

“LG유플러스는 폭발적으로 증가하는 트래픽과 빅데이터에서 유의미한 인사이트를 찾아내고, 고객의 체감품질을 보다 효율적으로 관리하고, 새로운 매출 창출의 기회로 삼기 위해 빅데이터 분석 인프라 도입을 고민하게 됐습니다.”

LG유플러스는 무선통신, 전화, 초고속인터넷, 방송 등 다양한 서비스를 제공하는 무선통신 기업입니다. 무선 데이터 트래픽이 폭발적으로 증가하는 가운데, LG유플러스의 트래픽도 급증하고 있습니다.

2015년의 경우, 하루에 약 40억 이상의 콜이 발생했으며 1200TB 이상의 트래픽이 발생했습니다. 이 엄청난 양의 데이터가 분석되지 않고 버려지고 있었습니다.

한편 이동통신의 품질은 단말과 엑세스 통신, 서비스망 등 다양한 계층의 데이터와 지표들이 모여서 나타납니다. LG유플러스에서는 이들의 상관성을 분석하여 고객이 체감하는 품질을 평가하고 보증합니다.

그러나 많은 데이터들이 50여 개의 이기종 데이터베이스 구축되어 있고, 품질 분석과 문제 개선을 위한 분석에 많은 시간이 소요되면서 고객 QoS(Quality of Service, 품질보장)에 한계가 발생했습니다. 이를 해결하기 위해 대용량 데이터를 처리하고 분석할 수 있는 인프라가 필요했습니다.

LG유플러스 네트워크본부에서는 수백 기가, 수 테라를 자유롭게 처리할 수 있는 ‘빅데이터 처리 플랫폼’과 다양한 계산 통계학적인 모델링을 적용 및 분석해서 의미 있는 가치를 찾을 수 있는 ‘분석 시스템’, 더 나아가 ‘시각화’를 제공하는 시스템을 구상하게 됐습니다.

이를 통해 ▶데이터 분석 업무의 효율성을 개선하고 ▶고객 경험(체감품질)을 관리하고 ▶네트워크의 OPEX(Operating Expenditure, 운용비)/CAPEX(Capital Expenditure, 설비투자)를 혁신하는 동시에, ▶많은 사용자들의 데이터를 기반으로 새로운 매출 창출의 기회로 삼는 것을 목표로 했습니다.

장애 요소 - 특정 솔루션 및 플랫폼 도입의 한계

“통신 장비 벤터와 빅데이터 플랫폼 사업자의 솔루션을 그대로 도입하기에는 많은 한계가 있었습니다. 기능성과 확장성에 제한이 있었고, 구축에 소요되는 시간도 생각보다 길었습니다. 더욱이 성공 여부를 가늠할 수 없는 상황에서 초기에 투자할 비용도 큰 부담이었습니다.”

그와 같은 목표를 실현하기 위해 지난 2년간, 다섯 곳의 통신 장비 벤더와 빅데이터 플랫폼 사업자의 솔루션을 검토했습니다. 그리고 몇 가지 한계를 발견했습니다.

기능성과 확장성의 제한
대부분의 솔루션이 특정 제조사에 대한 락인(lock-in)이 있었습니다. LG유플러스는 여러 벤더사의 제품을 구매해서 서비스를 제공하고 있습니다. 특정 벤더가 제공하는 빅데이터 플랫폼을 수용했을 때 다른 벤더의 기능들이 제한됐습니다. 오픈 소스 수용에도 한계가 있었습니다.

구축 시간 지연
LG유플러스 네트워크본부 임직원들이 필요로 하는 애플리케이션과 니즈를 6개월 이상 컨설팅 하고, 실제 솔루션을 도입하기까지는 1년 이상의 시간이 소요가 되는 것으로 나타났습니다. 하루가 다르게 네트워크 환경이 변화하는 요즘, 1년은 너무도 긴 시간입니다.

초기 투자 비용 부담 및 부족한 애플리케이션
초기에 투자하는 비용도 큰 부담이었고, 애플리케이션도 부족했습니다. 이와 같은 이유로 LG유플러스는 네트워크 사업에 대한 지식이 부족한 플랫폼 사업자의 솔루션을 그대로 도입하는 대신, 인 하우스 플랫폼(In-house Platform)을 구축하기로 결정했습니다.

해법 - 오픈 아키텍처 기반의 인하우스 플랫폼

LG유플러스 네트워크 애널리틱스의 핵심은 오픈 아키텍처 및 오픈 소스 기반의 인하우스 플랫폼입니다. 외부 전문가를 아웃소싱하고, 오픈 아키텍처 기반의 인하우스 플랫폼을 기반으로 분석 전문가가 아닌 현업 담당자들이 직접 데이터를 다루고 분석할 수 있도록 하고, 이 과정에서 쌓은 개개인의 역량을 핵심역량으로 내재화하여 본질적인 경쟁력 확보를 목표했습니다. 이를 위해 약 네 달에 걸쳐 네트워크 애널리틱스 1단계 구축을 완료했습니다.

LG유플러스의 네트워크 애널리틱스는 다음과 같이 구성되어 있습니다.

<LG유플러스 오픈 아키텍처 기반의 네트워크 애널리틱스 개요>

그림에서처럼 데이터를 수집•저장•처리하는 인프라 부분, 분석 및 시각화해서 애플리케이션을 만드는 분석 부분은 다양한 오픈소스와 특정 벤더의 솔루션을 구매하여 구현했습니다. 특히 SAS Data Loader for Hadoop을 이용해 IT 관리자는 물론, 일반 네트워크 사용자들도 데이터를 쉽게 추출하고 가공할 수 있는 환경을 제공했습니다. 데이터 분석을 위해서는 실시간으로 많은 데이터를 인메모리로 처리할 수 있는 SAS Visual Analytics, 고급 통계학 모델들을 이용할 수 있는 SAS Visual Statistics를 도입했습니다.

이 같은 시스템을 기반으로 ▶분석업무의 효율성을 높이는 다양한 애플리케이션과 ▶고객의 체감품질을 관리하는 애플리케이션 ▶OPEX/CAPEX를 혁신할 수 있는 애플리케이션들을 개발했습니다.

데이터 처리 및 분석을 위한 SAS 솔루션

LG유플러스에서는 분석 전문가가 아닌 네트워크 전문가 즉, 현업 담당자들이 데이터를 다루고 분석하는 데 초점을 두었습니다. 그리고 이를 가능하게 한 대표적인 툴이 SAS 솔루션입니다.

SAS Data Loader for Hadoop
네트워크본부의 일반 임직원들이 데이터 ETL을 할 수 있는 솔루션입니다. 직관적인 GUI를 기반으로 누구나 쉽게 데이터를 가공하고, 원하는 데이터를 만들 수 있게 됐습니다.

SAS Visual Analytics
테라 단위가 넘는 대용량 데이터를 실시간으로 탐색하는 솔루션입니다. 인메모리 처리를 통해 기존에는 하지 못했던 많은 데이터들을 실시간으로 처리할 수 있게 됐습니다.

SAS Visual Statistics
회귀모델, 클러스터링, 클래스피케이션 등 다양한 분석 모델들을 활용하여 예측 모델을 빠르게 생성할 수 있게 됐습니다.

SAS Visual Analytics Dashboard
분석을 통한 유의미한 데이터들은 대시보드를 이용해 애플리케이션으로 쉽게 구현할 수 있게 됐습니다.

네트워크 애널리틱스 1단계 추진 성과

1단계에서 총 4회의 TF를 통해 약 80가지 애플리케이션을 개발했으며, 이 중 72가지는 실제 현장에서 활발히 활용되고 있습니다.

분석 업무 자동화
43개의 KPI 대시보드를 자동으로 생성하고, 주기적인 데이터 분석 업무를 대체할 수 있는 29개의 대시보드를 개발하여 시시때때로 반복적으로 수행하던 데이터 분석 업무를 자동화했습니다.

주요 지표 상세분석
기존에는 데이터가 너무 많아서 샘플링을 한 다음 엑셀로 돌릴 수밖에 없었습니다. 하지만 네트워크 애널리틱스가 구축되면서 몇 백 기가, 몇 테라 정도는 실시간으로 분석할 수 있는 환경을 제공하게 됐습니다. 특히 주요 지표와 결점(Defect)을 실시간으로 분석합니다.

데이터 분석 효율 개선
데이터 추출, 가공, 분석, 보고서 작성까지 평균 3~5일이 걸리던 일을 1일 이내로 줄였습니다. 이로써 데이터 분석 업무의 효율성을 높이게 됐습니다.

연 300억 이상의 OPEX/CAPEX 개선과제 개발
네트워크 투자에 대한 타깃 플래닝, 선제적인 디바이스 품질관리, 지능형 사이트 오퍼레이션, 효과적인 네트워크 용량 관리 등을 지원하는 애플리케이션을 개발함으로써 네트워크의 OPEX/CAPEX에서도 혁신을 이뤘습니다.

향후 계획

1단계에서는 실무 임직원들이 여러 기종에 분산된 데이터를 원하는 형태로 만들고, 이를 실시간으로 분석하고 시각화하는데 초점을 뒀다면, 2단계에서는 ▶애플리케이션을 공통으로 사용할 수 있는 데이터웨어하우스를 만들고, ▶고급 모델링 기술을 도입하여 ▶OPEX/CAPEX 혁신으로 연결하는 것이 목표입니다.

공통 데이터웨어하우스 및 데이터마트 구축
1단계에서 개발한 72가지 애플리케이션은 애플리케이션별로 마스터 테이블이 존재합니다. 이 모든 애플리케이션을 공통으로 사용할 수 있는 데이터웨어하우스를 설계할 계획입니다. 모든 가입자/콜 단위 공통 DB를 구축함으로써 고객경험을 관리하고, 실시간으로 보다 차별화된 고객 응대 서비스를 제공하게 됩니다. 또한 전사 플랫폼과 연동하여 분석 역량을 상호 공유할 계획입니다.

고급 데이터 분석 역량 내재화
예측모델링, 의사결정모델, 클러스터링, 리얼타임 스트리밍 등 다양한 고급모델 분석을 통해 네트워크본부 임직원들의 분석 역량을 한 단계 올리게 됩니다.

지속적인 OPEX/CAPEX 개선
1단계 과제를 더욱 확산하여 성과를 창출하고, 새로운 개선 과제를 도출하여 실행할 계획입니다. 이를 통해 투자와 운영의 효율성을 개선하고, 고객의 체감 품질 보장, 예측 기반의 선제적 네트워크 관리 등을 실현하게 됩니다.

요약

빅데이터 과제의 핵심은 플랫폼, 역량, 애플리케이션입니다. LG유플러스에서는 지난 4개월간 오픈 아키텍처 기반의 네트워크 애널리틱스를 구축했습니다. 오픈 아키텍처 기반의 플랫폼 구축은 확장성과 신속한 구축을 위해 매우 효과적입니다. 아울러 SAS의 비주얼 애널리틱스, 비주얼 스태티스틱스, 데이터 로더 포 하둡 등을 통해 임직원들도 데이터 EPL, 분석, 시각화를 직접 수행할 수 있게 됐습니다. 특히 현장의 다양한 요구사항을 IT 전문가의 도움을 최소화하면서 실제 애플리케이션과 연결함으로써 단시간에 많은 성과를 도출할 수 있었습니다. 또한 분석 전문가들과 지속적인 PoC(개념증명)를 통해 구현의 실행성을 검증하고 역량을 내재화하는 기회로 삼을 수 있었습니다. 아울러 이기종 DB에 대한 크로스 레이어(Cross-Layer) 분석은 많은 혁신의 기회를 제공하는 사실을 확인할 수 있었습니다.