대용량 데이터 처리의 신뢰성 높이다

지금 이 순간에도 우리는 데이터를 생산하고, 처리하고, 소비한다. 전 세계에서 동시다발적으로 일어나는 일이다. 지난해 연말 인스타그램 사용자 수는 20억 명을 돌파했다. 이들이 하루에 올리는 문자와 동영상, 사진 등의 정보와 게시물 공유, 구독과 ‘좋아요’를 누르는 횟수까지 모두 데이터다. 이 모든 데이터는 중앙집중화된 공간으로 집적되고 다양한 방식으로 분석돼 재생산된 서비스로 사용자들에게 돌아가게 된다. 이를 가능하게 하는 것이 바로 ‘시스템 플랫폼’이다.
“데이터는 실시간으로 빠르게 생성되고 있어요. 이를 운영하는 구글, 페이스북, 아마존 같은 인터넷 기반 기업들은 수많은 서버를 활용해 이들 데이터를 처리하고 있죠. 저희 연구팀이 개발한 기술은 데이터 소스 차원의 컴퓨팅 자원은 최소로 사용하면서 실시간으로 전송하는 스트림 프로세서의 데이터 양을 최소화할 새로운 알고리즘을 설계해 자비스에 적용한 것입니다.”
기존에는 데이터가 방대하게 생성되면 이 데이터를 중앙집중화된 데이터 센터에 전송해 분석하는 방식이었다. 그러니 이 과정을 처리하는 서버 개수가 늘어날 수밖에 없었다. 이는 다시 하드웨어의 발열, 데이터 로딩 에러 등과 같은 문제의 발생 빈도를 높였고, 운영회사의 서비스 품질 문제로 이어졌다. 다시 말해 최소의 컴퓨팅으로 대용량 데이터를 신속하고 정확하게 처리할 수 있는 실시간 빅데이터 엔진이 필요하게 된 것이다.
“빅데이터를 운영하는 기업들은 어떻게든 방대한 데이터를 효율적으로 빠르게 그리고 문제없이 운영하고 싶어 해요. 특히 어떤 환경에서도 원활하게 운영된다면 더 좋겠죠. 예를 들면 네트워크가 약한 환경에서도요. 저희 기술은 그 부분에 대한 명확한 해법을 찾았습니다.”

“우리 컴퓨팅 환경은 점점 더 클라우드로 옮겨질 거예요.
따라서 데이터 센터의 신뢰성을 보장할 수 있는 플랫폼 엔진이 요구될 수밖에 없어요.”

AI 기반 시스템 플랫폼 연구로 나아가다

우리나라의 컴퓨터 산업 분야의 발전은 주로 기업을 주축으로 한 하드웨어 기술 중심으로 이뤄졌다. 그에 반해 플랫폼 연구는 많이 이뤄지지 않고 있다. 앞으로는 어떻게 될까? 데이터에 의존하는 지금의 추세는 계속될 것이고 앞으로 발생할 가능성이 큰 문제가 무엇일지 고민하다 보면 결국 답은 플랫폼에서 찾을 수 있다.
“우리 컴퓨팅 환경은 점점 더 클라우드로 옮겨질 거예요. 따라서 데이터 센터의 신뢰성을 보장할 수 있는 플랫폼 엔진이 요구될 수밖에 없어요. 서버에 에러가 나거나 네트워크가 약한 환경에서 데이터가 유실되어 실시간 데이터 제공이 어렵게 되는 상황이 발생하지 않도록 해야죠.”
전 교수팀의 방향성은 기업에도 통했다. 최근 카카오브레인과 손잡고 AI 기반 시스템 플랫폼 연구를 지원받게 됐다. 모두 7개의 대학과 체결된 산학협력으로 6개 대학은 알고리즘 분야이고, UNIST만 유일하게 시스템 분야로써 지원 받게 됐다. 전 교수는 지금까지 연구한 기술을 바탕으로 더 고도화된 연구를 할 좋은 기회로 보고 있다.
“우리의 고민은 하나예요. 어떻게 하면 사용자들이 아무 걱정 없이 데이터를 모으고 처리할 수 있게 하는가. 글로벌 플랫폼 시장에서도 충분히 경쟁력을 가질 세계 수준의 시스템 플랫폼을 만들어보겠습니다.”