장면 그래프를 활용한 실내 환경의 3D 복원

컴퓨터 비전 분야에서 3D 복원 기술은 2차원 영상으로부터 3D 구조를 복원하고, 실제 영상을 이용해 객체의 특성을 직접 획득하는 연구를 중심으로 이루어졌다. 특히 이들 연구는 기존의 로봇 비전이나 머신 비전 시스템에서 실제 환경의 구조나 객체의 모양을 복원하거나 인식하는 것을 목표로 했다. 특히 최근에는 딥러닝 기법의 출현으로 기존 컴퓨터 비전 3D 복원 기술의 한계로 지적됐던 시간과 비용, 정확성 등의 문제가 해결되면서 자율주행차량의 내비게이션, 물체 인식이나 원격 몸짓 감지 외에도 로봇공학, 항공 및 국방 분야에까지 유용하게 활용되고 있다.
인공지능대학원 주경돈 교수 연구팀이 주력하는 것이 바로 4차 산업혁명의 핵심 분야인 자율주행과 AR·VR과 밀접한 3D 복원과 인지, 센서 융합 관련 연구다. 주경돈 교수는 특히 컴퓨터 비전 분야 중 3D 비전과 로봇 비전 분야의 전문가로, 특히 실내 환경의 3D 복원에 주목하고 있다. 직육면체로 표현 가능한 실내 환경처럼 인간이 만든 환경을 효율적으로 구현하는데 필요한 방향 정보 인식을 다양한 측면에서 연구했다. 실내 환경은 구조적인 특성이 있으므로 주요한 평면 특징을 기반으로 하는 3D 도식화 표현이 가능하다. “생활하는 공간에 대한 효율적인 평면 모델링 연구를 진행 중입니다. 가령 실내 환경을 점으로 취득하면 수백 만개의 점으로 표현되는데, 사실 인간은 몇 개의 평면으로 표현해도 환경을 이해할 수 있거든요. 저희는 수많은 점으로 이루어진 공간의 이미지를 평면화 작업으로 단순화해 좀 더 가볍게 만듭니다.”
그런데 3D 복원이 이 단계에만 머물면 또 다른 한계에 봉착한다. 실내 환경의 구조적인 특성만 표현할 뿐 실내 환경 내의 객체 혹은 객체와 구조와의 실제 관계를 표현하지 못하는 한계에 맞닥뜨리게 된다.
컴퓨터 비전 응용에 다양하게 활용하기 위해서는 더 효율적이면서 명료한 표현 방식이 필요한데, 이때 유용하게 쓰이는 것이 ‘장면그래프(Scene Graph)’다. 장면 그래프는 장면 내의 객체들 사이의 관계를 나타내는 그래프 구조로, 장면의 의미 정보와 물리적 공간 정보를 모두 내포하고 있다.

• 
• 

부분으로부터 보이지 않는 영역까지,
3D 장면 그래프의 확장과 완성

주경돈 교수 연구팀의 이번 연구에서 주목할 부분은 단순히 물리적인 의미를 갖는 독립적인 평면 모델이 아니라 그래프 구조를 이용해 평면 사이의 상관관계와 의미 정보까지 내포하는 고차원적인 모델에 관한 연구라는 점이다. 영상으로부터 실시간으로 실내 환경 내 객체와 공간적·의미적 관계를 내포한 3D 실내 환경으로 표현할 수 있으면, 부분적으로 관측된 장면 그래프를 실내 환경의 구조적인 특성을 이용해 보이지 않는 영역까지로 확장하고 완성할 수 있게 된다. “실내 환경의 구조적인 특성은 ‘부분적으로 관찰된 실내 환경의 정보(부분 장면 그래프 혹은 좁은 시야각의 영상)로부터 확장된 장면 그래프 생성 및 3D 표현 문제에 핵심적인 사전 정보로 활용할 수 있습니다. 가령, 로봇에게 연필을 찾으라고 요구한다면 로봇은 연필과 책상의 관계를 인지해 책상 방향으로 빠르게 이동할 수 있는 거죠. 저희는 이에 대한 원천기술을 확보하는 게 목표입니다.”
또, 여기서 한 단계 더 나아가면 장면에 대한 고차원적인 모델과 인간의 상호 작용을 고려해 사람의 행동이나 위치 등을 인지할 수 있다. 이는 AR·VR, 메타버스와 연결되는 중요한 연구다. 주경돈 교수는 “아직은 연구 초기 단계이며 연구를 진행하는 데 적지 않은 어려움이 따른다”라고 말한다. 3D 복원 연구를 진행하는 연구자가 국내에 그리 많지 않은 데다 학계에 선행 연구가 많지 않아 학습에 필요한 데이터가 부족하거나 없는 경우도 많기 때문이다. 이런 경우에는 연구를 효율적으로 수행하기 위해서 기존에 존재하는 유사 데이터를 통해 아이디어를 검증하고 이후에 필요한 데이터를 직접 취득하는 방식으로 접근하고 있다.
주경돈 교수를 중심으로 한 공동 연구팀은 앞으로 이 연구가 산업과 사회에 미칠 파급력이 상당할 것으로 기대하고 있다. 우선 실내장면에 대한 공간적, 의미적 관계를 보존한 장면 그래프로 압축함으로써 메모리 부족이나 비용 문제를 해소할 수 있으며, 실내 환경의 3D 표현과 4차 산업혁명 시대의 핵심 기술 중 하나인 VR을 결합해 게임, 의료, 교육 등 다양한 분야에 활용하는 것이다. 또 부분 관찰된 정보로부터 장면을 예측해 로봇 내비게이션과 같은 애플리케이션에 응용할 수 있는 등 로봇 관련 분야에 광범위하게 영향을 미칠 것으로 기대하고 있다.