어릴 적 미술 시간에 선생님이 “자신이 생각하는 미래를 그려봐”라고 하셔 미래를 그려본 경험이 있다. 우주정거장, 공중을 날아다니는 자동차, 엄마대신 집안일을 하는 로봇 그림이 대부분이었다. 상상으로나마 그려본 미래가 멀지 않은 현실이 되었다. 이제는 눈을 한 번 감았다 뜨면 과거에 서 있고, 다시 감았다 뜨면 미래에 서 있는 가상의 세계 또한 그리 멀지 않았다. 다가올 가상 세계의 기술을 들여다보자.
 
   
01 / 과거와 미래를 넘나드는 기술

우리는 한 번쯤 SF영화 속 주인공이 되어보는 꿈을 꿔봤을 것이다. 영화 속 과학기술들이 머지않아 우리 일상에도 실현될 것이라는 상상도 해봤을 것이다. 이제 그 상상이 현실이 될지도 모른다. ICT발전의 속도는 시간의 흐름을 앞당겨 현재에서 가능하도록 실현하고 있다. 최근 가상현실(Virtual Reality)과 증강현실(Augmented Reality)에 대한 인기가 상당하다. 사람들이 미처 경험하지 못했던 일들이 우리 눈앞에, 유명 전시회에서도 VR, AR기술들이 접목되고 있다. 과거와 미래를 경험할 수 있는 세상도 점점 다가오고 있다. VR, AR기술은 그동안 과거나 현재, 미래, 혹은 원거리에 있어 볼 수 없었던 사람이나, 사물, 심지어 주변까지도 한 공간에 같은 시간대에 공존하게 한다. VR과 AR기술은 우리 일상뿐 아니라, 다양한 분야에 걸쳐 적용되고 있으며 머지않아 우리의 일상에 밀접하게 접목될 것이다. 가상현실의 몰입감과 증강현실의 현실감을 접목한 혼합현실(Mixed Reality)기술이 주목받고 있다. 전문가들은 VR과 AR이 시장을 뒤흔들었다면 앞으로는 MR기술이 각광받을 것으로 전망했다. 한국인터넷진흥원(KISA)과 KT경제경영연구소는 2017년 정보통신기술(ICT) 10대 이슈 가운데 하나로 MR을 꼽았다. VR이 앞이 보이지 않는 고글을 쓰고 현실이 아닌 100% 가상의 이미지를 사용하는 기술이라면, AR은 현실에 3차원 가상 이미지를 겹쳐 보여주는 기술이다. 두 기술의 장점만 혼합한 MR은 여기에서 한 단계 더 나아간다. 현실 세계와 가상 세계의 정보를 결합해 두 세계를 접목한 공간을 만들어 내는 기술을 구현한다. 단순히 만들어진 이미지가 현실 세계에 표시되는 것이 아니라, 현재 내가 보고 있는 공간과 사물 정보를 파악하고 그에 맞는 가상의 3차원(3D) 홀로그램이 덧입혀 보인다는 점에서 AR과 확연하게 대비된다. 이러한 세계적 흐름에 따라 ETRI도 발맞춰 연구에 앞장서고 있다.
 

02 / 실전 같은 VR 훈련시스템

ETRI 박상준 소프트웨어(SW) 콘텐츠연구소 HMI연구그룹프로젝트 리더팀이 ‘사용자 움직임을 감지해 콘텐츠’에 반영하고, 전후좌우 모든 방향으로 자유롭게 이동할 수 있는 'VR 훈련시스템 원천기술'을 개발하여 민간 기업에 기술이전 상용화를 추진한다.
ETRI가 개발한 VR 훈련시스템은 병사에게 실전과 같은 가상 훈련 환경을 제공하는 것이 목적이다. 사용자의 움직임을 그대로 훈련용 콘텐츠에 재현한다. 몸에 부착한 다중 모션 센서와 최대 6개의 뎁스 카메라 총 20개의 사용자 관절 위치 및 움직임을 감지해 걷기, 뛰기, 앉기, 일어나기 등 역동적인 움직임을 정밀하게 파악한다.
특히 두 가지 센서 기술의 상호 작용으로 빠른 움직임과 미세한 관절 회전에도 무리없이 인식이 가능하다. 소총이나 권총 같은 무기에 추가 마커를 부착하면 탄착 지점도 추정할 수 있다.
센서를 통해 얻은 정보는 콘텐츠에 실시간 반영된다. 현재 총 29가지 행동을 인식·적용할 수 있다. ETRI는 앞으로 딥 러닝 기술을 적용해 각 행동의 징후를 미리 파악하고, 시스템 반응 속도를 높이는 연구를 이어 간다.
박상준 ETRI 위치항법기술연구실장은 “병사들이 좁은 공간에서도 실제 훈련처럼 몸을 움직이고 몰입감을 극대화시킬 수 있게 했다”면서 “내년에는 기업에 기술을 이전, 게임 산업과 의료 산업 분야에 적용할 계획”이라고 밝혔다.
 
 

03 / 눈앞에 펼쳐질 가상 세계

눈앞에 펼쳐진 가상현실 화면에 증강현실효과를 더해 현실감을 극대화하는 콘텐츠 기술도 있다.
사용자의 몸짓, VR, AR를 하나로 모은 혼합현실을 표방했다. 사용자의 움직임에 반응해 마치 번개가 손을 감싸고, 발사되는 듯한 효과를 표현한 ‘선더펀치’콘텐츠는 시야가 닿는 콘텐츠 표현 면적을 넓히고 AR효과를 극대화했다. 사용자가 팔을 움직이면 배경이 되는 디스플레이 영상에 여러 가지 색깔의 AR 번개가 생성된다. 번개는 사용자 손 부근에 만들어져 마치 손으로 쥐고 있는 것처럼 보인다. 손을 앞으로 뻗으면 번개를 전방 디스플레이 화면으로 발사할 수 있다. 이 콘텐츠 기술은 뎁스카메라로 현실감 넘치는 MR을 만들었다. 사용자의 신체 위치를 정확히 판별해서 엉뚱한 위치에 번개가 생성되는 것을 방지할 수 있다. 각 부위의 3차원 좌표를 정밀하게 분석해 눈·손과 일직선이 된 화면 위치에 번개효과를 생성한다. 어깨와 손의 각도 차이를 분석하여 번개 발사 지점도 정밀하게 구현했다.
4D 가상 패러글라이딩 시스템은 사용자의 위치, 방향에 따라 광시야각 HMD에 펼쳐지는 360도 영상으로 마치 하늘을 나는 듯한 실내 패러글라이딩 시스템이다. 특히 실제 패러글라이딩을 하는 듯한 장비와 음향 효과를 장착하여 현장감, 실제 체험 효과를 극대화 시킨다. 손잡이 제어, 자세(무게중심) 추적, 머리 방향 추적 센서를 부착하여 사용자가 원하는 위치, 방향의 영상을 360도로 실시간 제공한다. 가상 사파리 여행 체험 콘텐츠 기술도 마찬가지로 가상현실 환경에서 다양한 동물들과 상호작용을 통해 교감할 수 있는 가상 사파리 체험 콘텐츠 기술이다. 손 검출 및 추적이 가능하고 속도, 방향 등의 움직임을 잡아낸다. 특히 제스쳐 인식이 가능하여 가상 체험용 먹이주기, 악수하기가 가능하다.
 
 
04 / 다가올 가상의 세계

전 세계적으로 MR시장 주도권을 잡기 위한 경쟁도 본격화되고 있다. VR은 어지럼증 유발이라는 약점을 드러낸 반면 AR은 포켓몬고 등을 통해 발전 가능성을 보였다. MR은 AR의 발전된 형태로 다방면의 활용 가능성이 큰 만큼 다국적기업 간 시장 선점 경쟁이 치열할 것으로 전망된다. 혼합현실 기술이 상용화된다면 멸종된 공룡을 만나거나 우주를 탐험하는 것도 허황된 이야기는 아닐 것이다. 굳이 놀이공원에 가서 롤러코스터를 탈 필요가 없고, 동물원이 아닌 도심 한가운데서 사파리를 체험할 수 있다. 어릴 적 스케치북에 그렸던 미래의 세상이 우리 눈앞에 펼쳐질 날이 머지않아 보인다.

  - 한국전자통신연구원 ETRI -