ETRI, AR·VR 접목해 더 생생한 체험 구현

몰입형 XR 콘텐츠 개발

3차원 사용자 동작 분석

위치 추정 기술로 XR 선도

[정보통신신문=서유덕기자]

한국전자통신연구원(ETRI)은 사용자의 경험이 더 생생하고 현실감이 넘치도록 가상현실(VR)과 증강현실(AR)을 접목하는 몰입형 확장현실(XR) 개발에 성공했다고 19일 밝혔다.

몰입형 XR의 주요 요소 기술로는 △다중·이형센서기반 상황적응형 인터랙션 프레임워크 △다인칭 사용자 3차원 정밀 동작 분석 기술 △복합공간상 사용자 위치 추정 기술 △개인 모바일 디바이스 인터랙션 증강 기술 등 4가지가 꼽힌다.

이 중 다인칭 사용자 3차원 정밀 동작 분석 기술은 모바일 환경에서 딥러닝 기술을 이용해 2차원 영상 데이터 기반으로 사용자의 3차원 관절 위치 정보를 추론한다.

기존 방법들은 고가의 그래픽처리장치(GPU) 장비가 탑재된 시스템 자원을 요구하지만, 이 기술은 사용자의 스마트폰을 이용해 3차원 자세 정보를 효율적으로 추출할 수 있다는 장점이 있다.

또한 복합공간상 사용자 위치 추정 기술은 스마트폰 카메라를 활용해 영상의 특징점을 추출하고, 이를 기반으로 3차원 포인트 클라우드를 생성·보정해 환경 맵을 구축한다. 생성된 맵을 활용해 사용자의 디바이스 위치를 정밀하게 추정할 수 있다.

이 기술은 사용자가 AR 환경에서 몰입감을 극대화할 수 있도록 설계됐다.

이로써 가상·증강 환경에서 사용자의 환경과 행동을 정밀하게 해석해 다수의 사용자에게 별도의 제약 없이 동일한 품질의 인터랙션을 제공할 수 있다.

연구진은 증강현실에 맞춰 가상현실 공간을 만들어 로컬·원격에서 다수 사용자가 생생하게 XR 콘텐츠를 체험할 수 있도록 했다. 증강현실 속에서 범용 스마트폰을 활용한 헤드 마운티드 디스플레이(HMD)를 착용한 두 명의 로컬 사용자는 각각 여우와 어린왕자의 역할을 하고, 가상현실 속에서 HMD를 착용한 또 다른 한 명의 원격사용자는 허수아비 캐릭터 역할을 했다. 이로써 다수의 인원이 참여하는 원격몰입 XR을 시연해 냈다.

몰입형 XR은 노원기차마을 스키장 디오라마, 국립중앙도서관 ‘자산어보’ 등을 현장에서 체험할 수 있는 시범서비스에 적용됐다.

정성욱 ETRI 콘텐츠융합연구실 책임연구원은 “연구 결과물의 조기 사업화를 위해 테마파크·국립박물관 등에서 실제와 가상 환경을 융합한 직관적 인터랙션을 제공, 몰입형 콘텐츠를 선보일 수 있도록 적극 지원할 것”이라고 말했다.