오늘의 아이디어

virtual reality에 대한 인기가 한창이다. 사실 이 가상현실에 대해서 사람들이 관심은 아주 오래전부터 있었다. 오죽하면 HTML로 홈페이지를 만든다고 떠들 때에 VRML이라는 markup language까지 나왔었으니까. 이것도 잠시 떠들다 시들해졌다. 당시에 브라우저가 지원하기 쉽지 않았고 이후로도 메이져 브라우저들이 서포트해주지 않았던 터라 그냥 시들해졌던 것으로 기억한다. 오히려 flash가 크게 붐이 일어서 지금까지 왔고 이젠 HTML5로 넘어가면서 flash player를 짜증내하는 지경에 이르렀지 싶다만.

요새 VR은 스마트폰에도 내장되는 자이로센서를 이용해서 일종의 헤드기어를 쓰고 즐기는 모양새가 보편적이 되었지 싶다.

여기서 두 가지, 가상현실의 영상: 기존의 3D rendering이라든가 360도 카메라를 이용한 실사를 찍고 처리하는 일에 관심이 많고, 가상현실의 음향: 가상공간상의 좌표를 이용해서 일종의 audio rendering을 하는 일들을 주로 하는 것 같다. 3차원 오디오는 HRTF라고 해서 사람의 머리를 중심으로 해서 그 위치가 어디냐에 따라서 filter를 구하고 그것을 mono/stereo source에 적용해서 가상현실에서 소릴 듣게끔하게 하는 것인데, 가장 큰 불편함은 사운드가 다른 영향을 거의 받지 않고 귀로 들어가게 하기 위해서 헤드폰을 써야 하고, 사람들의 귀모양에 따라 어느 정도의 dependency가 발생한다는 것이다. 다시 말해 transfer function을 구할 때 사용한 dummy head의 귀 모양과 내 귀 모양이 다르면 이질감을 느끼게 된다는 것이다.

내 경우는 어떤 소리가 내 앞에서 뒤로 넘어갈 때 이질감이 심했는데, 사람의 귀 모양에 따라서 이 차이는 다르게 발생하지 싶다.

그렇다면, 여기에 대해서 어떤 아이디어를 내 볼 수 있을까?

1) 헤드기어..

VR용으로 나와있는 헤드기어 중에서 스마트폰을 끼워 사용하는 것들은 막상 사용해보면 렌즈가 달려있는데, 이게 거의 돋보기라 스마트폰의 해상도가 떨어져보이는 문제가 있어서 몰입감이 좋지 못하다. 아직은 이런 타입의 3D는 무리라는 것인데, 내 입장에선 그냥 헤드기어를 만들고 화면을 2개로 분할하지 말고 영화감상에 편하게 만들었음 한다. VR도 사실 잠깐이다. 대부분은 영화보는 데 이 장치를 활용한다. 차라리 영화 감상용으로, 좌우 분할이 없는, 또 거기 들어갈 재료비를 오디오에 들여서 헤드폰 일체의 영화감상용 헤드기어가 나오길 희망한다.

2) 고정 시각의 실사

또 실사의 가상현실의 경우는 카메라의 위치가 고정되어있기 때문에 고정된 위치에서 시각의 전환만 가능하고 전진 후진하는 것에 대한 반응은 없다. 주어진 영상만을 가지고 어느 정도 합성이야 가능하겠지만, 어설프지 않게 왜곡시키지는 쉽지 않을 것이다. 이것을 피하려면 여러 대의 360도 카메라를 설치하고 카메라에 의해서 방해받는 영상은 앞쪽의 카메라에서 찍은 영상을 이용하여 합성하고 카메라와 카메라 사이의 빈공간은 일종의 interpolation을 이용해서 합성해낼 수 있을 것이다.

3) VR panner

공간상에 어떠한 악기를 배치하고 그것을 simulate하는 것은 오래 전부터 해오던 일인데, 이게 보편화되지 않은 것은 열악한 조건에서 청취하는 이들이 많기 때문이고, 결국엔 영화관처럼 어느 정도 시설이 구비된 조건에서만 제한적으로 하고 있는 것이다. 그러나 청취환경을 헤드폰이라든가 좌우 거리가 충분히 떨어진 조건의 스테레오 스피커, 혹은 차량을 가정하면 재미있는 오디오 효과를 낼 수 있을 것이다. 이를테면 어떠한 소리가 청취자 바로 앞에서 동적으로 패닝하는 상황을 연출해서 긴장감을 높일 수 있을 것으로 본다.

아주 간단하게 어떠한 소리가 내 눈 앞의 먼곳으로부터 달려와서 머리를 뚫고 나가는 경우를 감안하면 청취환경이 그다지 좋지 않아도 그 동적인 느낌은 충분히 전달될 것이라고 본다.