철티비

0.Preview

 최근 구글이 스트릿 사진 서비스를 공개하면서 외계인 사진과 사생활침해 등 여러 가지 논란을 불러  일으키고 있습니다. 이 레포트는 구글 스트릿과 같이 각 지역의 위치를 촬영한 2D사진을 기반으로 3D 가상현실로 표현해주는 기법을 비롯하여, 전세계의 모습을 그대로 웹상의 가상현실로 옮기려는 노력들에 대해 소개합니다. 보통, 여러 가지 기업들에서 시도하는 다양한 서비스들이 있겠지만... 대표적인 구글, MS를 중심으로 주목을 받는 컨텐츠들에 대해 다루어봤습니다.

1.Google Streetside views ( + everyscape )

 가상현실 서비스 중, 가장 많이 알려진 컨텐츠 중에 하나입니다. 실제로 각종 미국내의 미디어에서 길거리에서 한 남성이 노상방뇨를 하는 사진, 샤워를 하는 여성의 사진, 외계인의 사진... 또한 범죄해결에도 단서를 제공하는 등 여러 가지 이슈를 낳고 있는 서비스입니다. 구글은 여러 커다란 미디어회사들을 인수 합병하는 과정에서 이정도 사진을 구하는 것 자체가 이상한 일도 아니겠지만, 이러한 넓은 지역에 대한 불과 몇미터 단위로 세부적인 공간의 이미지를 어떻게 제공할 수 있을까요?

그림1

실제로는 위 그림과 같이 360도 전방향에서 촬영이 가능한 카메라를 탑재하여 미국 전지역을 직원들이 드라이브함으로서 다양한 시점과 각도의 멋진 도시의 풍경을 얻는 것이었습니다. 그 아이디어와 기술력이 상당히 재미있습니다. 구글맵은 위성사진을 통해, 그리고 streetside views는 삼차원카메라의 도움을 받아 이용자들에게 멋진 서비스를 제공해줍니다. 또한, 위치를 이동할 때마다 잔상효과를 이용하여, 마치 게임에서 다음 공간을 이동하듯히 실제 다음 공간으로 이동하는 듯한 착각을 불러일으킵니다. 그리고, 구글 streetside views보다 한 술 더 떠서 구글 맵과 스트릿의 사진을 통해 사진들을 하나하나 연결해주어 실제 도시를 여행하는 기분이 들게하는 환상적인 mashup 서비스가 얼마전에 공개되었습니다. 그림2번은everyscape.com에서 제공하는 서비스입니다. 사진을 보시면 알겠지만, 각 도시에서 위치별로 있는 사진을 이어붙이고, 랜더링하여 한 개인이 서있을 때 바라볼 수 있는 모든 시점에 따라 원근감이나 공간감 등을 표현해주고 있습니다. 구글은 단순히 streetside라는 말처럼 평면상에서의 일정한 시점이 움직일 때만을 고려하지만, everyscape에서는 말그대로 눈높이뿐만 아니라 하늘과 땅 모든 시점에 대한 랜더링이 구현되어 있다는 점을 주목할만합니다.

관련링크

 구글 스트릿사이드 뷰 데모

 http://www.everyscape.com/

2.MS Photosynth

 구글이 스트릿사이드 뷰로 2D사진을 조합하여 현실세계를 구현했다면 이와 비슷한 것을 마이크로소프트 라이브랩에서 Photosynth란 기술을 통해서 가능하게 하였습니다. Photosynth는 어떤 장소나 대상에 대한 유사한 사진을 분석해서 각 시점에 맞게 사진의 위치를 3차원 상에 재구성해서 볼 수 있게 해주는 서비스입니다. 이 기술은 마이크로소프트 Photo Tourism팀과 워싱턴대학의 groundbreaking research에서 Photo tourism이라고 명명하고 공동개발을 진행하였습니다.

 해당 논문을 보면 이러한 사진 기술에 대한 아이디어를 볼 수 있습니다. 논문에서 설명하고 있는 원리를 간단하게 설명하면 다음과 같습니다. 우선 각각의 사진에서 특징되는 부분을 뽑아낸 후에 그리고 이 특징을 다른 사진들과 일일이 비교함으로써 유사성을 계산합니다. 그리고 이 유사성을 조합하여 2D사진으로 3D이미지를 만들어내는 일종의 랜더링작업을 하는데, 논문에서는 결국 기하학적인 문제라고 제시하고 있습니다. 이렇게 완성된 3D이미지는 기존에 웹상에서 봐왔던 정적인 2D사진과는 전혀 다른 새로운 형태의 사진감상 서비스를 제공해주게 됩니다. 

그림3

실제 서비스에서는 3차원 상에서 해당 사진의 시점으로 날아가거나 걸어가는 것처럼 이동하여 컴퓨터상에서 마치 현실세계의 다양한 관점에서 사진을 살펴보는 듯한 착각이 들게 합니다. 아직까지는 정식 서비스가 아니기 때문에 여러 가지 샘플들만이 존재하고 있습니다. 그중에는 우리나라 경복궁 사진들을 조합해 놓은 것도 보실 수 있습니다. (그림 4)

 Photosynth는 궁극적으로 수많은 사용자들이 직접 사진을 올려서 그 사진들이 조합되어 project 명대로 웹상에서 세계 어디든지 사진으로 여행을 가능하게 하는 것이 이 서비스의 목적입니다. 또한, 그 이미지들을 가공하여 시간도 초월한 여행 역시 가능하리라 봅니다. 고대 경복궁의 모습을 복원하여 3차원으로 랜더링한 후에 마치 우리가 그 시절에 돌아간 것 처럼 살펴볼 수 있게 하는 거죠.

 MS의 Photosynth와 구글이 제공하는 스트릿사이드 뷰와의 근본적인 차이점은 구글은 의도적으로 사진을 찍은 후에 공간을 그대로 웹상에서 제공한다는 것인데 반해, MS의 포토신스는 불특정한 의도로 찍은 다수의 사진들을 유사성을 모아서 조합한다는 면에서 보다 사용자에게 친화적인 서비스를 제공하고 있으며, 구현면에서 보아도 구글보다 복잡한 알고리즘을 사용했다고 볼 수 있습니다.

관련링크

 http://lab.microsoft.com/photosynth

 http://phototour.cs.washington.edu/

3,Google earth vs MS virtual earth

 구글과 마이크로소프트의 기술대결은 현실세계에서 사용되는 검색엔진이나 웹서비스에서만 이루어지는 것이 아닌 각각자사에서 만들어낸 가상세계에까지 연장되어 발전되는 것 같습니다.

다음은 google earth와 MS의 viture earth를 비교해보도록 하겠습니다.

그림5

구글에서는 위성사진을 제공한 뒤에 각 시점에 따른 사진을 제공하고 있으며, MS에서는 2D로 찍인 위성사진을 제공한 뒤에 다시 3D로 랜더링한 이미지를 여러 가지 관점에서 바라볼 수 있도록 제공하고 있습니다. 두 서비스 중에서 어떤 것이 우위에 있다고 비교하기는 다소 어렵겠지만, 앞서 본 streetside view나 Photosynth 서비스와는 다르게 이번에는 구글 earth가 MS의 virtual earth보다 사용자의 참여를 적극이용했다고 볼 수 있겠네요. 현실세계를 가상의 세계에 그대로 옮기려는 노력이 이런 정도의 기술 수준에 이르러 일반인들에게까지 서비스가 된다는 것은 매우 놀라운 일입니다.

관련링크

 Google earth는 설치형 어플리케이션

 MS virtural earth는 live.com에서 검색제공

4. 카네기 멜론 대학 Scene Completion

 위의 그림은 사진에 뚫어진 구멍을 다른 사진들을 통해서 채우는 기술입니다. 이미지에 조각을 메워넣는  관련된 기술을 꽤 많고, Scene Completion 역시 다른 사진 처리 기법들을 토대로 한 것이지만, 주목할만한 것은 조각에 대한 Image정보를 원래 정보에서 찾아서 추정하여 메우는 방식이 아니라 Flickr에 있는 많은 사람들이 이미 찍어둔 사진에서 정보를 찾았다는 것에 주목할만 합니다. 실제로 이 팀에서는 이 연구를 위해 2백30만개에 해당하는 사진을 Flickr에서 다운 받아서 사용했다고 합니다. 기술의 내용을 보면

단순히 조각과 연결되는 부분의 비슷할만한 그림들을 조합해서 채워넣는 것이 아니라 사진속에 주변의 환경들에 대한 고려 역시 이루어진 후에 유사한 풍경의 사진을 우선적으로 분류하고, 조각 부분에 알맞을만한 사진을 최종적으로 예측하여 채워넣어줍니다. 즉, 단순히 Seamless한 사진을 맞추는 것이 아니라 Semantic한 요소도 고려하여 채워넣는 것입니다.

관련링크

 http://graphics.cs.cmu.edu/projects/scene-completion/

5.정리

 2D사진 처리 기술에 대해서는 오래전부터 연구가 활발하였고, 이런 서비스들이 근본이 되는 기술들은  이미 예전에 구현이 되었던 것들입니다. 하지만, 이런 기술들을 직접 서비스로 접목을 하게 되면서 보다 일반인들에게 친숙하고 놀라운 기술들로 재평가되고 있습니다. 무엇보다, 이용자들이 직접 찍은 사진을 인터넷 상에서 Sementic하게 공유할 수 있게 함으로써 자연스럽게 서비스 대상 범위와 질이 높아집니다.

 앞서 거론했던 서비스들은 아직까지는 미국 또는 유럽의 주요도시만을 대상으로 서비스가 이루어지고 있습니다. 하지만, 좀 더 시간이 흐르고, 전세계의 다양한 사용자들의 참여가 이루어져서 서비스가 발전해나간다면 머지않아, 컴퓨터앞에 앉아서 많은 전세계의 많은 도시들을 여행하고, 심지어는 건물의 내부까지 들여다 볼 수 있는... 실제세상을 가상으로 그대로 옮겨놓은 또다른 세상이 펼쳐지는 일도 머지않아 가능하지 않을까 생각해봅니다.