본 논문에서는 인체 모션 데이터를 공간적 제약이 많은 환경 속에 있는 휴머노이드의 몸체에 맞추어 리타겟팅하는 기술을 소개한다. 주어진 모션 데이터는 물체를 손으로 잡거나 장애물 사이를 피해 다니는 등의 세밀한 인터랙션을 포함하고 있다고 가정한다. 또한 휴머노이드의 관절 구조는 인체 관절 구조와 다르며 주변 환경의 모양도 원본 모션이 촬영 될 당시와 서로 다르다고 가정한다. 이러한 조건 하에서 단순히 몸체의 변화만 고려한 리타겟팅 기법을 적용한다면 원본 모션 데이터에서 나타난 인터랙션의 내용을 그대로 보존하기 어렵다. 본 논문에서는 모션 데이터를 휴머노이드 몸체에 맞게 리타겟팅하는 문제와 인터랙션의 내용을 보존하는 문제를 나누어서 독립적으로 해결하는 방법을 제안한다. 먼저 환경 모델과의 인터랙션은 무시하고 모션 데이터를 휴머노이드 몸체에 맞게 리타겟팅 한다. 다음, 환경 모델의 모양을 휴머노이드 모션에 부합하도록 변형하여 원본 데이터에서 나타난 인터랙션이 재현되도록 한다. 마지막으로 휴머노이드 몸체와 환경 모델 사이의 공간적 상관 관계에 대한 제약 조건을 설정하고 환경 모델은 다시 원래 모양으로 되돌린다. 보스턴 다이나믹 사의 아틀라스 로봇 모델을 사용한 실험을 통해 제시된 방법의 유용성을 검증하였다. 향후 모션 데이터 트레킹을 통한 휴머노이드 동작 제어 문제에 사용될 수 있을 것으로 기대된다.

본 연구는 사용자에게 새로운 가상현실 환경에서 새로운 경험과 현존감을 제공하기 위하여 3인칭 시점의 가상현실 콘텐츠 제작 공정을 제안한다. 이를 위해 우선 이야기, 재미요소 그리고 게임성을 포함하는 3인칭 관찰자 시점의 가상현실 콘텐츠를 제작한다. 이는 기존의 가상현실 콘텐츠와 다른 3인칭 시점에 적합한 인터페이스를 사용자가 사전에 학습할 수 있는 튜토리얼 장면과 배경 이야기를 토대로 게임적 요소를 활용하여 목적을 달성하는 콘텐츠 장면으로 구성한다. 다음은 3인칭 가상현실 콘텐츠에 적합한 인터페이스를 설계한다. 본 연구는 손을 사용하여 가상환경 또는 객체와 상호작용할 수 있는 인터페이스를 제안한다. 제안하는 인터페이스는 캐릭터의 이동, 다중 선택을 포함한 가상객체의 선택, 가상공간을 활용한 3차원 메뉴 제어의 3단계로 구성한다. 마지막으로 제안한 인터페이스를 통해 제작된 3인칭 가상현실 콘텐츠를 높은 만족감으로 편리하게 제어할 수 있음을 설문 실험을 통해 확인한다.

일반적으로 희소 볼륨 데이터에 대하여 고정적인 메모리 할당 방식을 사용할 경우 상당한 메모리 공간 낭비가 발생하며, 이는 대용량의 고해상도 볼륨 데이터의 경우 더 심각한 문제가 발생한다. 본 논문에서는 이러한 불필요한 메모리 낭비를 개선하기 위하여 고정적인 메모리 공간이 아닌, 유효한 정보가 저장된 복셀 만을 효과적으로 저장하는 볼륨 데이터 표현 방법을 제안하고, 이를 기존의 정적인 메모리 할당 방법, 팔진 트리 그리고 복셀 해싱 방법과 메모리 사용량 및 연산 속도 측면에서 비교 분석한다. 특히 GPU 기반의 마칭 큐브 방법의 구현에 있어 본 논문에서 제안하는 방법과 복셀 해싱 방법을 비교 분석 한다.

본 논문에서는 도심 영상에 대해 맨하탄 좌표계를 추정하는 합성곱 신경망(Convolutional Neural Network) 기반의 시스템을 제안한다. 도심 영상에서 맨하탄 좌표계를 추정하는 것은 영상 조정, 3차원 장면 복원 등 컴퓨터 그래픽스 및 비전 문제 해결의 기본이 된다. 제안하는 합성곱 신경망은 GoogLeNet[1]을 기반으로 구성한다. 합성곱 신경망을 훈련하기 위해 구글 스트리트 뷰 API로 영상을 수집하고 기존 캘리브레이션 방법으로 맨하탄 좌표계를 계산하여 데이터셋을 생성한다. 장면마다 새롭게 합성곱 신경망을 학습해야하는 PoseNet[2]과 달리, 본 논문에서 제안하는 시스템은 장면의 구조를 학습하여 맨하탄 좌표계를 추정하기 때문에 학습되지 않은 새로운 장면에 대해서도 맨하탄 좌표계를 추정한다. 제안하는 방법은 학습에 참여하지 않은 구글 스트리트 뷰 영상을 검증 데이터로 테스트하였을 때 $3.157^{\circ}$의 중간 오차로 맨하탄 좌표계를 추정하였다. 또한, 동일 검증 데이터에 대해 제안하는 방법이 기존 맨하탄 좌표계 추정 알고리즘[3]보다 더 낮은 중간 오차를 보이는 것을 확인하였다.

본 연구는 모바일 플랫폼의 가상현실 환경에 적합한 사용자 중심의 상호작용을 제공하기 위하여 시선기반 사용자 인터페이스를 제안한다. 이를 위해 제안하는 인터페이스가 모바일 가상 환경에서 사용자에게 상호작용의 만족도를 높이는지 여부를 실험하기 위하여 모바일 플랫폼 기반의 3차원 대화형 콘텐츠를 제작한다. 그리고 모바일 가상현실 콘텐츠의 입력 처리 방법으로 가장 일반적인 시선을 활용한 인터페이스를 시야 범위, 피드백 시스템의 2단계로 나누어 설계한다. 제안한 인터페이스 방법이 사용자에게 몰입감 향상의 효과, 기존과 차별화된 형식, 콘텐츠를 조작하는데 편리함을 제공하는 지 여부를 실험을 통해 분석한다.

본 논문은 향상된 곡률기반 GPU 등가면 레이캐스팅 기법을 제안한다. 제안한 방법은 등가면을 계산할 때 Sigg et al. [1]이 제안한 고속연산 기법을 사용하고 미분값을 계산할 때는 드 부어 알고리즘을 사용한다. 이렇게 함으로써 추가적인 텍스쳐 읽기연산의 수를 84번에서 27번으로 줄일 수 있어, 플랫폼에 따라 편차는 있으나 결과적으로 최고 약 30%가량 성능이 향상된다.

본 논문에서는 실시간 모바일 레이트레이싱에서 사실적인 그림자를 생성하기 위한 새로운 그림자 생성 기법을 제시한다. 일반적으로 레이트레이싱에서는 그림자 광선을 샘플링 하여 부드러운 그림자를 생성한다. 지금까지 이런 생성 방법은 처리해야 할 광선의 수를 증가시키기 때문에 성능 저하의 요인이 되어왔다. 제안하는 소프트 쉐도우 생성 기법과 하드웨어 구조는 선택적 그림자 생성과 삼각형 주소 캐싱을 통해 샘플링에 의한 성능 저하를 최소화시킴으로써 이런 문제를 해결하였다. 제안된 하드웨어 구조는 모바일 레이트레이싱 하드웨어에 통합 가능한 수준이며, FPGA상에서 성능 평가 되었다. 평가 결과 제안된 기법의 성능은 4, 8, 그리고 16 샘플에 대해서 이전 기법 대비 평균 40%, 50% 그리고 56% 수준으로 향상 되었으며, 우리는 제안된 하드웨어 구조를 통해 실시간으로 소프트 쉐도우를 생성할 수 있음을 확인하였다.

360 영상은 상하좌우 모든 영역에 대한 정보를 갖고 있기 때문에 종종 지나치게 많은 정보를 포함하게 된다. 또한 360 영상의 내용을 2D 모니터를 이용하여 확인하기 위해서는 마우스를 이용하여 360 영상을 돌려 봐야 하거나, 또는 심하게 왜곡된 2D 영상으로 변환해서 봐야 하는 문제가 있다. 따라서 360 영상에서 사용자가 원하는 물체를 찾는 것은 상당히 까다로운 일이 될 수 있다. 본 논문은 물체나 영역을 묘사하는 문장이 주어졌을 때, 360 영상 내에서 문장과 가장 잘 어울리는 영상을 추출해 내는 방법을 제시한다. 본 논문에서 제시한 방법은 주어진 문장 뿐 아니라 구도 역시 고려하여 구도 면에서도 보기 좋은 결과 영상을 생성한다. 본 논문에서 제시하는 방법은 우선 360 영상을 2D 큐브맵으로 변환한다. 일반적인 큐브맵은 큐브맵의 경계 부분에 걸쳐 있는 물체가 있을 경우, 이를 검출하기 어려운 문제가 있다. 따라서 더 정확한 물체 검출을 위해 본 논문에서는 변형된 큐브맵을 제시한다. 이렇게 변형된 큐브맵에 Long Short Term Memory (LSTM) 네트워크 기반의 자연어 문장을 이용한 물체 검출 방법을 적용한다. 최종적으로 원래의 360영상에서 검출된 영역을 포함하면서도 영상 구도 면에서 보기 좋은 영역을 찾아서 결과 영상을 생성한다.

사물인터넷 기반의 유비쿼터스 컴퓨팅, AR/ VR등 실감 컴퓨팅과 실제 물리 공간의 이음새 없는 하나의 인터랙션 공간을 Tangible Space라고 명하고자 한다. 이 공간에서는 물리 공간에 가상의 물체나 객체가 증강되고 몰입형 가상공간에 물리공간이 투영되고 증강된 형태로 인터랙션의 확장이 가능하다. 인터넷과 웹이 컴퓨팅 환경을 하나의 공유 인터랙션 공간으로 이어주면서 물리공간에서의 우리 삶 자체가 로깅되고 공유되는 시대에 살고 있다. 본 논문에서는 이러한 새로운 인터랙션 공간을 기존 웹의 표현 기법과 응용 소프트웨어 개발 환경을 그대로 활용할 수 있는 Tangible Space의 웨바아징 방법론을 제안하고 개발 구현 사례를 소개하겠다. 앞으로 정보 중심의 웹에서 우리 경험을 지속적이고 연속적으로 담고 공유하는 웹으로 발전할 것으로 기대한다.

상용의 게임 엔진의 기능이 향상되면서 과학적 가시화 프로그램에 게임 엔진을 적용하는 사례가 증가하고 있다. 본 연구는 Unity3D 게임 엔진을 기반으로, 의료 볼륨 데이터를 가시화하는 가상현실 응용프로그램의 제작 사례를 설명한다. 게임 엔진을 사용하는 경우, 반투명한 물체의 깊이 정렬이나 가상현실 하드웨어 지원과 같이, 응용 프로그램이 필요한 다양한 기능이 기본적으로 제공되는 장점이 있다. 한편, 게임 엔진의 특성에 적합하도록 응용 프로그램의 구조를 수정하여 적용해야 하는 제약이 있다. 본 연구는 게임 엔진의 구조를 이용하여 의료 볼륨 데이터의 가시화를 수행하는 방법에 대해 설명한다. 그 결과, 표면 데이터와 의료 볼륨 데이터 조각들이 함께 구성된 가상현실 장면을 생성할 수 있었으며, 게임 엔진의 의료 시뮬레이션 제작 도구로서의 가능성을 확인하였다.

본 논문은 딥 러닝(deep learning)을 이용하여 입력 영상의 기울어진 정도를 측정하고 수평에 맞게 바로 세우는 방법을 제시한다. 기존 방법들은 일반적으로 영상 내에서 선분, 평면 등 하위 레벨의 특징들을 추출한 후 이를 이용해 영상의 기울어진 정도를 측정한다. 이러한 방법들은 영상 내에 선이나 평면이 존재하지 않는 경우에는 제대로 동작하지 않는다. 본 논문에서는 대규모 데이터 셋을 통해 영상의 다양한 특징들에 대해 학습 가능한 Convolutional Neural Network (CNN)를 이용하여 인물이나 복잡한 배경으로 구성된 기울어진 영상에 대해서도 강인하게 동작하는 프레임워크를 제시한다. 또한, 네트워크에 가변 공간적 (adaptive spatial) pooling 레이어를 추가하여 영상의 다중 스케일 특징을 동시에 고려할 수 있게 하여 영상의 기울어진 정도를 측정하는 성능을 높인다. 실험 결과를 통해 다양한 콘텐츠를 포함한 영상의 기울어짐을 높은 정확도로 바로 세울 수 있음을 확인할 수 있다.

본 논문에서는 물리 기반 가상 환경에서 참조 동작을 추적하는 캐릭터 동작을 생성할 때 캐릭터 동작에 대한 최적화와 함께 참조 동작에 대한 타임 워핑(time warping)을 동시에 수행할 수 있는 새로운 온라인 궤적 최적화(trajectory optimization) 기법을 제안한다. 일반적으로 참조 동작에 대한 샘플링 시간이 균일한 간격으로 고정되어 있는 기존의 물리 기반 캐릭터 애니메이션 기법과는 달리, 본 논문에서 제안하는 방법은 캐릭터 동작의 물리적 변화와 함께 샘플링 시간의 변화를 동시에 최적화 시킴으로써 외력에 대해 더욱 효과적으로 대응할 수 있는 참조 동작에 대한 최적의 타임 워핑을 찾아낸다. 이를 위해, 전신 캐릭터(full-body character)의 동역학과 함께 참조 동작에 대한 샘플링 시간의 변화를 함께 고려한 최적 제어 문제(optimal control problem)를 정형화하고 이 문제를 실행 시간에 시간 축을 따라 이동하는 고정된 크기의 시간 윈도우에 대해 반복적으로 풂으로써 캐릭터 동작과 샘플링 시간에 대한 최적 제어 정책(optimal control policy)을 생성하는 모델예측제어(model predictive control) 프레임워크를 제안한다. 실험을 통해, 제안된 프레임워크가 하나의 참조 동작만으로 외력에 대해 강인하게 반응하는 동작을 생성하고, 배경 음악에 따라 리드미컬한 동작을 생성하는데 효과적임을 보여준다.

4 차 산업혁명 시대로 접어들면서 증강현실은 사회 전반에 걸쳐 무한한 가능성을 보여주고 있다. 하지만 현재의 헤드-마운트 디스플레이, 핸드-헬드 디스플레이 방식의 증강현실은 착용의 번거로움, 멀미 등의 여러 문제점이 있고 이에 따라 프로젝터 기반의 증강현실 기술인 공간증강현실이 각광받고 있다. 공간증강현실은 증강현실의 실재감을 높이고 사용자의 몰입을 유도하기 위해 가상 영상을 투영할 움직이는 물체에 대한 정밀한 추적이 필수적이다. 본 논문에서 개발한 적외선 센서 기반의 정밀 추적 알고리즘은 평균 오차율 1.5% 이내의 매우 견고한 추적 성능을 통해 기술적으로는 임의의 물체에 대한 추적과 같은 진보된 증강현실 기술을 향한 길을 열었고, 사회적으로는 비전문가도 사용하기 쉬운 추적 알고리즘을 통해 디자이너, 학생, 어린이들이 쉽게 자신만의 증강현실 콘텐츠를 제작, 즐길 수 있게 하였다.

캐시의 성능은 하드웨어 시스템에서 중요한 요인이다. 본 논문은 사운드 렌더링에 적합한 캐시 성능을 분석하기 위해 캐시 시뮬레이션을 진행한다. 또한 본 논문은 기하학적 방법(Geometric method)에서 사용하는 광선 추적(Ray tracing) 기반의 하드웨어 모델들과 캐시 성능을 향상시키기 위한 연구들을 소개한다. 캐시 시뮬레이션은 캐시 크기, 웨이, 블록에 대한 조건들에 대해 다양하게 진행된다. 다양한 시뮬레이션은 캐시 히트율에 영향을 미치는 요인을 찾을 수 있다. 본 논문은 캐시 시뮬레이션 결과와 실제 하드웨어 성능을 비교하여 사운드 렌더링에 적합한 캐시 성능을 분석한다.