저속 동조는 촬영자가 장노출과 카메라 플래시를 동시에 이용해서 전경과 배경을 밝게 하는 촬영 기법이다. 단노출 플래시 촬영과 플래시 없는 장노출 촬영과는 달리 저속 동조는 어두운 환경에서의 밝은 전경과 배경을 보장한다. 하지만 스마트폰으로 저속 동조 촬영은 어려운데, 이는 스마트폰 카메라의 플래시는 약한 지속 광이고 노출 시간이 길어지면 플래시를 켜지 못하기 때문이다. 본 연구에서는 단노출 플래시 영상에서 저속 동조 영상을 만드는 딥러닝 방법을 제안한다. 본 연구에서는 공간상에서 가변적인 영상 밝기 개선을 위해 가중치 맵을 적용한 네트워크를 제안한다. 본 연구에서는 지도 학습을 위한 스마트폰 단노출 플래시 영상과 저속 동조 영상 데이터 세트도 제안한다. RAW 영상의 선형성을 이용해 단노출 플래시 영상과 플래시 없는 장노출 영상으로부터 저속 동조 영상을 생성해서 데이터 세트를 구축한다. 실험을 통해 본 연구의 방법이 저속 동조 영상을 효과적으로 생성하는 것을 볼 수 있다.

본 논문에서는 단일 강체 모델(single rigid body)의 무게 중심(center of mass) 좌표계와 발의 위치를 활용하여 캐릭터의 동작을 생성하는 프레임워크를 제안한다. 이 프레임워크를 사용하면 기존의 전신 동작(full body)에 대한 정보를 사용할 때 보다 입력 상태 벡터(input state)의 차원을 줄임으로써 강화 학습의 속도를 개선할 수 있다. 또한 기존의 방법보다 학습 속도를 약 2 시간(약 68% 감소) 감소시켰음에도 기존의 방법 대비 최대 7.5배(약 1500 N)의 외력을 더 견딜 수 있는 더욱 견고한(robust) 모션을 생성할 수 있다. 본 논문에서는 이를 위해 무게 중심의 다음 좌표계를 구하기 위해 중심 역학(centroidal dynamics)을 활용하였고, 이에 필요한 매개 변수(parameter)들과 다음 발의 위치와 접촉력 계산에 필요한 매개 변수들을 구하는 정책(policy)의 학습을 심층 강화 학습(deep reinforcement learning)을 사용하여 구현하였다.

초박형 라이트필드 카메라 시스템은 이미지 센서 위에 렌즈 어레이를 부착하는 방식으로 만들어진다. 이러한 초박형 라이트필드 카메라는 하나의 이미지 센서를 여러 개의 sub-aperture가 나눠쓰는 방식으로 되어있어 개별 이미지의 분해능이 낮으며, sub-aperture 이미지들을 융합해 추가적인 분해능 향상이 수행되어야 한다. 본 연구에서는 초박형 라이트필드 카메라 시스템을 개발했으며, 개발된 카메라 시스템을 위한 실시간 분해능 향상 알고리즘을 개발, 실험을 통해 검증했다. 개발된 초박형 라이트필드 카메라는 두께 2mm, 24개(6×4)의 551×551 해상도의 sub-aperture로 구성되어 있으며, 임베디드 컴퓨팅 보드를 사용해 휴대가 가능하도록 제작되었다. 실시간 분해능 향상 알고리즘은 임베디드 컴퓨팅 보드의 GPU에서 병렬처리를 통해 라플라시안 피라미드 기반의 이미지 융합 알고리즘을 수행한다. 실험을 통해 검증한 결과로, 개발 시스템은 MTF50값이 평균 35% 정도 개선되었으며, 10.65fps의 처리속도로 실시간 처리가 가능함을 확인했다.

본 연구에서는 딥러닝을 기반으로 하여 실내와 실외 이미지 모두에서 알맞은 광원을 추출하는 방법론을 소개한다. 네트워크는 단일 LDR 이미지로부터 실내 혹은 실외 배경에 맞는 광원을 low dynamic range (LDR) 환경 맵으로 추출하는 Crop-to-PanoLDR 네트워크와 추출된 LDR 환경 맵을 빛의 정보를 담은 high dynamic range (HDR) 환경 맵으로 생성하는 LDR-to-HDR 네트워크 두 단계로 구성된다. 이와 같은 과정을 통해 최종적으로 생성된 HDR 환경 맵은 주어진 이미지에서 가상 객체를 렌더링할 때 적용되어 가상 객체를 조명하는 빛의 방향과 주변광 등을 확인함으로써 자연스러운 렌더링을 가능하게 하는지 검증한다. 본 연구에서 제안한 방법론의 우수성은 실내를 배경으로 한 이미지로만 구성한 데이터로 학습한 결과와 실외를 배경으로 한 이미지로만 학습한 결과 등과 비교하여 검증하였다. 또한, 실내와 실외를 구분하는 역할을 수행하는 손실 함수가 학습 결과에 미치는 영향을 실험, 검증하였다. 최종적으로 본 연구에서 생성된 환경 맵을 기존의 연구 결과와 비교 실험하는 사용자 테스트를 진행하였고 더 좋은 결과를 확인할 수 있었다.

본 논문은 자동차 핸들과 가속 페달로부터의 온라인 사용자 입력에 따라 Virtual Reality (VR) 환경에서 인공적인 바람을 생성하는 상호작용형 윈드 시스템을 제안한다. 제안된 시스템은 사용자가 레이싱 자동차 VR 응용 콘텐츠에서 세 방향으로부터 불어오는 바람으로부터 촉감을 느끼도록 하기 위해 머리장착형 디스플레이(Head-Mounted Display: HMD)와 세개의 선풍기로 구성된다. VR 멀미를 개선하는 것에 대한 바람의 효과성을 평가하기 위해, 본 논문은 멀미에 대한 가장 기본적인 척도 중의 하나인 SSQ (simulator sickness questionnaire)를 도입한다. 13명의 피험자들을 대상으로 바람이 있는 경우와 그 다음 그렇지 않은 경우 또는 그 역으로 레이싱 자동차 콘텐츠에 대한 실험을 수행하였다. 실험 결과는 인공적인 바람을 사용하는 경우 긍정적인 사용자 경험을 제공하면서 명확하게 멀미를 개선하는 것을 보여주었다.

본 연구는 모바일 가상현실에 적합한 이동 상호작용을 제공하기 위한 인터페이스를 제안하고 비교 실험을 통해 분석한다. 제안하는 인터페이스는 접근성과 활용성을 고려하여 모바일 HMD를 제외한 추가적인 장비를 사용하지 않는 것을 전제로 한다. 그리고 사용자의 시선을 활용하여 이동 상호작용을 제어하는 인터페이스를 두 단계로 나누어 설계한다. 핵심은 가상현실에서의 직선 이동이 유발시킬 수 있는 멀미 등의 부정적 요인의 발생을 최소화하는 것이다. 이를 위해 시선을 지면으로 향하여 이동하도록 전/후진 버튼으로 구성된 인터페이스, 실제 걷기 동작에서의 시선 변화를 고려하여 정면 상단에 좌, 우버튼으로 구성된 인터페이스의 두 단계를 설계한다. 제안한 인터페이스를 통한 이동 상호작용을 비교 분석할 수 있는 어플리케이션을 제작하고, 사용자를 대상으로 만족하는 인터페이스 경험과 이동 과정에서의 부정적 영향을 확인하기 위한 설문실험을 진행한다. 이를 통해 제안한 이동 상호작용이 사용자에게 만족하는 인터페이스 경험과 함께 멀미와 같은 부정적 영향을 감소시키는 것으로 확인되었다.

3차원 형상 복원(3D reconstruction)은 이미지 또는 영상 속 물체를 3차원 형상으로 복원하는 것을 말한다. 본 연구는 물체의 전반적 형상을 넘어 세부적인 모습까지 복원할 수 있는 표현력을 가진 3차원 형상 복원 네트워크인, 점진적 점유 네트워크를 제안한다. 본 연구가 제안하는 네트워크는 이미지 전체의 정보를 담고 있는 특징(feature)을 사용하는 기존 점유 네트워크와 달리, 수용 영역(receptive field)의 크기에 따라 다양한 수준의 이미지 특징을 추출해서 사용한다. 그리고, 다양한 수준의 이미지 특징을 디코더(decoder) 내 디코더 블록(decoder block)들에 순차적으로 반영하여, 형상 복원의 품질이 단계적으로 개선하는 네트워크 구조를 제안한다. 본 연구는 또한, 다양한 수준의 이미지 특징을 적절히 조합하여 사용하는 디코더 블록구조를 제안한다. 본 연구는 제안하는 네트워크의 성능 검증을 위해 ShapeNet 데이터 세트를 사용하였으며, 기존의 점유 네트워크(ONet) 및 다양한 수준의 이미지 특징을 사용하는 최신 연구(DISN)와 성능 비교하였다. 그 결과, 기존 점유 네트워크 대비 세 가지 검증 지표 모두에서 높은 성능을 달성하였으며, DISN과는 대등한 수준의 성능을 보여주었다. 그리고 복원 형상의 시각적 비교 결과, 본 연구의 점진적 점유 네트워크가 기존 점유 네트워크 대비, 물체의 세부 모습을 잘 복원하는 것을 확인하였다. 또한, DISN이 복원 실패한 물체의 얇은 부분 또는 이미지에서 가려진 부분을 본 연구의 네트워크는 잘 잡아내는 결과를 확인할 수 있었다. 이러한 결과는 본 연구가 제안하는 점진적 점유 네트워크의 유용성을 검증하는 결과다.