자율 주행 자동차나 소방 로봇과 같은 시스템에서 영상을 얻을 때 다양한 요인들로 인해 잡음, 블러와 같은 열화가 발생한다. 이런 열화된 영상에 직접 영상 분류와 같은 기술을 적용하기 어려워 열화 제거가 불가피하나 이러한 시스템들은 영상의 열화를 인식할 수 없어서 열화된 영상을 복원하는데 어려움이 있다. 본 논문에서는 영상에 적용된 열화를 인지하지 못하는 상황에서 여러 방법들로 열화된 영상으로부터 자연스럽고 선명한 영상을 복원하는 방법을 제안한다. 우리가 제안한 방법은 딥러닝 모델에 채널 어텐션 모듈과 스킵 커넥션을 사용하여 영상에 적용된 열화에 따라 복원에 필요한 채널에 높은 가중치를 적용해 복합 열화 영상의 복원을 진행한다. 이 방법은 다른 복합 열화 복원 방법에 비해 학습이 간단하고 기존의 다른 방법들에 비해 높은 복합 열화 복원 성능을 낸다.

본 연구는 시각 장애인의 도보 적응을 위한 새로운 가상현실 체험 환경을 제안한다. 제안하는 가상현실 체험 환경의 핵심은 몰입형 보행 상호작용과 딥러닝 기반 점자 블록 인식으로 구성된다. 우선, 시각 장애인의 입장에서 현실적인 걷기 경험을 제공함을 목적으로 제자리 걸음을 감지하여 걷기를 판단하는 트래커 기반 걷기 처리과정과 시각 장애인의 보행 보조 도구를 가상현실에 적용한 컨트롤러 기반 VR 흰지팡이를 설계한다. 또한, VR 흰지팡이를 활용한 길 안내 과정에서 도로 위의 점자 블록 인지 및 반응 등 종합적인 의사결정을 수행하는 학습 모델을 제안한다. 이를 기반으로 가상현실 도보 체험 환경에 대한 실험을 위하여 실외 도시 환경으로 구성된 가상현실 어플리케이션을 제작하고, 참가자를 대상으로 설문 실험 및 성능 분석을 진행하였다. 결과적으로 제안한 가상현실 체험 환경이 시각 장애인의 입장에서 현존감 높은 도보 체험을 제공하고 있음을 확인하였다. 그리고 제안한 학습과 처리과정이 인도와 차도, 인도 위의 점자 블록을 높은 정확도로 인지함을 확인하였다.

본 논문에서는 구조-텍스처 분할 기법을 기반으로 위성영상을 분할 융합하여 공간 해상도를 개선시키는 프레임워크를 제시한다. 위성영상은 센서가 감지하는 파장에 따라 다양한 공간해상도를 가진다. 전정 영상 (panchromatic image)은 일반적으로 높은 공간해상도를 가지지만 단일 흑백컬러를 가지고 있는 반면, 다중분광 영상 (multi-spectral image)나 적외선 영상은 전정 영상에 비해 낮은 공간해상도를 가지지만 다양한 분광 밴드정보와 열 정보를 가지고 있다. 본 논문에서는 다중분광 영상이나 적외선 영상의 공간 해상도를 향상시키기 위해 영상의 디테일이 텍스처 영상에만 존재한다는 것에 착안하여 본 프레임워크를 고안하였다. 고안된 프레임워크에서는 저해상도 영상과 고해상도 영상이 구조 영상과 텍스처 영상으로 분할된 뒤, 저해상도 구조영상은 고해상도 구조 영상을 참조하여 가이디드 필터링 된다. 구조-텍스처 영상 모델에 따라 필터링된 저해상도 영상의 구조 영역과 고해상도 영상의 텍스처 영역을 픽셀 단위로 더해져서 최종 영상이 생성된다. 생성된 영상은 저해상도 영상의 밴드와 고해상도 영상의 디테일을 포함한다. 제시하는 방법은 분광해상도와 공간해상도를 모두 보존할 수 있음을 실험적으로 확인하였다.

포그 스크린은 미세한 물방울들로 구성된 스크린으로 관찰자는 포그 스크린을 투과한 영상을 관찰하게 된다. 일반 스크린과는 달리 관찰자는 무대 위에서 연기자가 포그 스크린에 표시된 이미지를 뚫고 들어가는 모습을 볼 수 있다. 본 논문에서는 상부에서 생성된 포그 입자 집단이 중력에 의하여 아래로 떨어질 때 평평한 수직 스크린을 이루도록 하는 하향식 포그 스크린 생성 장치 구현 방법을 기술한다. 본 기법은 수조안에 배치된 초음파 진동자에 의해 수조 표면에서 포그 입자가 발생되는 원리를 이용한다. 생성된 포그 집단이 하나의 평면을 유지할 수 있도록 포그가 나오는 통로 출구 양옆에 가이드 바람을 형성하는 기법과 포그 스크린 생성 장치의 설계와 제작 방법을 기술한다.

이 연구는 디스플레이 장비와 사용자를 분리하여 현실 공간 전체, 또는 현실 공간 속 허공에 이미지를 디스플레이하는 '공간증강현실(Spatial Augmented Reality)' 구현에 적합한 포그 스크린의 활용 방안에 대하여 전체적으로 조망 하였다. 세 번의 전시와 한 번의 공연을 통하여 통과가 가능한 포그 스크린이 공간증강현실을 구현하는데 있어 적합한 소재라는 것과 포그 스크린을 이용한 공간증강현실 구현을 통하여 무대나 전시에서 홀로그램 연출이 이전보다 쉬워졌다는 것에 대해서도 증명 하였다. 전시와 함께 공연계 종사자들을 상대로 실시한 설문조사를 통하여 포그 스크린을 알고 있는 사람들이 절반에 불과하다는 것과 실제로 포그 스크린을 관람한 사람의 비율이 전체 응답자 중에서 10% 정도로 매우 낮다는 것을 확인 하였다. 또한, 포그 스크린이 주변 공간에 어떠한 영향을 미치는가를 알아보기 위하여 국립아시아문화전당 어린이문화원에서 처음 실시한 시간과 거리 변화에 따른 습도 변화 관찰 실험을 통하여 포그 스크린을 중심으로 반경 5m 이내의 습도가 2~3%($6,400m^3$ 기준) 정도 증가할 수 있다는 것을 확인 하였다. 이를 통하여 전시장에서 물감이나 종이, 나무와 같이 습기에 취약한 소재를 사용하는 전시물과 함께 전시할 경우, 포그 스크린과의 설치 유격에 참고할 수 있는 최소한의 근거를 마련하였다.

최근 물리 시뮬레이션 분야의 성능 개선을 위해 GPU 컴퓨팅 방식이 활용되고 있다. 특히 많은 연산의 양을 요구하는 변형물체 시뮬레이션의 경우 실시간성 보장을 위해 GPU 기반 병렬처리 알고리즘을 필요로 한다. 본 연구진은 변형물체 시뮬레이션을 구현하는 방법 중 하나인 질량스프링 시뮬레이션 기법의 성능을 향상시키기 위한 병렬 구조 설계 방법에 대한 연구를 수행하였다. 이를 위해 GPU에 직접 접근이 가능한 그래픽 라이브러리인 OpenGL의 GLSL을 사용하였으며, 독립적인 파이프라인인 컴퓨트 쉐이더를 활용해 GPGPU 환경을 구현하였다. 병렬 구조 설계 방법의 효과를 검증하기 위해 스프링 기반 질량스프링 시스템을 CPU기반과 GPU기반으로 구현하였으며, 실험의 결과 본 설계 방법을 적용하였을 때 CPU 환경에 비해 연산 속도가 약 6,000% 개선됨을 보였다. 추후 본 연구에서 제안한 설계 방법을 활용한다면 경량화 시뮬레이션 기술이 필요한 증강현실 및 가상현실 분야에 효과적으로 적용이 가능할 것으로 기대한다.

최근 혼합현실 디바이스의 상용화로 다양한 혼합현실 콘텐츠들이 제작되고 있지만, 하드웨어 기술적 한계로 나타나는 좁은 시야각은 몰입감을 저해하고 활용범위를 제한하는 중요한 원인으로 언급되고 있다. 본 논문에서는 복수의 빔 프로젝터와 다수의 혼합현실 디바이스를 연동시키는 새롭고 혁신적인 시스템을 제안한다. 이를 이용하면 대형 2D 화면을 배경으로 3D 객체 렌더링을 통해 체험자의 몰입감을 극대화 하고 좁은 시야각의 답답함을 최소화 할 수 있다. BtS라는 이름의 본 시스템은 클라이언트-서버 기반으로 구현되었으며, 핵심 모듈로 장치간 캘리브레이션, 공간 좌표계 공유, 실시간 렌더링 동기화 기능 등을 포함한다. 본 논문에서는 각 구성 모듈에 대해 자세히 설명하고, BtS 시스템을 이용해 제작된 혼합현실 콘텐츠 사례 소개를 통해 성능과 응용 가능성을 보이고자 한다.

본 논문에서는 동일한 정점의 수와 연결 정보를 갖는 N개의 삼각 메쉬의 형상을 동시에 단순화하는 새로운 기법을 제시한다. 기존의 단순화 기법을 N개의 삼각 메쉬에 각각 적용하면, 정점의 개수는 같지만 삼각형을 구성하는 연결 정보가 서로 다른 단순화 메쉬를 생성한다. 이러한 한계는 고해상도 블렌드쉐입(blend shape) 모델에서 단순화된 블렌드쉐입 모델을 구성하는 것을 어렵게 한다. 본 논문에서 제시된 기법은 N개 메쉬 형상을 동시에 고려하여 최소의 제거 비용을 갖는 에지를 선택하여 단순화를 수행한다. 따라서 단순화 결과로 생성된 N개의 단순화 메쉬는 동일한 정점의 수와 연결 정보를 유지하게 된다. 다양한 얼굴 표정을 갖는 고해상도 블렌드쉐입 모델에 동시 단순화 기법을 적용하여 단순화된 블렌드쉐입 모델을 생성함으로써 제안된 기법의 효율성과 유효성을 입증한다.

디지털 스토리텔링에 등장하는 3차원 가상 캐릭터에는 외형뿐만 아니라 자세나 동작에서도 캐릭터의 개성이 반영된 고유의 스타일이 부여된다. 그러나 사용자가 웨어러블 동작센서를 사용하여 직접 캐릭터의 신체 동작을 제어하는 경우 캐릭터 고유의 스타일이 무시될 수 있다. 본 연구에서는 가상 캐릭터를 위해 제작된 소량의 애니메이션 데이터만을 이용하는 검색 기반 캐릭터 동작 제어 기술을 사용하여 캐릭터 고유의 스타일을 유지하는 기술을 제시한다. 대량의 학습 데이터를 필요로하는 기계학습법을 피하는 대신 소량의 애니메이션 데이터로부터 사용자의 자세와 유사한 캐릭터 자세를 직접 검색하여 사용하는 기술을 제안한다. 제시된 방법을 검증하기 위해 전문가에 의해 제작된 가상현실 게임용 캐릭터 모델과 애니메이션 데이터를 사용하여 실험하였다. 평범한 사람의 모션캡쳐 데이터를 사용했을 때와의 결과를 비교하여 캐릭터 스타일이 보존됨을 증명하였다. 또한 동작센서의 개수를 달리한 실험을 통해 제시된 방법의 확장성을 증명하였다.

3차원상의 자유곡면에 대한 효율적인 기하 연산을 지원하기 위한 새로운 공간자료구조로서 토러스 패치 기반 정밀 근사를 이용한 자유곡면의 기하학적 처리 기법을 소개한다. 토러스는 곡률이 양이나 음인 경우뿐만 아니라, 0인 부분도 있으므로 자유곡면의 볼록, 오목 여부에 상관없이 곡면을 정밀하게 근사할 수 있다. 전통적인 기법과 달리 토러스 패치는 자유곡면의 법벡터 방향까지 쉽게 모델링할 수 있고, 토러스의 오프셋은 다시 토러스가 되므로 다양한 기하 연산의 가속화를 지원할 수 있다. 자유곡면과 이를 근사하는 토러스 패치 집합 사이의 양방향 하우스도르프 거 리의 상한을 계산하여 토러스 패치를 이용하여 자유곡면을 높은 정밀도로 근사할 수 있음을 보였다. 이 기법을 이용하여 두 자유곡면의 교차곡선 계산과 자유곡면의 오프셋 곡면 생성을 쉽게 처리할 수 있음을 보였다.

물리 기반 유체 시뮬레이션은 고해상도 연산을 위해 많은 시간이 필요하다. 이 문제를 해결하기 위해 저해상도 유체 시뮬레이션의 한계를 딥 러닝으로 보완하는 연구들이 있으며, 그중에서는 저해상도의 시뮬레이션 데이터를 고해상도로 변환해주는 Super-resolution 분야가 있다. 하지만 기존 기법들은 전체 데이터 공간에서 밀도 데이터가 없는 부분까지 연산하므로 전체 시뮬레이션 속도 면에서 효율성이 떨어지며, 입력 해상도가 큰 경우에는 GPU 메모리가 부족해 연산할 수 없는 경우가 발생할 수 있다. 본 연구에서는 공간 분할 법 중 하나인 쿼드 트리를 활용하여 시뮬레이션 공간을 분할 및 분류하여 Super-resolution 하는 기법을 제안한다. 본 기법은 필요 공간만 Super-resolution 하므로 전체 시뮬레이션 가속화가 가능하고, 입력 데이터를 분할 연산하므로 GPU 메모리 문제를 해결할 수 있게 된다.

본 연구에서는 사용자 참여를 유도하는 가상공간 스토리 북을 기획하고 구현하여 연구 실험 하였다. 구현한 스토리북은 시나리오를 진행하기 위해서 사용자가 적극적으로 시나리오상의 미션을 수행해야 시나리오가 진행이 되는 것이다. 가상공간 스토리 북의 시나리오를 진행하는 절차는 다음과 같다. 첫 번째, 프로젝션으로 가상공간을 구현한다. 두 번째, 시나리오에 맞추어 사용자는 실제 물체를 가져와 가상의 공간에 실제 물체를 삽입한다. 세 번째, 실제 물체와 대응되는 3D모델이 증강한다. 마지막으로 사용자는 증강된 이미지와 실제 물체를 자유롭게 제어함으로 가상공간에서 이루어지는 시나리오를 체험한다. 구현한 결과물은 3명의 5살 어린이들에게 유저 스터디를 진행하였다. 실험에 참여한 어린이는 가상공간 스토리북을 매우 잘 이해하는 모습을 보였으며 실제 물체를 가상의 공간에 집어넣는 과정을 이해하는 모습이 관찰되었다. 또한 어린이는 현실과 가상을 혼돈하지 않고 실제 물체와 가상 이미지를 구분하는 모습을 확인할 수 있었다. 결과적으로 가상공간 스토리 북을 통해 가상의 공간위에 실제 물체를 증강시키는, 방식을 가진 가상공간 스토리북의 가능성을 확인 할 수 있었다.

본 연구에서는 CT 영상의 대퇴골 부위를 해부학적으로 의미 있게 변형하여 CT 영상의 대퇴골 영역을 분할하기 위한 컨벌루션 신경망(CNN)의 훈련 데이터를 증강하는 방법을 제안한다. 먼저 CT 영상으로부터 삼차원 삼각형 대퇴골 메쉬를 얻는다. 그 후 메쉬의 국소부위에 대한 기하학적 특성을 계산하고, 군집화하여 메쉬를 의미 있는 부분들로 분할한다. 마지막으로, 분할한 부분들을 적절한 알고리즘으로 변형한 뒤, 이를 바탕으로 CT 영상을 와핑하여 새로운 CT영상을 생성하였다. 본 연구의 데이터 증강 방법을 이용하여 학습시킨 딥러닝 모델은 기하학적 변환이나 색상 변환 같이 일반적으로 사용되는 데이터 증강법과 비교하여 더 나은 영상분할 성능을 보인다.

물리기반 캐릭터 애니메이션에서 궤적 최적화(trajectory optimization) 기법은 캐릭터 동작에 대한 시스템 동역학 모델(system dynamics model)에 기반하여 가까운 최적의 미래 상태를 예측하여 캐릭터의 동작을 자동적으로 생성하는데 널리 사용되어 왔다. 캐릭터와 환경 간의 접촉 현상을 강체 충돌로 다루는 경우 일반적으로 시스템 동역학 모델은 그 수식이 닫힌 형식(closed form)으로 유도되지 못하고 미분이 불가능하다. 따라서 최근까지 많은 연구자들이 접촉 완화(contact smoothing) 기법을 통해 시스템 동역학의 수치적 미분에 기반한 효율적인 궤적 최적화 기법을 발표해 왔다. 하지만 수치적 미분 정보는 분석적 미분과 달리 부정확하기 때문에 궤적 최적화의 안정성에 영향을 미칠 수 있다. 이 문제를 해결하기 위해 본 논문에서는 접촉 완화 모델에 대한 근사화를 통해 시스템 동역학을 분석적으로 미분하여 닫힌 형식의 도함수를 유도하고, 이를 기반으로 사용자의 온라인 입력에 따라 예제 데이터 없이 이족 캐릭터의 동작을 안정적으로 생성하는 예측 제어 기법(model predictive control (MPC))을 제안한다.

본 논문은 3차원 물방울 조형 생성장치로 구현된 3차원 물방울 조형을 생성할 때 위성 물방울이 생성되지 않고 형상 왜곡이 일어나지 않으면서 조형의 해상도를 최대한으로 높일 수 있는 기법을 제안한다. 3차원 물방울 생성장치는 보통 표현하고자 3차원 조형을 등 간격으로 배치된 슬라이스들의 집합으로 이산화하여 표현하고 각 슬라이스를 순서대로 읽어 각 슬라이스를 실현하는 물방울을 솔레노이드 밸브를 개폐하여 생성한다. 각 슬라이스의 해상도는 솔레노이드 노즐 매트릭스의 해상도와 같다. 본 논문에서는 위성 물방울이 생성되지 않으면서 형상의 왜곡도 생기지 않는 새로운 기법 두 가지를 제시하고자 한다. 첫째 방법은 등간격 기법이라고 하는데, 등간격으로 배치된 각 슬라이스를 생성하는 시점을 조절하여 중력에 의해 시간이 지날수록 물방울의 속도가 빨라지더라도 조형 전체가 다 형성되는 순간에 물방울 슬라이스들이 등 간격을 유지하게 하여 원래의 형상이 왜곡되는 것을 방지한다. 두 번째 방법은 최소시간 간격 기법이라고 하는데, 3차원 조형을 슬라이스로 이산화시킬 때, 슬라이스를 등 간격으로 배치하는 것이 아니라 가능한 한 촘촘하게 배치한다. 중력을 고려하여 조형 위쪽으로 갈수록 슬라이스를 더 촘촘하게 배치하고, 아래로 내려올수록 슬라이스 간의 간격이 늘어나게 배치한다. 이때 주어진 노즐의 성능 한도 내에서 최대한 촘촘하게 불균등 간격 슬라이스를 배치하고 조형이 완성되는 시점에 이 간격이 실현되게끔 노즐 개폐를 제어한다. 이 방법을 구현하기 위해 주어진 물방울 생성장치의 솔레노이드 밸브가 위성 물방울 생성 없이 인접한 두 물방울을 연달아 생성하는데 필요한 최소 시간 간격 (노즐 오픈 명령후 노즐이 완전히 오픈되는데 걸리는 시간과 완전 오픈상태를 유지하는 시간, 그리고 노즐 클로즈 명령후, 노즐이 완전히 클로즈 되는데 걸리는 시간의 합) 을 실험으로 구했다. 두 번째 방법은 첫 번째 방법에 비해 조형의 해상도가 상당히 증가하는 장점이 있다.