고스트 일러스트레이션은 모델의 명확한 형상에 대한 기하학적 정보를 잃지 않으면서 내/외부 구조를 동시에 가시화하는 효과적인 도구이다. 우리는 고스트 일러스트레이션의 전통적인 접근 방식에 모델의 깊이 정보를 활용하는 3차원 블렌딩 기술을 조합하는 새로운 프레임워크를 제안한다. 이 조합은 고스트 일러스트레이션의 요구 사항에 맞는 자연스러운 혼합 효과를 용이하게 한다. 또한, 일반적인 조작 기법(예. 마스킹)과 일러스트 렌더링 효과를 제안 프레임워크에 통합하여 명확한 형상에 대한 기하학적 정보와 깊이 정보를 동시에 제공하는 방법을 기술한다. 제안 기술 및 기존 기술에 대하여, 우리는 이들을 다양하게 조합하여 얻은 시각적 결과를 보이고 그 결과에 대해 논의한다. 이를 통해, 제안 프레임워크가 고스트 일러스트레이션을 위한 효과적인 툴이 될 수 있음을 보인다.

최근 다양한 종류의 가상 현실 기기가 개발되면서 고전적인 사용자 입력 방식 이외에도 사용자의 신체 동작을 인식하여 현실감을 높이려는 기술에 관한 연구가 활발하게 진행되고 있다. 이러한 장치 중의 하나인 립모션 컨트롤러는 사용자의 손동작을 인식하여 가상 현실 환경에서 사용자의 손 모양을 실시간으로 나타낼 수 있다. 하지만 인식한 사용자의 손을 사용하여 가상 현실의 물체를 조작하면 종종 손이 물체를 통과하게 되는데, 이러한 상호작용은 실제 현실과는 거리감이 있다. 본 연구에서는 가상 현실에서 사용자의 손과 물체 간의 상호작용 현실감을 높이기 위한 시각적 피드백 시스템의 구축 방법을 제시한다. 가상의 현실에서 사용자의 손과 가상 물체가 충돌하는지 광선 추적법을 활용하여 정밀하게 검사하고, 충돌하였을 때 부호 거리 장과 역기구학을 통해 물체 내부로 들어간 사용자의 손가락 말단의 위치를 물체 표면 밖으로 이동시켜 사용자의 손을 재구성하는 과정을 통해 시각적 피드백을 준다. 이를 통해 실시간으로 가상 현실에서 현실감 있는 상호작용을 할 수 있다.

본 연구는 패션에 대한 첨단 시뮬레이션 기술로 가상 의류 시각화를 지원하는 3D 패션 디자인 소프트웨어인 CLO 3D와 증강현실 어플리케이션 제작을 위한 모바일 플랫폼 증강현실 개발 도구인 vuforia를 활용하여 유니티 엔진 개발 환경에서 대화식 구조의 디지털 패션 콘텐츠 제작을 위한 공정을 정의한다. CLO 3D 소프트웨어를 통해 패턴, 재봉선, 텍스쳐 등의 작업을 거쳐 가상 의류 모델을 제작하는 방법과 유니티 엔진 개발 환경에서 vuforia 개발 도구의 기능과 속성 들을 활용하여 컴퓨터 비전 기술 기반의 증강현실 콘텐츠를 제작하는 방법을 정리한다. 그리고 패션 디자이너, 디렉터 등 실무 사용자의 관점에서 현실적으로 활용 가능한 새로운 방식의 증강현실 디지털 패션 콘텐츠를 정의한 제작 공정의 흐름으로 직접 제작함으로써 활용 방법을 제시한다.

CT 스캔에서 치아 신경관 식별은 치과 임플란트에서 중요하다. 임플란트 계획 전에, 치과 의사들은 신경관을 수동으로 식별하기 위해 신경관 경로가 최대로 관찰되는 시상면을 찾는다. 그러나 이는 시간 소모적이며 많은 임상 경험을 필요로 한다. 위 논문에서 우리는 원하는 시상면을 자동으로 검출하기 위한 깊은 학습 기반의 프레임 워크를 제안한다. 이는 두가지 주요 기술들을 사용하여 획득된다: 1) 초기 평면들을 획득하기 위한 반복 변환 네트워크 (ITN) 방법의 수정 버전과 2) 원하는 시상면을 검출하기 위한 합성곱 신경망 기반의 정밀 탐색 법. 이 기술들의 결합은 ITN 방법을 단독으로 사용하였을 때의 한계인, 정확한 평면 검출을 용이하게 한다. 우리는 여러 개의 CT 데이터 셋에서 실험하여 우리가 제안한 방법이 ITN 방법과 비교하여 훨씬 뛰어난 결과를 얻을 수 있음을 증명하였다. 이는 치과 의사들이 신경관 경로를 효율적으로 식별할 수 있어 보다 효율적인 자동신경관 검출법에 대한 향후 연구의 기반을 제공한다.

본 논문에서는 삼각 메쉬의 홀을 채우는 새로운 기법을 제시한다. 첫번째, 임의 모양의 홀을 검출한다. 두번째, 삼각화(triangulation), 세분화(refinement), 공정화(fairing), 스무딩(smoothing) 과정을 통해 소스 및 타겟 홀 패치를 생성한다. 마지막으로, 두 패치 사이의 형상 차이를 분석하고 패치간 블렌딩을 통해 특징이 강조된 홀 패치를 얻는다. 다양한 모양의 홀을 갖는 삼각 메쉬 모델에 홀 채움 기법을 적용하여 모델을 복원함으로써 제안된 기법의 효과성을 입증한다.

본 논문에서는 규칙 기반의 동시조음 모델을 통해 한국어에 특화된 스피치 애니메이션을 생성하는 모델을 제안한다. 음성에 대응되는 입 모양 애니메이션을 생성하는 기술은 영어를 중심으로 많은 연구가 진행되어 왔으며, 자연스럽고 사실적인 모션이 필요한 영화, 애니메이션, 게임 등의 문화산업 전반에 널리 활용된다. 그러나 많은 국내 콘텐츠의 경우, 스피치 애니메이션을 생략하거나 음성과 상관없이 단순 반복 재생한 뒤 성우가 더빙하는 형태로 시각적으로 매우 부자연스러운 결과를 보여준다. 또한, 한국어에 특화된 모델이 아닌 언어 비의존적 연구는 아직 국내 콘텐츠 제작에 활용될 정도의 퀄리티를 보장하지 못한다. 따라서 본 논문은 음성과 텍스트를 입력받아 한국어의 언어학적 특성을 반영한 자연스러운 스피치 애니메이션 생성 기술을 제안하고자 한다. 한국어에서 입 모양은 대부분 모음에 의해 결정된다는 특성을 반영하여 입술과 혀를 분리한 동시조음 모델을 정의해 기존의 입술 모양에 왜곡이 발생하거나 일부 음소의 특성이 누락되는 문제를 해결하였으며, 더 나아가 운율적 요소에 따른 차이를 반영하여 보다 역동적인 스피치 애니메이션 생성이 가능하다. 제안된 모델은 유저 스터디를 통해 자연스러운 스피치 애니메이션을 생성함을 검증하였으며, 향후 국내 문화산업 발전에 크게 기여할 것으로 기대된다.

본 연구에서는 360° 파노라마의 깊이 영상을 추정하는 딥러닝 구조를 제안한다. 이전 연구들에서는 딥러닝 네트워크를 학습시키기 위해 렌더링된 360° 파노라마 데이터 셋을 사용했다. 하지만, 렌더링된 파노라마 데이터 셋은 실제로 촬영된 파노라마 데이터 셋과 다르기 때문에, 이전 연구들의 네트워크는 실제로 촬영된 파노라마에 대해선 깊이 영상을 정확히 추정할 수가 없었다. 이 문제를 해결하기 위해 본 연구에서는 도메인 적응을 사용해서 렌더링된 파노라마와 실제로 촬영된 파노라마가 공유하는 특징들을 네트워크가 학습하게 했다. 실험을 통해 우리의 방식이 렌더링된 파노라마에 대해선 우수한 성능을 유지하면서 실제로 촬영된 파노라마에 대해서도 정확한 깊이 영상을 추정하는 것을 볼 수 있다.

본 논문은 3차원 가상환경에서 드로잉할 때, 사용자에게 위치 입력에 대한 피드백을 부여하는 효과적인 방법을 설계하고 그 성능을 측정하여, 피드백을 통해 사용자가 올바른 위치를 입력하는데 도움을 줄 수 있는지 확인하고자 한다. 주어진 선 형상을 핸드-헬드 컨트롤러를 이용하여 따라 그리는 실험에서 사용자에게 위치 입력 오차에 대해 세 단계의 시각, 청각, 촉각 피드백을 각각 제공하고, 어떤 피드백이 가장 효과적인지를 분석하였다. 피드백의 형태에 따른 위치 입력 정확도를 분석한 결과, 피드백은 특정 크기 이상의 입력 오류를 크게 감소시킬 수 있었으며, 시각과 촉각 피드백이 청각 피드백보다 효과적이었다.

코어운동의 운동 효과를 높이기 위해서는 정확한 자세로 운동 하는 것이 중요하다. 본 논문은 가상현실 환경에서 코어 운동을 하는 사용자가 정확한 자세를 취할 수 있도록 피드백을 제공하여 운동 자세를 트레이닝 할 수 있는 시스템을 소개한다. 스쿼트, 런지, 브릿지의 총 3가지 코어 운동 자세를 대상으로 하였으며, 정확한 자세를 취할 수 있도록 시각 피드백과 촉각 피드백을 사용자에게 제공한다. 전문가의 자세를 사용자의 신체 길이에 맞게 조정하여 기준 자세를 생성하며, 사용자의 운동 자세를 기준 자세와 비교하여 운동 자세의 정확도를 계산한다. 사용자 실험을 통해 피드백의 효과를 입증하였으며, 피드백의 설계에 따른 트레이닝 효과를 비교하였다.

본 논문에서는 사용자가 지정한 반사 하이라이트 맵을 가이드 영상으로 하는 뉴럴 재조명 기법을 제안한다. 제안하는 신경망은 다양한 조명 위치에서 렌더링 된 영상을 이용해 사전학습시킨 백본 뉴럴 렌더러를 활용하며, 기저 영상과 렌더링 영상의 차이가 사용자가 제공한 반사 하이라이트 맵과 유사하도록 역전파에 의해 광원의 위치와 관련된 재조명 영상을 동시 최적화한다. 제안하는 방법은 아티스트가 선호하는 이차원 화면 공간 인터페이스를 제공하면서도 삼차원 조명의 위치를 명시적으로 추론할 수 있는 장점이 있다. 제안하는 뉴럴 재조명의 성능은 실제 값을 설정할 수 있는 실험 상황을 수립하여, 본 논문의 방법이 주어진 하이라이트 맵을 얼마나 잘 반영하는지 평가하고 실제 하이라이트 맵으로 추론한 조명 및 재조명 영상의 오차를 측정하였다. 제안하는 뉴럴 재조명이 추정한 광원 위치의 평균 오차율은 정규화된 삼차원 장면 크기 대비 0.11이다.

본 연구는 기존에 진행되던 시각 장애 인식 개선에 대한 교육 방식의 개선을 위해 VR을 기반으로 시각장애인의 시선과 환경에서 체험을 진행할 수 있는 'Hear me later' VR 콘텐츠를 설계 및 구현하였다. 중고등학생부터 20대 청년까지 타겟의 범위로 하여 비장애인들에게 평범한 일상과 활동이 시각 장애인에게 어느 정도의 불편함을 주는 일상인지를 체험하고 이해할 수 있도록 하기 위해 다음과 같이 콘텐츠를 구성하였다. 한 학생이 아침에 집에서 기상하여 학교에 등교하고, 학교에서 수업을 들은 후, 어두워진 늦은 시간에 집으로 하교하는 흐름으로 각 맵에서는 일상적인 활동이지만, 시각장애인들에게 불편한 활동인 10가지의 퀘스트를 배치하여 사용자들의 참여와 활동을 유도 하였다. 'Hear me later'의 효과를 검증하기 위해 10대~20대 초반 8명의 실험 참가자들을 대상으로 시각장애인에 대한 인식을 체험의 사전 사후 평가를 통해 측정하였다. 그 결과, VR 체험 사후 평가에서 사전 평가에 비해 시각장애인에 대한 인식이 30% 상승하는 결과가 도출 되었다. 특히, 시각장애인에 대한 오해와 편견 부분의 변화가 두드러졌다. 본 연구를 통해, 시공간의 구축이 자유롭고 체험을 극대화할 수 있는 VR기반의 장애 체험 교육 프로그램의 가능성을 검증 하였고, 이를 다양한 분야로 확대할 수 있는 기반을 마련하였다.

가상현실의 높은 몰입감을 활용한 실감형 훈련 콘텐츠가 산업, 교육, 의료 등 다양한 분야에서 활용되고 있다. 특히 현실에서 실시하기 힘든 고위험, 고비용이 발생하는 교육훈련을 최신 가상현실 기술을 적용하여 현실과 비슷한 환경에서 효율적이고 안전하게 체험하여 교육효과를 높일 수 있다. 본 논문은 실감형 가상훈련 콘텐츠를 체계적으로 관리하고 정의된 평가요소를 기반으로 훈련 결과를 도식화된 그림으로 가시화하는 관리 시스템을 소개한다. 관리 시스템은 콘텐츠에서 생성되는 정보를 데이터베이스에 저장하여 각 훈련생의 훈련 기록을 실용적으로 관리할 수 있다. 또한 콘텐츠 기반 시나리오 생성 방법으로 훈련 목표, 참여인원, 평가요소 등을 설정하여 하나의 콘텐츠를 여러 시나리오로 생성할 수 있다. 본 논문은 관리 시스템의 제작 방법과 그 결과를 적용 사례인 가상현실 훈련 콘텐츠 기반으로 설명한다.

본 연구는 10만 개 이상의 움직이는 파티클 각각이 발광원으로서 존재할 때 라이팅을 위한 실시간 렌더링 알고리즘을 제안한다. 각 라이트의 영향 범위를 동적으로 파악하기 위해 2개의 3D 텍스처를 사용하며 첫 번째 텍스처는 라이트 색상 두 번째 텍스처는 라이트 방향 정보를 가진다. 각 프레임마다 두 단계를 거친다. 첫 단계는 Compute shader 기반으로 3D 텍스처 초기화 및 렌더링에 필요한 파티클 정보를 갱신하는 단계이다. 이때 파티클 위치를 3D 텍스처의 샘플링 좌표로 변환 후 이 좌표를 기반으로 첫 번째 3D 텍스처엔 해당 복셀에 대해 영향을 미치는 파티클 라이트들의 색상 총합을, 그리고 두 번째 3D 텍스처에 해당 복셀에서 파티클 라이트들로 향하는 방향벡터들의 총합을 갱신한다. 두 번째 단계는 일반 렌더링 파이프라인을 기반으로 동작한다. 먼저 렌더링 될 폴리곤 위치를 기반으로 첫 번째 단계에서 갱신된 3D 텍스처의 정확한 샘플링 좌표를 계산한다. 샘플링 좌표는 3D 텍스쳐의 크기와 게임 월드의 크기가 1:1로 대응하므로 픽셀의 월드좌표를 그대로 샘플링 좌표로 사용한다. 샘플링한 픽셀의 색상과 라이트의 방향벡터를 기반으로 라이팅 처리를 수행한다. 3D 텍스처가 실제 게임 월드와 1:1로 대응하며 최소 단위를 1m로 가정하는데 1m보다 작은 영역의 경우 해상도 제한에 의한 계단 현상 등의 문제가 발생한다. 이러한 문제를 개선하기 위한 텍스처 샘플링 시 보간 및 슈퍼 샘플링을 수행한다. 한 프레임을 렌더링하는데 소요된 시간을 측정한 결과 파티클이 라이트의 개수가 262144개일 때 Forward Lighting 파이프라인에서 146ms, deferred Lighting 파이프라인에서 46ms 가 소요되었으며, 파티클 라이트의 개수가 1024576개일 때 Forward Lighting 파이프라인에서 214ms, Deferred Lighting 파이프라인에서 104ms 가 소요되었다.

본 연구는 1대의 프로젝터를 이용하여 360도 파노라마를 구현할 수 있는 방법을 하드웨어적인 부분과, 투사 될 사전왜곡 이미지 제작 부분에 대해 기술하고 있다. 관람객의 위치에 따라 발생하는 그림자를 최소화하기 위하여 공간의 중앙 천정에 프로젝터와 반사경을 설치하는 방법을 제안하고 있다. 유니티 엔진 가상공간에서 프로젝터 및 반구 반사경의 위치를 전시공간과 동일하게 설정한 후, 프로젝터를 가상 카메라로 간주하고 환경을 렌더링하여 프로젝터를 이용하여 투사할 때 사용할 사전왜곡 이미지를 생성하였다. 스크린에 투사할 이미지를 가상공간의 벽면에 맵핑시켜 놓은 뒤 레이트레이싱 기법을 이용하여 가상 카메라에 가상 촬영 (레이 트레이싱)하는 방식으로 사전 왜곡 이미지를 제작 하였다. 본 기법의 특징은 사전왜곡 이미지 생성에 사용자가 최소한으로 개입한다는 것이다. 사전왜곡 이미지를 가상 카메라와 동일한 위치에 설치된 프로젝터에서 반구형 반사경에 투사하면 반구경 거울에 의해 이미지가 사방으로 반사되어 원통형 또는 사각방 모양의 파노라마 스크린에 360도로 투영된다.

본 연구는 일상 속에서 스트레스를 관리할 수 있는 VR 컬러테라피 힐링콘텐츠 '노르니르'를 구현하고 이를 제안한다. '노르니르'는 CRR 분석법을 적용하여 사용자가 선택한 3가지 컬러에 따라 맞춤형 VR 컬러테라피 체험의 여정을 제공한다. 사용자는 해당 컬러 여정을 통해 자신에 대해 이해하고, 앞으로 실천할 목표를 다양한 색채 인터랙션과 자극으로 제공받으며, 스트레스 수준을 낮추는 힐링이 가능하도록 설계하였다. 구현된 결과를 바탕으로 콘텐츠 시연 후의 사용자의 스트레스 변화를 확인하기 위해 한국판 기분 상태 검사 'K-POMS'를 실험 참가자들을 대상으로 시연 전후에 실시하였다. 실험 결과 사용자들은 부정적 감정의 감소와 긍정적 감정의 증가를 뚜렷이 보였다. VR 기술을 활용하여 색채심리치료룰 접목하여 일상에서 잦은 스트레스에 노출되는 사용자들의 스트레스를 완화 시켜줄 수 있는 가능성을 제시하였다.