'실제 신체가 아닌 대상이 내 신체처럼 느껴지는 환상'을 의미하는 몸 소유감 환상 (Body Ownership Illusion; BOI)은 고무 손 환상 (Rubber-Hand Illusion) 실험에서 사람이 고무손을 자신의 손처럼 느낄 수 있다는 것을 보여준 뒤로 활발히 연구되어 왔으며, 가상 현실에서도 가상 신체에 대해 BOI가 형성될 수 있다는 것이 증명되었다. BOI의 형성을 위해 주로 사용된 Visuomotor(VM; 시각-운동), Visuotactile(VT; 시각-촉각) 자극이 어떤 영향을 미치는지 많은 연구가 되어왔으나 두 자극을 동시에 전신에 전달한 연구는 매우 제한적이었다. 본 연구에서는 가상 아바타와의 전신 몸 소유감에서 VM, VT 자극을 동시에 전달했을 때 각 자극이 BOI에 어떤 영향을 미치는지 연구하였고 추가적으로 임장감, 감정, 가상 멀미감으로 나타나는 사용자 경험을 연구하였다. 연구결과 BOI 측정 결과는 VM 측면에서는 자극이 일치할 때 높게 나타났으나 VT의 경우는 유의미한 차이가 나타나지 않았다. 임장감의 경우 VT는 VM이 일치하는 경우에서만 영향을 주는 것을 확인하였으며, 감정의 경우 정서가 정도에서 VM과 VT 자극이 모두 영향을 주고, 가상 멀미감의 경우 통계적인 차이를 확인하지 못하였다. 이러한 연구 결과는 가상 아바타와의 전신 몸 소유감에서 전반적으로 VM의 일치도가 중요한 요인이지만, VM이 일치되는 경우 VT의 일치가 임장감과 같은 주관적 경험에 영향을 줌을 시사한다.

본 논문에서는 수직이동이 필요한 가상환경을 사용자가 이동할 때, 어떻게 카메라를 조작하는 것이 멀미를 최소화하면서도 몰입감을 극대화할 수 있는지를 조사하는 것이 목표이다. 일반적으로 사용자는 평평한 공간에서 가상현실을 이용하므로, 사용자의 실제 이동과 가상에서의 이동이 달라져 감각 충돌이 일어나게 되고, 이는 가상현실 멀미를 유발할 가능성을 가진다. 그러므로 3가지의 유력한 카메라 조작기법을 제안하고, 이들을 구현한 후, 사용자 실험을 통해 가장 적절한 모델이 어떤 것인지를 제안하고자 한다.

가상인간은 가상공간(가상 현실, 혼합 현실, 메타버스 등)에서 Unity와 같은 3D Engine 전용 모델링 도구로 구현된다. 실제 사람과 유사한 외모, 목소리, 표정이나 행동 등을 구현하기 위해 다양한 가상인간 모델링 도구가 도입되었고, 어느 정도 수준까지 인간과 의사소통이 가능한 가상인간을 구현할 수 있게 되었다. 하지만, 지금까지의 가상인간 의사소통 방식은 대부분 텍스트 혹은 스피치만을 사용하는 단일모달에 머물러 있다. 최근 AI 기술이 발전함에 따라 가상인간의 의사소통 방식은 과거 기계 중심의 텍스트 기반 시스템에서 인간 중심의 자연스러운 멀티모달 의사소통 방식으로 변화할 수 있게 되었다. 본 논문에서는 다양한 대화 데이터셋으로 미세조정한 인공신경망을 사용해 사용자와 자연스럽게 대화 할 수 있는 가상인간을 구현하고, 해당 가상인간이 생성하는 문장의 감정값을 분석하여 이에 맞는 표정을 발화 중에 나타내는 시스템을 구현하여 사용자와 가상인간 간의 실시간 멀티모달 대화가 가능하게 하였다.

최근, 메타버스는 다양한 분야에 적용될 수 있는 플랫폼으로서 그 영역을 급격히 넓히고 있다. 특히 다수의 사용자가 3차원 공간에서 상호작용 할 수 있는 기능은 VR/AR 기반의 교육 콘텐츠를 더욱 진보된 개념으로 활용할 수 있도록 해준다. 공학교육 특성상 3차원 물체를 기반으로 이루어지는 경우가 많다. 3차원 물체의 경우 2차원 동영상이나 문서를 통하여 설명하기 어렵고, 물체가 변하는 과정이 포함될 경우 더욱 표현이 어려워진다. 메타버스의 3차원 공간은 실시간 렌더링을 기반으로 하여 이러한 어려움을 개선해 줄 수 있다. 공학교육의 또 다른 특징은 실제 눈에 보이지 않는 요소가 많다는 점이다. 전자기장, 자기장, 힘 등 물체의 움직임에는 관여하나 눈에 보이지 않기 때문에 학습 난이도를 높이는 주된 이유가 된다. 이러한 문제 또한, 메타버스 공간에서 시각적으로 표현이 가능하기에 학습에 도움을 줄 수 있다. 본 논문에서는 공학교육을 위한 메타버스 플랫폼 구축 결과와 이를 기반으로 제작된 실시간 강의 콘텐츠를 설명하고, 적용한 결과와 강의 평가에 대해 다룬다. 총 9개의 메타버스 콘텐츠를 활용한 강의가 진행되었으며, 90%의 긍정적인 강의 평가 결과를 얻을 수 있었다.

영상의 깊이 추정은 다양한 영상 분석의 기반이 되는 기술이다. 딥러닝 모델을 활용한 분석 방법이 대두되면서, 영상의 깊이 추정 분야 또한 딥러닝을 활용하는 연구가 활발하게 이루어지고 있다. 현재 대부분의 딥러닝 영상 깊이 추정 모델들은 깨끗하고 이상적인 환경에서 학습되고 있다. 하지만 연무, 안개가 낀 열악한 환경에서도 깊이 추정 기술이 잘 동작할 수 있으려면 이러한 환경의 데이터를 포함하여야 한다. 하지만 열악한 환경의 영상을 충분히 확보하는 것이 어려운 실정이며, 불균일한 안개 데이터를 얻는 것은 특히 어려운 문제이다. 이를 해결하기 위해, 본 연구에서는 불균일 안개 영상 합성 방법과 이를 활용한 단안 기반의 깊이 추정 딥러닝 모델의 학습을 제안한다. 안개가 주로 실외에서 발생하는 것을 고려하여, 실외 위주의 데이터 세트를 구축한다. 그리고 실험을 통해 제안된 방법으로 학습된 모델이 합성 데이터와 실제 데이터에서 깊이를 잘 추정하는 것을 보인다.

X-ray 두개골 영상에서 주요 해부학적 부위들 간의 거리를 계측하는 것은 진단과 치료 등 임상적 의미에서 매우 중요하다. 최근에는 딥러닝 기술의 발전을 바탕으로 랜드마크를 식별 및 검출하는 자동화 시스템들이 제시되고 있다. 이러한 딥러닝 기반 모델을 과적합 없이 학습 시키기 위해서는 대량의 영상과 라벨링 데이터가 필요하다. 기존에는 숙련된 판독의가 환자의 영상에서 랜드마크를 수동으로 식별하여 라벨링하는 방식으로 계측이 이루어져 왔다. 그러나 이러한 계측 방식은 많은 비용이 소요될 뿐만 아니라, 재현성이 떨어지기 때문에 자동화된 라벨링 방법에 대한 필요성이 제기되고 있다. 또한, X-ray 영상에는 광자가 통과하는 경로 상의 여러 인체조직들이 표시되기 때문에 랜드마크 식별이 일반 자연 이미지 또는 삼차원 모달리티 영상에 비해 어렵다. 본 연구에서는 X-ray 영상 내에 대량의 라벨링 데이터 생성을 가능하게 하는 기하학적 데이터 증강 기법을 제안하고 있다. 또한, 두개골 내 주요한 16개 랜드마크들의 검출 성능을 향상시키기 위해 다양한 어텐션 기법들의 구현 및 적용을 통해 랜드마크 검출을 위한 최적의 어텐션 메커니즘을 제시하였다. 마지막으로 주요 두개골 랜드마크들 중 안정적인 검출이 보장되는 마커들을 도출하였으며, 이러한 마커들은 임상적인 활용 가능성이 높을 것으로 기대된다.

자연풍에 의한 감각은 대부분의 사람들이 일상 생활에서 경험하는 가장 흔한 느낌 중 하나이다. 그러나 가상현실 환경에서 자연풍이 어떻게 재현될 수 있는지, 인공풍이 결합된 다감각 콘텐츠가 인간의 정서를 개선하는지에 대한 연구는 거의 수행되지 않았다. 이러한 문제를 다루기 위해, 본 연구는 녹화된 영상 및 바람 데이터를 기반으로 하는 Wind Reproduction VR System 을 제안하고, 이 시스템이 사용자의 정적 정서에 주는 영향을 확인하는 연구를 진행한다. 실험을 위해 요트상에서 360 도 영상과 함께 풍향 및 풍속 데이터를 수집했다. 수집한 데이터는 제안한 시스템을 통해 다감각 VR 환경을 만드는데 사용되었다. 총 19 명의 대학생들이 실험에 참여했으며, K-PANAS(Korean version of Positive and Negative Affect Schedule)를 통하여 참가자들의 정서 변화를 측정했다. 실험 결과, 인공풍이 추가된 요트 VR 콘텐츠 체험 이후 참가자의 '영감을 받다', '활기차다' 정서가 유의하게 증가하였다. 뿐만 아니라, 바람의 유무에 따라 '흥미롭다' 정서가 가장 큰 영향을 받는 것으로 확인하였다. 제안한 시스템은 인터랙티브 미디어, 체험형 콘텐츠와 같은 다양한 VR 응용 프로그램에서 효과적으로 활용될 수 있다.

최근 스마트폰이 널리 보급되고 모바일 기기의 그래픽스 처리 성능이 발전함에 따라 아이들의 물리적인 활동을 돕는 다양한 모바일 애플리케이션들이 연구되고 있다. 본 논문에서는 인공지능과 증강현실 기술을 활용해 모래성 쌓기 놀이를 안내하는 모바일 애플리케이션 SandUp을 제안한다. 모래성을 쌓는 과정에서 아이는 모바일 증강현실 기술을 활용해 제시된 목표 모래성을 현실 세계에 증강하여 살펴볼 수 있다. 또한, SandUp은 모래성의 완성을 돕기 위해 단계적으로 필요한 모래 모양과 Task를 알려주고, 모바일 폰의 카메라와 딥러닝 인식모델을 이용해 실시간으로 현재 진행 상황을 인식하고 시각적, 청각적 피드백을 제공한다. 우리는 Flutter와 TensorFlow Lite를 이용해 SandUp 앱의 프로토타입을 구현하였다. 제안하는 SandUp 앱의 사용성과 효과를 평가하기 위해 성인을 대상으로 설문조사를 수행하고 앱이 목표로 한 4-7세 아이들을 모집하여 실험을 진행했다. 실험 결과와 학부모의 피드백을 분석하여 앱의 발전 가능성 및 개선점을 도출하고 향후 연구 방향을 제시한다.

본 연구는 대표적인 국내 메타버스 플랫폼의 대표 중 하나인 제페토 월드를 활용한 메타버스 콘텐츠 제작 공정을 제안한다. 유니티 3D 엔진을 기반으로 제페토 템플릿을 활용하여 제페토 월드를 구성하고, 제페토 스크립트를 통해 로직, 상호작용, 속성 제어 등 다중 사용자 참여가 가능한 메타버스 콘텐츠의 핵심 기능들을 구현한다. 본 연구는 제페토 스크립트의 속성, 이벤트, 컴포넌트 등의 기본 기능과 아바타 로딩, 캐릭터 이동, 카메라 제어 기능을 포함하는 제페토 플레이어를 활용한다. 그리고 제페토의 월드 멀티플레이(WorldMultiplay), 클라이언트 스타터(ClientStarter) 등의 속성을 토대로 객체 변환, 동적 객체 생성 그리고 속성 추가 및 실시간 속성 제어 등 멀티플레이 메타버스 콘텐츠 제작에서 필요한 핵심적인 동기화 처리 과정을 정리한다. 이를 기반으로 제페토 월드를 활용한 멀티플레이 메타버스 콘텐츠를 직접 제작함으로써 제안하는 제작 공정을 확인한다.

조건부 자율주행 차량은 주행 상황에 따라 운전자에게 제어권을 인계해야 한다. 그러나 운전자가 비운전 과제에 몰입해 있다면, 상황에 맞는 의사결정을 하지 못할 수 있다. 선행연구에서는 주행 방향정보를 제공하는 단서 자극 (Cue)이 제어권 전환 성능을 높인다는 것을 확인했으나, 이러한 방법론이 실제 운전자의 뇌 활성도에 미치는 영향에 관한 연구는 매우 제한적이다. 따라서 본 연구는 조건부 자율주행에서 제어권 전환 시, Cue에 따른 운전자의 뇌 활동을 평가한다. 총 25명의 피험자가 운전 시뮬레이터를 활용한 제어권 전환 성능에 평가를 수행하였다. 뇌 활동의 평가를 위해서는 혈액 내 산화 헤모글로빈 농도 변화를 통해 뇌 활성화를 측정하는 기능적 근적외 분광법이 사용되었으며 뇌 영역 중 전전두피질 (Prefrontal Cortex; PFC)의 활성화를 평가했다. 실험결과, Cue가 존재하는 경우 운전자의 PFC가 활성화되어 안정적인 제어권 전환 성능이 형성됨을 확인하였다. 본 연구는 Cue가 운전자의 뇌 활성도에 미치는 영향을 정량적으로 확인하였다는 점에서, 향후 조건부 자율주행에서 생체반응을 활용한 제어권 전환 성능 평가 연구에 기여할 수 있을 것으로 예상된다.

광선 추적 기반의 렌더링은 래스터화 기반의 렌더링보다 훨씬 더 사실적인 이미지를 생성한다. 하지만 넓은 시야와 높은 디스플레이 갱신 속도를 요구하는 헤드 마운티드 디스플레이(HMD) 시스템을 대상으로 이를 구현할 때에는 여전히 많은 연산량으로 인하여 부담스럽다. 또한, HMD 화면에 고품질 이미지를 표시하기 위해서는 시각적으로 성가신 공간적/시간적 앨리어스를 줄이기 위해 픽셀당 충분한 수의 광선 샘플링을 수행해야 한다. 본 논문에서는 최근 Kim 등[1]이 제시한 선택적 포비티드 광선 추적법을 확장하여 주어진 HMD 시스템에서 고전적인 Whitted-스타일 광선 추적 수준의 렌더링 효과를 효율적으로 생성해주는 실시간 렌더링 기법을 제안한다. 특히, GPU의 광선 추적 하드웨어를 통한 가속과 시간 제한을 둔 렌더링 방법의 결합을 통하여 고속의 HMD 광선 추적에 적합한 사람의 시각 시스템에 매우 효율적인 적응적 광선 샘플링 방법을 제안한다.

본 논문은 주로 사용되는 AR 콘텐츠의 증강 방법을 적용하기 어려운 차량 실내공간에서도 사용할 수 있는 차량용 AR매뉴얼을 구현하고, 실공간과 가상 객체의 증강 정합도 향상을 위해 딥러닝 모델을 적용하였다. 차량 핸들의 로고를 딥러닝 학습을 통해 위치와 각도, 기울기 등과 관계없이 인식하고, 이를 중심으로 3차원 실내 공간좌표를 생성하여 실제 차량 부품 위에 정확히 가상버튼을 증강한다. 여기에 동일 학습모델을 기반으로 차량의 주요 경고등 심볼을 인식할 수 있는 기능을 함께 구현하여 차량용 AR매뉴얼로서의 기능성과 활용성을 높인다.