본 연구는 골격이 있고 삼각형 메쉬로 이루어진 3D 모델의 변형을 빠른 연산 속도로 구현하는 것을 목표로 한다. 이를 위해 삼각형 메쉬 정점의 위치를 빠른 속도로 계산할 수 있는 IK 풀이 방법을 연구하고 해당 인터페이스를 개발하였다. 모델 표면상에 한 개 이상의 마커를 지정하고 마커의 목표 위치를 설정하면, 이 시스템은 마커의 목표 위치를 기준으로 가속화된 IK 풀이를 통해 모델 표면을 구성하는 삼각형 메쉬 정점의 위치를 계산한다. 메쉬의 위치를 결정하는 데에는 각 마커와 해당 마커에 영향을 미치는 관절, 그리고 해당 관절의 상위(부모) 관절에 대하여 계산을 수행하는데, 이 과정에서 빈번하게 사용되는 중복된 항(terms)이 발생한다. 이러한 중복항을 사전에 계산해 둠으로써 기존의 삼중 중첩 반복 구조의 계산 절차를 이중 중첩 반복 구조로 개선하여 모델 변형 결과를 신속하게 구현할 수 있다. 제안된 가속화된 IK 풀이 방법은 LBS 기법으로 구현된 3D 모델을 다루거나 마커 없이 단순 촬영만으로 대상 물체를 추적하는 무마커 추적 관련 연구 등 다양한 분야에서 유용하게 활용할 수 있다.

음성 기반 컴퓨팅 기술과 서비스의 수준이 높아지면서, 이러한 음성 기반 기술을 활용할 분야도 넓어지고 있다. 그 중 스마트 스피커의 보급이 증가하면서 다양한 음성기반 서비스가 출시되고 있고, 1인 가구 및 요리 방송이 증가하면서 스마트 스피커를 사용한 레시피 서비스 제공이 시작되었다. 전통적으로 레시피 서비스는 시각적인 정보제시를 주로 사용하였으나, 사용자의 경험 증진을 위해서는 음성만으로도 동일한 정보를 적절하게 제공해야 한다. 스마트 스피커가 가진 장점은 '핸즈프리'가 가능하다는 것인데, 이는 요리 상황에서 효율적으로 쓰일 수 있으며, 시각을 사용하지 못하는 사용자에게 도움이 될 수 있다. 본 연구에서는 음성 기반 레시피 서비스가 사용자의 요리 활동을 얼마나 효과적으로 지원하는지 살펴보았다. 현장연구로 요리 숙련도별로 새로운 레시피를 조리하도록 하였고, 소리내어 생각하기(think-aloud), 관찰 및 인터뷰를 실시했다. 그 결과 음성 기반 레시피 서비스는 사용자의 손을 자유롭게 하여 조리 활동을 중단하지 않으면서 레시피를 확인할 수 있도록 하였으나, 조리지시가 한꺼번에 주어져서 사용자가 기억 부담을 하는 것이 관찰되었다. 시각적인 정보의 부재는 심각한 단점으로 작용하지는 않았으나, 조리의 효율성과 완성도에 영향을 주었다. 본 연구의 결과는 HCI의 발전과 음성을 사용한 레시피 서비스 사용자 경험 연구에 참고 될 수 있을 것으로 기대된다.

직접 볼륨 렌더링은 볼륨 표면의 연산 없이 2차원 공간에 투영하여 렌더링 한다. 직접 볼륨 렌더링에서 전이함수(TF)는 볼륨에 색상과 투명도와 같은 광원 특성을 할당하는데 활용된다. 하지만 초보자가 TF를 조작하여 볼륨데이터를 파악하고 색상을 할당하기까지 오랜 시간이 필요합니다. 본 논문에서는 직관적인 볼륨 렌더링을 위해 인터넷에서 수집한 이미지를 사용하여 TF에 볼륨의 색상을 매핑하는 접근 방식을 제안한다. 또한 우리는 K-means 클러스터링을 활용한 색상 추출 방법을 토의한다.

본 논문에서는 변형 자동 인코더 네트워크(variational autoencoder network)의 잠재 공간 내에 스타일 자동 인코더 네트워크를 적용하여 컨텐츠 캐릭터의 모션에 스타일 캐릭터 모션의 스타일 정보를 이전하는 프레임워크를 제안한다. 이 프레임워크를 사용하면 기존의 변형 자동 인코더를 통해 얻은 모션의 다양성을 스타일 캐릭터 모션의 스타일 정보를 이전하여 증가시킬 수 있다. 또한 입력 데이터 및 출력 데이터에 모션의 속도 정보를 포함시켜 이전 프레임의 모션에 속도를 적분하여 모션을 계산함으로써, 변형 자동 인코더로 인한 샘플링과 잠재 공간 내에서 스타일 정보가 이전된 새로운 잠재 변수의 디코더 네트워크를 통한 확장으로 발생할 수 있는 부자연스러운 동작을 개선할 수 있다.

최근 노이즈 제거를 위한 심층 학습 모델에 대한 연구가 활발하게 진행되고 있다. 특히 블라인드 노이즈 제거 (blind denoising) 기술이 발전하면서 깨끗한 영상을 얻기가 불가능한 영상의 영역에서 노이즈 영상만으로 심층 학습 기반 노이즈 제거 모델의 학습이 가능해졌다. 우리는 관찰된 노이즈 영상으로부터 깨끗한 영상을 얻기 위해 더는 깨끗한 영상과 노이즈 영상의 짝을 이루는 데이터를 필요하지 않는다. 하지만 노이즈 영상과 깨끗한 영상 간의 차이가 큰 데이터라면 노이즈 영상만으로 학습된 노이즈 제거 모델은 우리가 원하는 품질의 깨끗한 영상을 복원하기 어려울 것이다. 이 문제를 해결하기 위해서 짝지어지지 않는 깨끗한 영상과 노이즈 영상으로 학습한 모델 기반 노이즈 제거 기술은 최근 연구되고 있다. 가장 최신 기술인 ISCL은 깨끗한 영상과 노이즈 영상의 쌍을 기반으로 한 지도학습 기반 모델의 성능과 거의 근접한 성능을 보여 주었다. 우리는 제안된 방법이 ISCL을 포함한 다른 최신 짝을 이루지 않는 영상 기반 노이즈 제거 기술보다 성능이 우수함을 보여준다.

물리 시뮬레이션 기반의 캐릭터 동작 제어 문제를 강화학습을 이용하여 해결해나가는 연구들이 계속해서 진행되고 있다. 강화학습을 사용하여 문제를 풀기 위해서는 네트워크 구조, 하이퍼파라미터 튜닝, 상태(state), 행동(action), 보상(reward)이 문제에 맞게 적절히 설정이 되어야 한다. 많은 연구들에서 다양한 조합으로 상태, 행동, 보상을 정의하였고, 성공적으로 문제에 적용하였다. 상태, 행동, 보상을 정의함에 다양한 조합이 있다보니 학습 성능을 향상시키는 최적의 조합을 찾기 위해서 각각의 요소들이 미치는 영향을 분석하는 연구도 진행되고 있다. 우리는 지금까지 이뤄지지 않았던 상태 표현 방식에 따른 강화학습성능에 미치는 영향을 분석하였다. 첫째로, root attached frame, root aligned frame, projected aligned frame 3가지로 좌표계를 정의하였고, 이에 대해 표현된 상태를 이용하여 강화학습에 미치는 영향을 분석하였다. 둘째로, 상태를 정의 할 때, 관절의 위치, 각도로 다양하게 조합하는 경우에 학습성능에 어떠한 영향을 미치는지 분석하였다.

드론 자율비행 기술 중 장애물 회피는 드론이나 주변 환경의 손상을 방지하고 위험을 예방할 수 있도록 하는 매우 중요한 기술이다. LiDAR 센서 기반 장애물 회피방식은 비교적 높은 정확도를 보여 최근 연구에서 많이 활용되고 있지만, 단가가 높고 시각 정보에 대한 처리 능력이 제한적인 단점이 있다. 따라서 본 논문은 단가가 상대적으로 저렴하고 시각 정보를 이용한 확장성이 높은 카메라 기반 PPO(Proximal Policy Optimization) 강화학습을 이용한 드론의 장애물 회피 알고리즘을 제안한다. 3차원 공간상의 학습환경에서 드론, 장애물, 목표지점 등을 무작위로 위치시키고, 가상 카메라를 이용하여 전면에 설치된 스테레오 카메라를 통해 스테레오 영상정보를 얻은 다음 YOLOv4Tiny 객체검출을 수행한다. 그리고 난 후 스테레오 카메라의 삼각측량법을 통해 드론과 검출된 객체간의 거리를 측정한다. 이 거리를 기반으로 장애물 유무를 판단하고, 만약 장애물이면 패널티를 책정하고 목표지점이면 보상을 부여한다. 본 방법을 실험한 결과 카메라 기반 장애물 회피 알고리즘은 LiDAR 기반 장애물 회피 알고리즘과 비교하여 충분히 비슷한 수준의 높은 정확도와 평균 목표지점 도달시간을 보여 활용 가능성이 높음을 알 수 있었다.

최근 컴퓨터 애니메이션 분야에서는 기존의 유한상태기계나 그래프 기반의 방식들에서 벗어나 딥러닝을 이용한 동작 생성 방식이 많이 연구되고있다. 동작 학습에 요구되는 네트워크의 표현력은 학습해야하는 동작의 단순한 길이보다는 그 안에 포함된 동작의 다양성에 더 큰 영향을 받는다. 본 연구는 이처럼 학습해야하는 동작의 종류가 다양한 경우에 효율적인 네트워크 구조를 찾는것을 목표로 한다. 기본적인 fully-connected 구조, 여러개의 fully-connected 레이어를 병렬적으로 사용하는 mixture of experts구조, seq2seq처리에 널리 사용되는 순환신경망(RNN), 그리고 최근 시퀀스 형태의 데이터 처리를 위해 자연어 처리 분야에서 사용되고있는 transformer구조의 네트워크들을 각각 학습하고 비교한다.

본 연구는 모바일 플랫폼 환경에서 언어 기반의 교육 콘텐츠 지원을 위한 텍스트 인터페이스를 제안한다. 이는 손 글씨를 통해 단어를 작성하는 입력 구조로 딥 러닝을 활용한다. 모바일 플랫폼 콘텐츠의 버튼, 메뉴 등을 활용한 GUI (Graphical User Interface)와 화면 터치, 클릭, 드래그 등의 입력 방식을 기반으로 손 글씨를 사용자로부터 직접 입력하여 처리할 수 있는 텍스트 인터페이스를 설계한다. 이는 EMNIST (Extended Modified National Institute of Standards and Technology database) 데이터 셋과 훈련된 CNN (Convolutional Neural Network)을 사용하여 알파벳 텍스트를 분류하고 조합하여 단어를 완성한다. 최종적으로 영어 단어 교육 콘텐츠를 직접 제작하여 제안하는 인터페이스의 학습 지원 효과를 분석하고 만족도를 비교하기 위한 실험을 진행한다. 동일한 교육 환경에서 기존의 키 패드 방식의 인터페이스와 제안하는 손 글씨 기반 텍스트 인터페이스를 서로 체험한 사용자들이 제시하는 영어 단어를 학습하는 능력을 비교하고, 인터페이스를 조작하여 단어를 작성하는 과정에서의 전체적인 만족도를 분석, 확인하도록 한다.