• 스마트미디어저널
• /
• 제1권3호
• /
• pp.8-14
• /
• 2012

본 논문에서는 청각장애인(농아인)과 비장애인의 수화 학습의 기회를 넓히고자 스마트폰용 3D 수화교육 앱을 개발하였다. 특히 한국어 문장을 자동으로 수화구조로 변환하는 수화단어 변환 알고리즘을 제안하였다. 또한, 자연스러운 수화 동작을 얻기위해 모션 캡처 시스템과 정확한 손동작 표현을 위해 데이터 글러브를 이용하여 실제 사람과 같은 3D 수화 애니메이션 DB를 구축하였다. 마지막으로 수화 애니메이션의 움직임을 실시간 3D 렌더링하여 화면에 보여주기 위해 UNITY 3D 엔진 프로그래밍이 이용되었다. 제안한 수화교육 앱 콘텐츠는 아이폰 앱스토어와 안드로이드 앱스토어에 약 1,300단어의 3D 수화 DB를 가지는 앱으로 배포 중이다.

• 한국전자통신학회논문지
• /
• 제4권2호
• /
• pp.116-122
• /
• 2009

본 논문에서는 얼굴 애니메이션을 좀 더 실질적으로 표현하기 위하여 한글 생성의 원리와 입 모양 형태의 유사성을 기반으로 기본 음소를 선정하고 이를 이용하는 새로운 알고리듬을 제안한다. 카메라를 통해 얻어진 특징 점 이용이 아닌, 모션 캡쳐 (Motion Capture) 장비를 사용하여 실제 입모양의 움직임 데이터를 취득하여 취득된 데이터를 지수 증,감 형태로 나타내어 발성에 대한 음소를 표현하고 연속된 음절을 표현하기 위하여 지배 함수(Dominance Function)와 혼합 함수(Blending Function)를 적용하여 동시 조음에 대한 표현을 해결하였다. 또한 음절 간의 결합 시간을 입 주변의 마커(Marker) 거리 값의 변위를 이용하여 그 기울기 값에 따라 시간 지연을 함으로 현실감 있는 사용자 입력 문자에 대한 입 모양 궤적 데이터를 생성하는 실험 결과를 보여준다.

• 정보처리학회논문지B
• /
• 제13B권2호
• /
• pp.187-196
• /
• 2006

대부분의 3차원 캐릭터 애니메이션에서는 모션 캡쳐 장비를 통해서 포착된 동작 데이터를 이용하여 다양한 지형상에서 캐릭터의 이동 동작을 표현한다. 이러한 동작 포착 데이터는 실제 사람과 같이 움직이는 동작들을 자연스럽게 표현할 수 있으나, 만약 다양한 지형에 대해 움직이는 동작을 표현할 경우, 지형의 유형에 따라 모든 동작을 캡쳐하여야 하고, 얻어진 동작 데이터를 다른 유형의 캐릭터에 적용할 경우 동작 데이터를 다시 얻거나 기존 동작 데이터를 재편집해야 하는 어려움이 있다. 따라서 본 연구에서는 평지면, 경사면, 계단면 그리고 굴곡면 등 다양한 지형에서의 적응적인 걷기, 달리기의 이동 동작을 생성하기 위한 통합적 생성 방법을 제안한다. 이 방법에서는 캐릭터의 신장이나 걷는 속도 걸음폭 등의 적은 매개변수들을 사용하여 이동 동작을 생성할 수 있다. 관절들의 위치나 각도는 역운동학(Inverse Kinematics)방법으로 계산하고, 골반과 이동하는 다리의 움직임 궤적 산출은 큐빅 스플라인 곡선을 활용한다. 또한 제안된 방법을 통해서 다양한 실제 캐릭터에 적용하여 이동 동작을 확인한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권10호
• /
• pp.461-470
• /
• 2023

딥러닝을 활용한 스피치 애니메이션 생성은 영어를 중심으로 활발하게 연구되어왔지만, 한국어에 관해서는 사례가 없었다. 이에, 본 논문은 최초로 지도 학습 딥러닝을 한국어 스피치 애니메이션 생성에 활용해 본다. 이 과정에서, 딥러닝이 스피치 애니메이션 연구를 그 지배적 기술인 음성 인식 연구로 귀결시킬 수 있는 중요한 효과를 발견하게 되어, 이 효과를 한국어 스피치 애니메이션 생성에 최대한 활용하는 방법을 고찰한다. 이 효과는 연구의 최우선 목표를 명확하게 하여, 근래에 들어 활발하지 않은 한국어 스피치 애니메이션 연구를 효과적이고 효율적으로 재활성화하는데 기여할 수 있다. 본 논문은 다음 과정들을 수행한다: (i) 블렌드쉐입 애니메이션 기술을 선택하며, (ii) 딥러닝 모델을 음성 인식 모듈과 표정 코딩 모듈의 주종 관계 파이프라인으로 구현하고, (iii) 한국어 스피치 모션 캡처 dataset을 제작하며, (iv) 두 대조용 딥러닝 모델들을 준비하고 (한 모델은 영어 음성 인식 모듈을 채택하고, 다른 모델은 한국어 음성 인식 모듈을 채택하며, 두 모델이 동일한 기본 구조의 표정 코딩 모듈을 채택한다), (v) 두 모델의 표정 코딩 모듈을 음성 인식 모듈에 종속되게 학습시킨다. 유저 스터디 결과는, 한국어 음성 인식 모듈을 채택하여 표정 코딩 모듈을 종속적으로 학습시킨 모델 (4.2/5.0 점 획득)이, 영어 음성 인식 모듈을 채택하여 표정 코딩 모듈을 종속적으로 학습시킨 모델 (2.7/5.0 점 획득)에 비해 결정적으로 더 자연스러운 한국어 스피치 애니메이션을 생성함을 보여 주었다. 이 결과는 한국어 스피치 애니메이션의 품질이 한국어 음성 인식의 정확성으로 귀결됨을 보여 줌으로써 상기의 효과를 확인해준다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제27권1호
• /
• pp.1-8
• /
• 2021

본 논문에서는 캐릭터의 걷기 동작 데이터를 변형하는 방법을 제안한다. 이를 위하여 주 관절(root joint)의 이동 경로를 그래프로 분석하고 라플라스 연산자를 이용해 변형하는 방법을 사용한다. 주 관절의 경로는 동작 데이터의 각 프레임별 위치와 방향을 정점으로 하고 이를 인접 프레임의 정점과 연결한 그래프 형태로 나타낸다. 주 관절 경로를 라플라스 연산자를 이용하여 좌표계를 변환하고 이를 목표 위치 및 방향에 맞도록 반복적인 방법으로 해를 구하여 변형한다. 이 방법을 이용하여 동작 데이터의 걷기 스타일을 유지하면서 다양한 경로의 걷기 동작을 얻을 수 있게 되며 많은 비용이 드는 동작 데이터 취득을 최소화할 수 있다. 최종 모션은 변형된 주 관절 경로를 기준으로 기존 모션의 다른 관절을 위치시키고 후처리하여 생성한다. 본 논문에서 제안한 방법을 응용함으로써 적은 모션 데이터로도 복잡한 환경에서 캐릭터의 걷는 동작을 생성하는 것을 보인다.

• 만화애니메이션 연구
• /
• 통권9호
• /
• pp.127-142
• /
• 2005

Study of Animation 3-Dimensional Motion Picture국내뿐만 아니라 전 세계의 수백만의 인구가 영상을 접하고 있다. 영상은 움직이는 형상을 시각화 하는 것에서 지식, 정보 전달의 매체로서 자리 매김 하였다. 과학의 발전은 온라인(Online)시대를 열어주었고 온라인 시대의 정보습득은 지속적으로 고속화 되어, 과량의 정보 속에서 선택을 해야 하는 관객들을 함께 가속화 시키고 있다. 선택적인 측면에서 시각적인 전달 방법은 급변하는 시대의 요구에 맞게 변화하게 된다. 다량의 정보 속에서 순간의 선택을 받기 위한 일한으로, 1차적인 요건은 시선을 집중시키는 것이며, 그에 상응하는 만족감을 선사하는 것이다. 영상의 초기는 실제로 자신이 보고 있는 상황을 그대로 옮기고자 하는 욕구에서 출발한 것이다. 정지화면에서 만족하지 못한 인간은 움직이는 화면(Film)을 개발하였고 양안의 시점의 차이와 광선의 자극 반응을 감안한 실제 인지하는 시점보다 더 입체감을 만들어내는 영상을 가늠 해내는 연구를 하게 된다. 이는 컬러 필름(Color Film)에서 입체영상 개발까지 놀라운 성과를 누리게 된다. 인간의 가시적인 면에 대한 욕망의 추구 즉, 극대화된 실재감(Reality) 있는 볼거리 추구는 영상이 포함되는 모든 분야에 지속적으로 요구되고 있다. 지금 수백만의 인구가 보편적으로 보고 있는 영상들은 평면적이다. 화면의 깊이 감(Depth)과 착시현상(Optical Illusion)은 효과적으로 현실감을 주며 정보를 전달한다. 하지만, 인간의 양안 시점차이로 인식하는 입체감은 평면속에서 만들어 내는 깊이 감으로는 현실감 있게 인식하는데 한계점이 존재한다. 이러한 한계를 만족시킬 입체 영상) 입체영상은 영화에서 시작되었으나, 20c후반기에 들어서면서 애니메이션 분야와 모바일, 광고 패널, 텔레비전등의 매체를 이용한 입체 영상의 개발로 인하여 특정 분야에 한정 시킬 수 없으므로 영상으로 칭한다. 입체 영상은 21c에 들어서면서 영상매체의 한 분야로 급부상하고 있다. 1900년 무렵부터 연구된 입체영화(3-Dimensional motion Picture)는 In여 년이 지난 지금 대중화를 눈앞에 두고 있다. 국내에서는 놀이 동산이나 박물관등에서 흔히 볼 수 있다. 하지만 앞으로는 HDW등의 대중화로 화질의 발전을 이룬 텔레비전 분야 등에서 실용화 될 전망이다. 국제적인 흐름과 함께 국내에서도 입체 영화에 대한 연구가 활성화 되어 영상산업의 한 주류로서 대두되고 있다. 이러한 상황에서 입체영상에 대한 이해와 콘텐츠(Contents)의 개발은 기술적인 진보에 발맞추어 준비되어야 한다. 본 논문은 이러한 기술적인 계보에 발맞춘 영상 콘텐츠 개발에 박차를 가하고자 앞으로의 발전분야에 대한 기술적인 면과 기법적인 면을 제시하여 기술만 앞서고 내용은 수입하는 수입국이기 보다는 미리 준비하여 비전문가나 타국의 기술에 선점 당하지 않는 분야로 성장할 수 있는 진보적인 영상 인들의 관심과 지속적인 연구를 독려하고자 한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.439-444
• /
• 2008

추상적인 매개공간을 예제모션들로 표본추출(sampling)하고, 그것들을 보간하여 주어진 입력 매개변수(parametrs)와 대응되는 블렌딩 가중치(blend weights)를 계산하는 블렌딩 기반의 매개화된 합성기법은 뛰어난 제어력과 효율성 때문에 널리 쓰이고 있다. 그러나 보다 세부적인 모션 제어를 위해 매개공간의 차원을 증가시킬수록, 표본추출을 위해 필요한 예제모션의 수가 기하급수적으로 늘어나게 된다. 본 논문은 상체모션과 하체모션의 분리된 생성 및 제어를 위해 두 개의 매개공간(parameter spaces)을 사용하는 방법론을 제안한다. 즉, 매 애니메이션 프레임마다 각 매개공간으로부터 두 개의 바탕프레임(source frames)이 추출되면, 하나로부터의 상체를 다른 하나의 하체에 접합(splicing)하여 실시간으로 목적모션을 생성한다. 이를 통해 사용자가 입력한 상체제약과 하체제약을 모두 만족하는 모션을 생성할 수 있을 뿐만 아니라 매개공간의 차원 복잡도에서 기인하는 문제를 해결할 수 있다. 본 논문을 통해, 우리는 두 개의 매개화된 모션공간으로부터 시간적 상호관계가 고려된 모션을 생성하기 위한 새로운 시간왜곡(time-warping)기법을 제안한다. 또한 상체의 공간적 특성을 기반으로 예제모션들을 매개화할 경우, 접합되는 하체에 따라 변경되는 예제모션들의 매개변수를 빠르게 근사하기 위한 기법을 소개한다.

• 대한인간공학회:학술대회논문집
• /
• 대한인간공학회 1996년도 추계학술대회논문집
• /
• pp.59-65
• /
• 1996

인간의 얼굴 표정은 인간의 감성이 가장 잘 나타나는 부분이다 . 따라서 전통적으로 인간의 표정을 감 성과 연관 지어 연구하려는 많은 노력이 있어 왔다. 최근에는 얼굴 온도 변화를 측정하는 방법, 근전도(EMG; Electromyography)로 얼굴 근육의 움직임을 측정하는 방법, 이미지나 동작분석에 의한 얼굴 표정의 연구가 가능 하게 되었다. 본 연구에서는 인간의 얼굴 표정 변화를 3차원 동작분석 장비를 이용하여 측정하였다. 얼굴 표정 의 측정을 위해 두가지의 실험을 계획하였는데, 첫번 째 실험에서는 피실험자들로 하여금 웃는 표정, 놀라는 표정, 화난 표정, 그리고 무표정 등을 짓게 한 후 이를 측정하였으며, 두번째 실험에스는 코미디 영화와 공포 영화를 피 실험자들에게 보여 주어 피실험자들의 표정 변화를 측정하였다. 5명의 성인 남자가 실험에 참여하였는데, 감성을 일으킬 수 있는 적절한 자극 제시를 못한 점 등에서 처음에 기도했던 6개의 기본 표정(웃음, 슬픔, 혐오, 공포, 화남, 놀람)에 대한 모든 실험과 분석이 수행되지 못했다. 나머지 부분을 포함한 정교한 실험 준비가 추후 연구 에서 요구된다. 이러한 연구는 앞으로 감성공학, 소비자 반응 측정, 컴퓨터 애니메이션(animation), 정보 표시 장치(display) 수단으로서 사용될 수 있을 것이다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제21권2호
• /
• pp.11-20
• /
• 2015

본 논문은 캐릭터의 특정 신체 부위를 3차원 가상 환경 안의 원하는 위치로 드래깅 함으로써 미래의 동작 시퀀스를 지시하는 새로운 대화형 기법을 제시한다. 캐릭터의 동작 시퀀스는 미리 촬영된 동작 데이터의 세부 구간들을 모션 그래프 구조에 따라 시간적으로 재배열 함으로써 합성한다. 손 동작 추적 장치에 의하여 사용자의 3차원 위치 입력이 주어지면, 모션 그래프를 공간 상에 펼침으로써 캐릭터의 현재 상태로부터 도달 가능한 잠재적 미래 상태들을 샘플링 하고, 선택된 신체 부위와 입력 위치 간의 거리가감소하는 미래 상태를 검출하여 해당 자세를 사용자에게 제시한다. 연속적으로 검출된 자세 간의 변화를 최소화 함으로써 사용자가 입력 위치를 변화 시킴에 따라 어떤 상태가 검출될지 예상하기 용이하도록 하고, 결과적으로 원하는 미래 상태에 신속하게 도달하도록 한다. 제안된 방법의유용성은 브레이크 댄스, 권투, 농구 등의 동작 데이터를 이용한 실험을 통하여 확인할 수 있었다.

• 방송공학회논문지
• /
• 제26권5호
• /
• pp.519-532
• /
• 2021

최근 게임, 영화, 애니메이션 다양한 분야에서 모션 캡처를 이용하여 신체 모델을 구축하고 캐릭터를 생성하여 3차원 공간에 표출하는 콘텐츠가 증가하고 있다. 마커를 부착하여 관절의 위치를 측정하는 방법에서 촬영 장비에 대한 비용과 같은 문제를 보완하기 위해 RGB-D 카메라를 이용하여 애니메이션을 생성하는 연구가 진행되고 있지만, 관절 추정 정확도나 장비 비용의 문제가 여전히 존재한다. 이에 본 논문에서는 애니메이션 생성에 필요한 장비 비용을 줄이고 관절 추정 정확도를 높이기 위해 RGB 이미지를 관절 추정 네트워크에 입력하고, 그 결과를 3차원 데이터로 변환하여 FBX 형식 애니메이션으로 생성하는 시스템을 제안한다. 먼저 RGB 이미지에 대한 2차원 관절을 추정하고, 이 값을 이용하여 관절의 3차원 좌표를 추정한다. 그 결과를 쿼터니언으로 변환하여 회전한 후, FBX 형식의 애니메이션을 생성한다. 제안한 방법의 정확도 측정을 위해 신체에 마커를 부착하여 마커의 3차원 위치를 바탕으로 생성한 애니메이션과 제안된 시스템으로 생성한 애니메이션의 오차를 비교하여 시스템 동작을 입증하였다.