• Proceedings of the Korea Multimedia Society Conference
• /
• 2000.04a
• /
• pp.474-477
• /
• 2000

최근 3D 애니메이션 , 영화 특수효과 그리고 게임제작시 모션 캡처 시스템(Motion Capture System)을 통하여 실제 인간의 동작 및 표정을 수치적으로 측정해내어 이를 실제 애니메이션에 직접 사용함으로써 막대한 작업시간 및 인력 드리고 자본을 획기적으로 줄이고 있다. 그러나 기존의 모션 캡처 시스템은 고속 카메라를 이용함으로써 가격이 고가이고 움직임 추적에서도 여러 가지 문제점을 가지고 있다. 본 논문에서는 일반 저가의 카메라와 신경회로망 및 영상처리를 이용하여 얼굴 애니메이션용 모션 캡처 시스템에 적용할 수 있는 경제적이고 효율적인 얼굴 움직임 추적 기법을 제안한다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.18 no.5
• /
• pp.666-671
• /
• 2008

In this paper, we propose a new method for tracking objects continously and successively based on fusion of region information, color information and motion template when multiple objects are occluded and splitted. For each frame, color template is updated and compared with the present object. The predicted region, dynamic template and color histogram are used to classify the objects. The vertical histogram of the silhouettes is analyzed to determine whether or not the foreground region contains multiple objects. The proposed method can recognize more correctly the objects to be tracked.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.744-749
• /
• 2007

물체 추적시스템은 비디오 감시 시스템, 화상회의 시스템과 같은 다양한 비전 응용 분야에서 점점 비중이 높아지고 있다. 이 시스템에서 가장 널리 사용되고 있는 방법 중 하나로 Particle-Filter를 들 수 있다. 하지만, 이 Particle-Filter의 단점은 유사한 여러 물체를 추적할 때에 그 물체들이 겹치거나 사라질 경우 정확한 추적을 하기 어렵다는 것이다. 이 단점을 극복하기 위해 많은 연구가 진행되고 있으며, 본 논문에서는 이 문제를 극복하기 위한 새로운 방법을 제안하고자 한다. 다중 물체 추적에서 빈번히 일어나는 문제는 두 가지로 요약할 수 있는데, 동일한 다중 물체가 부분적으로 엇갈리거나 다른 객체에 완전히 겹친 후 떨어질 때 한 물체를 중복하여 추적하는 문제(merge and split problem)와 이 때 분리되어 추적은 됐지만, 물체를 혼동하여 추적하는 문제(Labeling problem)이다. 본 논문에서는 이 러한 문제들을 풀기 위해 이미지 필드에서 보다 정확한 확률분포를 만들고, 이 확률분포의 신뢰성을 높이기 위해서 물체의 특징정보를 표현하는 몇 가지 방법을 제안한다. 전자의 문제는 두 가지 문제로 나누어 생각해 보았다. 첫째, 복잡환 환경에서의 분포를 찾아내는 것과 둘째, 추적 중인 물체를 잃어버릴 경우 새로운 샘플을 생성함으로써 나누어 보았다. 이 문제 중 첫번째는 K-means 클러스터링을 이용하여 유사한 물체가 주변에 퍼져 있을 때, 하나의 후보 위치가 아닌, K개의 후보 위치들을 만들어 내어 보다 정확한 추적이 가능하게 하였으며, 두 번째 문제는 추적 중인 물체가 다른 커다란 물체에 가려질 경우이다. 이 상황에서 샘플을 생성하는 방법은 지금까지 해왔던 간단한 환경에서의 생성 범위와는 다르게 넓게 해야 생성시켜야 한다. 이 때 샘플링의 수를 늘리지 않으면서, 최대한 정확하게 추적하기 위해서 동영상에서 물체의 모션을 이용한 모션 히스토그램을 얻어내고, 그 정보를 이용하여 샘플을 생성하는 위치를 조절함으로써 이 문제를 풀어 보았다. 그리고, 후자의 문제인 이미지 필드상에서 확률분포의 신뢰성을 높이기 위한 특징 정보는 기존에 많이 사용하던 칼라 히스토그램에 공간정보의 의미를 부여하는 칼라 히스토그램을 분할하는 방법과 SIFT에서 사용하는 방향정보와 크기정보를 사용했다. 이것들을 사용하여 보다 정확한 물체추적시스템을 다음과 같이 제안한다.

• 한국게임학회지
• /
• v.6 no.1
• /
• pp.61-63
• /
• 2009

가상환경에서 다양한 객체 요소들이 휴먼 캐릭터와 서로 상호작용을 한다. 이것은 휴먼 모션 애니메이션에 영향을 준다. 기본모션데이터는 동적, 고정된 객체의 접촉 상태, 지면과의 관계에 따라 영향을 받는다. 모션이 적절히 수정되지 않으면 불규칙, 비합리적인 표현이 생성될수 있다. 본 논문은 모션 데이터 커브를 추적하고 적절히 장애물 객체의 속성을 포함하는 관절데이터를 추적한다. 상호작용의 결과에 적절히 응답하여 데이터를 수정한다. 본 논문은 애니메이션 시나리오상에서 상호작용하는 객체를 위한 동적 제어 메커니즘을 설계하는 기법을 제시한다. 특정한 규칙을 이용하여 의사 결정할 수 있는 지능형 에이젼트에 기반한 구조로 에이젼트 시스템을 제안한다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.1012-1018
• /
• 2007

본 논문에서는 비전 기반 3차원 얼굴 모델의 자동 표정 생성 시스템을 제안한다. 기존의 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 배제한 얼굴 표정 생성에 초점을 맞추고 있으며 얼굴 모션 추정과 표정 제어에 관한 연구는 독립적으로 이루어지고 있다. 제안하는 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출 방법으로는 얼굴 후보 영역 검출과 얼굴 영역 검출 과정으로 구성된다. HT 컬러 모델을 이용하며 얼굴의 후보 영역을 검출하며 얼굴 후보 영역으로부터 PCA 변환과 템플릿 매칭을 통해 얼굴 영역을 검출하게 된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 3차원 실린더 모델의 투영과 LK 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 또한 영상 보정을 통해 강인한 모션 추정을 할 수 있다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용하며 12개의 얼굴 특징점으로부터 얼굴 모델의 표정을 생성한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 눈썹, 눈, 입 주위의 얼굴 특징점을 검출하며 LK 알고리즘을 이용하여 특징점을 추적(Tracking)한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수를 획득한다. 애니메이션 매개변수로부터 얼굴 모델의 제어점을 이동시키며 주위의 정점들은 RBF 보간법을 통해 변형한다. 변형된 얼굴 모델로부터 얼굴 표정을 생성하며 모션 추정 결과를 모델에 적용함으로써 얼굴 모션 정보가 결합된 3차원 얼굴 모델의 표정을 생성한다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2001.06a
• /
• pp.553-557
• /
• 2001

얼굴 표정을 애니메이션하는 것은 얼굴 구조의 복잡성과 얼굴 표면의 섬세한 움직임으로 인해 컴퓨터 애니메이션 분야에서 가장 어려운 분야로 인식되고 있다. 최근 3D 애니메이션, 영화 특수효과 그리고 게임 제작시 모션 캡처 시스템(Motion Capture System)을 통하여 실제 인간의 동작 및 얼굴 표정을 수치적으로 측정해내어 이를 실제 애니메이션에 직접 사용함으로써 막대한 작업시간 및 인력 그리고 자본을 획기적으로 줄이고 있다. 그러나 기존의 모션 캡처 시스템은 고속 카메라를 이용함으로써 가격이 고가이고 움직임 추적에서도 여러 가지 문제점을 가지고 있다. 본 논문에서는 일반 저가의 카메라와 신경회로망 및 영상처리기법을 이용하여 얼굴 애니메이션용 모션 캡처 시스템에 적응할 수 있는 경제적이고 효율적인 얼굴 움직임 추적기법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.260-262
• /
• 2020

본 논문은 6DOF 위치기반 자기장 센서(Liverty Latus, Pollhemus)를 사용한 가상현실 방송제작에서 사용할 수 있는 인터랙티브 증강현실 시스템, K-Pointer를 제안한다. 우리는 방송에서 추적 및 인식의 정확성을 높이기 위해 Pollemus사의 6DOF 자기장기반 위치 추적 센서 리버티(수신부,소스)와 라투스(송신부,마커), 그리고 4입력 버튼장치를 결합한 인터페이스를 가지고 기존 방송용 증강현실 시스템과 통합하여 새로운 인터랙티브 증강현실 시스템을 개발하였다. 본 시스템은 방송용 증강현실 그래픽 합성 시스템(수신부)과 센서의 위치정보와 버튼 이벤트를 전송하는 시스템(송신부)으로 구성되며, 센서추적정보와 버튼이벤트 정보는 UDP로 실시간으로 수신부로 전송된다. 우리는 사용자 손의 모션과 버튼이벤트로 그래픽 정보를 인터랙티브하게 제어할 수 있게 하였다. 결과적으로 본 시스템은 기존의 합성중심의 방송용 증강현실 시스템을 사용자의 모션 기반 그래픽을 제어할 수 있는 인터랙티브 증강현실시스템으로 그 기능을 확장 시킬 수 있게 한다. 제안된 시스템은 광학식 추적을 하지 않기 때문에 조명의 변화에 영향이 없으며, 라투스 수신기가 작기 때문에 손에 쥐었을 때 거의 보이지 않고 가려도 추적이 강인하여 버튼장치를 통해 사용자가 정확한 이벤트로 직접 그래픽을 그리거나 쉽게 제어할 수 있는 장점이 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.81-83
• /
• 2014

본 논문은 HD 해상도의 고화질 방송카메라(회전과 줌이 가능한)와 '키넥트' 같은 범용 모션인식 카메라를 연동하여 방송용 모션기반 증강현실 어플리케이션을 구현하기 위해서, 연기자의 위치를 가상 월드 좌표로 자동 변환시키는 방법을 제안한다. 방송환경에서 키넥트와 같은 모션인식카메라(RGB-D 카메라)를 사용하기 위해서는 거리와 조명의 영향을 많이 받아 연기자와 가까운 천장이나 카메라 밑처럼 그 설치 위치가 제약되곤 한다. 이때, 연기자와 그래픽의 정확한 합성을 위해, 모션인식 카메라로부터의 연기자 추적 정보를 월드 좌표계로 변환해야 하며, 이것을 수작업으로 하기에는 변환의 정확도가 많이 떨어지고 시간도 많이 소요된다. 본 논문에서는 체크박스 패턴 기반의 스테레오 카메라보정 알고리즘을 사용하여 모션인식카메라와 방송용 카메라간의 상관관계(이동, 회전)를 찾고, 이 값과 월드 좌표계 상의 방송 카메라(하드웨어 센서에 의해서 추적됨)정보(이동, 회전)를 이용하여 임의 위치에 설치한 모션인식 카메라로부터 추적된 연기자 위치정보를 월드 좌표계 상의 위치 값으로 자동 변환시키는 방법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.179-181
• /
• 2022

동적 비전 센서(Dynamic Vision Sensor)라고도 알려진 이벤트 카메라는 생체에서 영감을 받은 새로운 시각 센서이다. 고정된 속도로 이미지를 생성하는 기존 카메라와 달리 이벤트 기반 카메라의 픽셀은 독립적이고 비동기적으로 작동한다. 기존 프레임 기반 카메라보다 이벤트 기반 카메라가 움직임을 포착하는데 더 적합하며 모션 블러(Motion Blur)가 없고 시간 해상도가 높다는 이점을 통해 고속카메라로 활용할 수 있다. 본 논문은 이벤트 카메라의 높은 시간 해상도와 동적 범위, 낮은 지연시간, 전력 소비량의 이점을 활용하여 움직이는 물체를 모션 블러 없이 포착하는 이벤트 기반 물체 추적 시스템을 제안한다. 실험을 통해 전체 영상을 포착하는 기존 프레임 기반 카메라에 비해 밝기 변화에 따른 동적 변화만을 추적하는 이벤트 기반 카메라는 모션 블러가 없다는 점을 검증하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.889-891
• /
• 2018

가상현실 (Virtual Reality, VR) 컨텐츠가 다양해지면서 사용자들의 관심도 높아지고 있다. 초기 VR 컨텐츠는 헤드 마운티드 디스플레이 (Head Mounted Display, HMD)와 컨트롤러만 사용한다. 사용자의 요구가 높아지면서 현실적인 컨텐츠 구현을 위해서 사용자의 신체 움직임으로 제어하는 풀 바디 트래킹(Full Body Tracking) 기술이 도입되고 있다. 머리에 착용하는 HMD와 양손으로 제어하는 두 개의 컨트롤러 뿐만 아니라 모션캡쳐장비, 트래커 장비를 사용자의 다양한 위치에 착용시켜, 세밀한 움직임 트래킹이 가능해졌다. 본 연구에서 서브 모션 기반의 움직임 추적 방법과 이를 기반한 서브모션 시스템을 제안한다. 서브모션 시스템은 VR 컨텐츠에 사용되는 사용하는 센서 위치를 VR캐릭터의 대응되는 위치에 출력하는 방식이 아닌, 사용자의 움직임에 따라 다양한 센서 위치 변화를 인식하고, 이를 기반으로 VR에서 사전에 지정된 모션을 인식 및 출력한다. 사용자의 움직임을 세분화하여 각각의 연속된 서브모션들로 인식하고, 각각의 서브 모션에서 연속적으로 인식 가능한 서브 모션을 분기를 통해 정의하고 인식함으로써 다양하고 자유도 높은 모션 처리가 가능하다. 선행 기술들의 문제점인 고정된 데미지 방식 및 부자연스러운 모션을 해결하고 사용자에게 실제와 같은 동작을 취하도록 유도하여 몰입감등을 부여할 수 있다. 서브 모션들을 자동적으로 생성하는 시스템을 통해 풀 바디 트래킹 VR 컨텐츠에 적용 가능한 엔진을 연구 및 개발하여 해당 산업의 발전에 이바지하고자 한다.