• The KIPS Transactions:PartA
• /
• v.11A no.5
• /
• pp.383-390
• /
• 2004

This paper propose a method that controls facial expression of 3D avatar by having the user select a sequence of facial expressions in the space of facial expressions. And we setup its system. The space of expression is created from about 2400 frames consist of motion captured data of facial expressions. To represent the state of each expression, we use the distance matrix that represents the distances between pairs of feature points on the face. The set of distance matrices is used as the space of expressions. But this space is not such a space where one state can go to another state via the straight trajectory between them. We derive trajectories between two states from the captured set of expressions in an approximate manner. First, two states are regarded adjacent if the distance between their distance matrices is below a given threshold. Any two states are considered to have a trajectory between them If there is a sequence of adjacent states between them. It is assumed . that one states goes to another state via the shortest trajectory between them. The shortest trajectories are found by dynamic programming. The space of facial expressions, as the set of distance matrices, is multidimensional. Facial expression of 3D avatar Is controled in real time as the user navigates the space. To help this process, we visualized the space of expressions in 2D space by using the multidimensional scaling(MDS). To see how effective this system is, we had users control facial expressions of 3D avatar by using the system. As a result of that, users estimate that system is very useful to control facial expression of 3D avatar in real-time.

• The Journal of the Korea Contents Association
• /
• v.7 no.3
• /
• pp.9-16
• /
• 2007

This paper describe methodology that is distributed on 2-dimensional plane to much high-dimensional facial motion datas using Isomap algorithm, and user interface techniques to control facial expressions by selecting expressions while user navigates this space in real-time. Isomap algorithm is processed of three steps as follow; first define an adjacency expression of each expression data, and second, calculate manifold distance between each expressions and composing expression spaces. These facial spaces are created by calculating of the shortest distance(manifold distance) between two random expressions. We have taken a Floyd algorithm for it. Third, materialize multi-dimensional expression spaces using Multidimensional Scaling, and project two dimensions plane. The smallest adjacency distance to define adjacency expressions uses Pearson Correlation Coefficient. Users can control facial expressions of 3-dimensional avatar by using user interface while they navigates two dimension spaces by real-time.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.1057-1062
• /
• 2007

얼굴표정 인식은 심리학 연구, 얼굴 애니메이션 합성, 로봇공학, HCI(Human Computer Interaction) 등 다양한 분야에서 중요성이 증가하고 있다. 얼굴표정은 사람의 감정 표현, 관심의 정도와 같은 사회적 상호작용에 있어서 중요한 정보를 제공한다. 얼굴표정 인식은 크게 정지영상을 이용한 방법과 동영상을 이용한 방법으로 나눌 수 있다. 정지영상을 이용할 경우에는 처리량이 적어 속도가 빠르다는 장점이 있지만 얼굴의 변화가 클 경우 매칭, 정합에 의한 인식이 어렵다는 단점이 있다. 동영상을 이용한 얼굴표정 인식 방법은 신경망, Optical Flow, HMM(Hidden Markov Models) 등의 방법을 이용하여 사용자의 표정 변화를 연속적으로 처리할 수 있어 실시간으로 컴퓨터와의 상호작용에 유용하다. 그러나 정지영상에 비해 처리량이 많고 학습이나 데이터베이스 구축을 위한 많은 데이터가 필요하다는 단점이 있다. 본 논문에서 제안하는 실시간 얼굴표정 인식 시스템은 얼굴영역 검출, 얼굴 특징 검출, 얼굴표정 분류, 아바타 제어의 네 가지 과정으로 구성된다. 웹캠을 통하여 입력된 얼굴영상에 대하여 정확한 얼굴영역을 검출하기 위하여 히스토그램 평활화와 참조 화이트(Reference White) 기법을 적용, HT 컬러모델과 PCA(Principle Component Analysis) 변환을 이용하여 얼굴영역을 검출한다. 검출된 얼굴영역에서 얼굴의 기하학적 정보를 이용하여 얼굴의 특징요소의 후보영역을 결정하고 각 특징점들에 대한 템플릿 매칭과 에지를 검출하여 얼굴표정 인식에 필요한 특징을 추출한다. 각각의 검출된 특징점들에 대하여 Optical Flow알고리즘을 적용한 움직임 정보로부터 특징 벡터를 획득한다. 이렇게 획득한 특징 벡터를 SVM(Support Vector Machine)을 이용하여 얼굴표정을 분류하였으며 추출된 얼굴의 특징에 의하여 인식된 얼굴표정을 아바타로 표현하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.574-576
• /
• 2005

최근 주요 이동통신 사업자, 단말기/칩 제조업체, 콘텐츠 제공업자들 사이에는 모바일 3D 분야가 가장 큰 이슈로 떠오르고 있다. 이러한 환경을 기반으로 모바일 장치에서 3차원 아바타 애니메이션 연구가 진행되고 있다. 이는 아바타의 자연스러운 동작은 사용자에게 아바타가 살아있는 듯한 느낌(Life-likeness)과 사실감(Believability)을 심어주어 보다 친숙한 인터페이스로 활용될 수 있고 이에 따라 채팅이나 온라인 게임 외에도 교육, 쇼핑몰, 비즈니스 등 다양한 분야로 확대되고 있기 때문이다. 하지만 지금까지의 연구는 자연스러운 모션 생성에 집중되어 있을 뿐, 어떻게 쉽게 아바타는 제어할 것 인가에 대한 연구가 적었다. 특히 모바일 환경에서 효율적인 아바타 동작 제어를 위한 연구는 부족하다 할 수 있다. 본 논문에서는 모바일 환경에서 효율적인 아바타 동작을 제어를 위해 스크립트(Script) 기반의 아바타 동작 제어 기법을 제안한다. 모션 생성을 위해 아바타 동작 스크립트(Avatar Motion Script)를 정의하여 아바타 애니메이션의 기록, 재생이 가능하다. 둘째 계층적 스크립트(Multi-Level Script) 기법을 이용하여 적은 양의 데이터만으로도 아바타 동작 제어가 가능하다. 셋째 어느 환경에서도 Motion이 생성, 재생이 가능하한 플랫폼 독립적 구조이다. 넷째, 키 프레임(Key Frame) 기반의 모션을 이용하여 아바타의 상황 상황에 모션이 변하는 동적 동작 생성이 가능하다.

• English & American cultural studies
• /
• v.14 no.2
• /
• pp.77-96
• /
• 2014

As the cyberspace several decades ago created a cyber fiction fever, the augmented reality as the future of imagination can generate another kind of literary genre and new social ambiance where books tend to come to life more realistically. This newly created "smart fiction," "smart movies," and "smart environment" will be full of fun, hopes and conveniences. But addiction to smart kinds will create unwanted dangerous plethora like ghost-like avatars, wild animals and Farid due to the limitations of human control over hi-technology. If so, the adventures we plan to take will turn fantasy into horror in no time. Instead of loving new scientific things blindly, the emphasis hereafter must be put rather on the potentially negative aftermaths of the new innovative technology. Some viewers after watching the film Avatar are still suffering from the syndrome called "avatar blues," a homesick for Pandora. After their experiencing of the experimental 3D effects in books and media, audience and readers are required to actively deal with the increased lack of the darker cave which the comparatively unsatisfactory present can never fill with fixity and limit. Like the prevention against the addictive online game or the manual of 3D television or 3D printer, the extreme off-limits and safety zone for this virtually and expendably subverting technology must be seriously reviewed by community before using and adopting it. Also, these technologically expanded and augmented environments must be prudently criticized by the in-depth study of literature just as cyber space begun by Gibson's cyber fiction and its criticism.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.606-608
• /
• 2003

본 논문에서는 사용자가 제공하는 2차원의 캐릭터 스케치를 3차원의 시각적 이야기 저작 시스템의 아바타로 활용하기 위해, 어린이들이 종이 인형을 가지고 굽히거나 펴서 동작을 만들며 놀이를 하던 방법을 입력 매타포어로 사용하는 것을 제안하였다. 2차원 영상을 3차원화 하는 기존의 연구들은 카메라 파라미터의 복원 등 복잡한 시스템을 필요로 하며 일반 사용자가 이야기 저작시 쉽게 적용하기 어려운 데 반해, 본 메타포어를 기반으로 한 시스템은 정교하지는 않으나 일반인이 쉽게 이해할 수 있는 아바타 제어 방법을 제공한다.

• Journal of Korea Multimedia Society
• /
• v.17 no.11
• /
• pp.1263-1269
• /
• 2014

As rapid development of new hardware control interface technology, new concepts have been being proposed and emerged. In this paper, a new approach based on leap motion system is proposed. While we employ a position information from sensor, the hand gesture recognition is suggested with the pre-defined patterns. To do this, we design a recognition algorithm with hand gesture and finger patterns. We apply the proposed scheme to 3-dimensional avatar controling and editing software tool for making animation in the cyber space as a representative application. This proposed algorithm can be used to control computer systems in medical treatment, game, education and other various areas.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 1998.06b
• /
• pp.55-62
• /
• 1998

This paper presents a method of controlling camera to present virtual space to participating users meaningfully. The users interact with each other by means of dialogue and behavior. Users behave through their avatars. So our problem comes down to controlling the camera to capture the avatars effectively depending on how they interact with each other. The problem is solved by specifying camera control rules based on cinematography developed by film producers. A formal language is designed to encode cinematography rules for virtual environments where people can participate in the story and can influence its flow. The rule has been used in a 3D chatting system we have developed.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.562-564
• /
• 2004

아바타는 최근 각광 받고 있는 기술로서 다양한 분야에서 많은 활용 및 발전이 기대된다. 그러나 현재 아바타 행위 표현 및 제어에는 체계적이고 표준적인 접근 방식이 결여되어 있어 아바타 행위 표현의 어려움이 있는 실정이다. 본 논문에서는 다양한 도메인 환경에서 아바타의 제어를 보다 용이하게 하기 위해서 아바타 행위 표현의 계층적 접근 방식을 제안하였다. 이를 위해 다양한 도메인 환경에서 사용되는 작업레벨 행위 모델을 정의하여 사용자가 특정 도메인에서 아바타에게 필요한 작업레벨 행위들을 할당하도록 하고, 이것은 아바타의 동작을 특정 도메인이나 구현환경과 독립적 및 추상적으로 설계한 상위레벨 동작으로 표현된다. 마지막으로 상위레벨 동작은 아바타 엔진이 제어할 수 있는 기본 동작으로 표현되어 다양한 구현 환경에 적용된다. 이와 같은 접근 방식을 통하여 사용자 측면에서 보다 쉽게 아바타의 행위를 제어할 수 있으며, 계층적인 표현 및 제어방식으로 스크립트의 호환성, 확장성 및 재사용성을 높였다

• Journal of Korea Society of Industrial Information Systems
• /
• v.4 no.4
• /
• pp.94-99
• /
• 1999

In order for us human to possess realistic spatial sense in the world of virtual reality, it is imperative that a research as our sensory organs should be through dine. Up until now, visual, tactile sense and a put of olfactory are getting by. We develope a rest of sense for improving visual reality with dynamic resolution control and increasing interactivity with introducing curator.