• 한국정보과학회논문지:소프트웨어및응용
• /
• 제34권4호
• /
• pp.377-388
• /
• 2007

본 연구는 다중 생체 인식 기법을 이용하여 개인 확인 및 인증을 구현한 것으로， 단일생체인식 에서 많이 사용되어 지고 있는 생체 정보 중 얼굴과 지문， 홍채를 이용하여 상호 비교하고 구현하였다. 이를 위한 결합방식으로 단일 생체인식에서 얻은 유사도를 이용하는 방식인 유사도 단계에서의 결합방식을 적용하였으며， 이때의 각 유사도가 동일한 범위가 되도록 하는 여러 가지 균등화 방법에 대하여 연구하였다. 결합방법으로는 가중치 합， Support Vector Machine， Fisher 분류기， 베이시안 분류기를 사용하여 비교하였다. 다양한 실험결과， 사용되는 다중생체인식 조합에 따라 우수한 성능을 보이는 균등화 방법 및 분류기가 다르게 나타남을 알 수 있었다.

• 한국지능시스템학회논문지
• /
• 제18권1호
• /
• pp.20-26
• /
• 2008

지능형 로봇이나 컴퓨터가 일상생활 속에서 차지하는 비중이 점점 높아짐에 따라 인간과의 상호교류도 점점 중요시되고 있다. 이렇게 지능형 로봇(컴퓨터) - 인간의 상호 교류하는데 있어서 감정 인식 및 표현은 필수라 할 수 있겠다. 본 논문에서는 음성 신호와 얼굴 영상에서 감정적인 특징들을 추출한 후 이것을 Bayesian Learning과 Principal Component Analysis에 적용하여 5가지 감정(평활, 기쁨, 슬픔, 화남, 놀람)으로 패턴을 분류하였다. 그리고 각각 매개체의 단점을 보완하고 인식률을 높이기 위해서 결정 융합 방법과 특징 융합 방법을 적용하여 감정 인식 실험을 하였다. 결정 융합 방법은 각각 인식 시스템을 통해 얻어진 인식 결과 값을 퍼지 소속 함수에 적용하여 감정 인식 실험을 하였으며, 특징 융합 방법은 SFS(Sequential Forward Selection) 특징 선택 방법을 통해 우수한 특징들을 선택한 후 MLP(Multi Layer Perceptron) 기반 신경망(Neural Networks)에 적용하여 감정 인식 실험을 실행하였다. 그리고 인식된 결과 값을 2D 얼굴 형태에 적용하여 감정을 표현하였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2005년도 추계학술대회 학술발표 논문집 제15권 제2호
• /
• pp.299-301
• /
• 2005

본 연구는 생체정보를 이용하여 개인을 인증하고 확인하기 위한 방법으로 기존 단일 생체인식 기법의 단점을 보완하기 위해 홍채와 얼굴을 이용한 다중생체인식(Multi-Modal Biometrics Recognition)기법을 연구하였다. 중국 홍채 데이터베이스 CASIA(Chinese Academy of Science)에 Gabor Wavelet과 FLDA(Fuzzy Linear Discriminant Analysis)를 사용하여 특징벡터를 획득하였으며, FERET(FERET(Face Recognition Technology) 얼굴영상데이터를 사용하여 FERET 연구에서 매우 우수한 성능을 보인 EBGM알고리듬으로 특징벡터를 획득하였다. 이로부터 얻어진 두 score 값에 대하여 다양한 균등화 과정을 시도해 보았으며, 등록자와 침입자를 구분하기 위한 Fusion Algorithm으로 Bayesian Classifier, Support vector machine, Fisher's linear discriminant를 사용하였다. 또한, 널리 사용되는 방법 중 Weighted Summation을 이용하여 다중생체인식의 성능을 비교해 보았다.

• 제어로봇시스템학회논문지
• /
• 제18권8호
• /
• pp.780-786
• /
• 2012

Surveillance has become one of promising application areas of wireless sensor networks which allow for pervasive monitoring of concerned environmental phenomena by facilitating context awareness through sensor fusion. Existing systems that depend on a postmortem context analysis of sensor data on a centralized server expose several shortcomings, including a single point of failure, wasteful energy consumption due to unnecessary data transfer as well as deficiency of scalability. As an opposite direction, this paper proposes an energy-efficient distributed context-aware surveillance in which sensor nodes in the wireless sensor network collaborate with neighbors in a distributed manner to analyze and aware surrounding context. We design and implement multi-modal sensor stations for use as sensor nodes in our wireless sensor network implementing our distributed context awareness. This paper presents an initial experimental performance result of our proposed system. Results show that multi-modal sensor performance of our sensor station, a key enabling factor for distributed context awareness, is comparable to each independent sensor setting. They also show that its initial performance of context-awareness is satisfactory for a set of introductory surveillance scenarios in the current interim stage of our ongoing research.

• 한국게임학회 논문지
• /
• 제9권6호
• /
• pp.127-137
• /
• 2009

웹 게임은 웹 브라우저를 통해 게임을 즐길 수 있도록 해주는 게임의 한 종류로써 편리한 접근성 및 대용량의 게임데이터를 다운로드가 필요하지 않는 장점을 가지고 있다. 이러한 웹 게임은 최근 모바일 기기의 발전과 웹 2.0 시대를 맞아 새로운 성장의 기회를 가지고 있다. 본 연구에서는 이러한 웹 게임에 사용자의 직관적인 조작이 가능한 멀티모달 인터페이스 및 모바일 기기를 연동할 수 있는 새로운 형태의 시스템을 제안 한다. 본 논문에서는 웹 게임의 인터페이스로써 멀티모달 인터페이스인 Wii를 사용하였으며, 여러 사용자들이 일반 PC 및 UMPC와 같은 모바일 기기를 통해서도 게임을 즐길 수 있는 구조를 설계 하였다. 본 논문에서 제안된 시스템을 평가하기 위해 기존의 방법으로 웹 게임을 즐길 때와 멀티모달 인터페이스를 사용하는 경우에 따른 성능 평가 및 사용자 평가를 하였으며, 실험 결과 모바일 기기에서 멀티모달 인터페이스를 사용한 경우에 게임 클리어 시간 및 에러가 감소하는 결과를 얻었으며 사용자들의 흥미도 또한 가장 높게 나왔다.

• 한국지능시스템학회논문지
• /
• 제18권6호
• /
• pp.754-761
• /
• 2008

최근 자동차 산업 및 기술이 발전함에 따라 기계적인 부분에서 서비스적인 부분으로 관심이 점점 바뀌고 있는 추세이다. 이와 같은 추세에 발맞추어 운전자에게 보다 안정적이며 편리한 운전 환경을 조성하기 위한 방법으로 감정 및 인지 인식에 대한 관심이 점점 높아지고 있다. 감정 및 주의력을 인식하는 것은 감정공학 기술로서 이 기술은 1980년대 후반부터 얼굴, 음성, 제스처를 통해 인간의 감정을 분석하고 이를 통해 인간 진화적인 서비스를 제공하기 위한 기술로 연구되어 왔다. 이와 같은 기술을 자동차 기술에 접목시키고 운전자의 안정적인 주행을 돕고 운전자의 감정 및 인지 상황에 따른 다양한 서비스를 제공할 수 있다. 또한 Real-Time으로 운전자의 제스처를 인식하여 졸음운전이나 부주의에 의한 사고를 사전에 예방하고 보다 안전한 운전을 돕는 서비스가 필요시 되고 있다. 본 논문은 운전자가 안전 운전을 하기 위해 생체-행동 신호를 이용하여 감정 및 졸음, 주의력의 신호를 추출하여 일정한 형태의 데이터베이스로 구축하고, 구축된 데이터를 이용하여 운전자의 감정 및 졸음, 주의력의 특징 점들을 검출하여, 그 결과 값을 Multi-Modal 방법을 통해 응합함으로써 운전자의 감정 및 주의력 상태를 인식할 수 있는 시스템을 개발하는데 목표를 두고 있다.

• 한국지능시스템학회논문지
• /
• 제19권1호
• /
• pp.34-39
• /
• 2009

사람의 감정은 주관적인 인식 작용으로서 충동적인 성향을 띄고 있으며 무의식중의 사람의 욕구와 의도를 표현하고 있다. 이는 유비쿼터스 컴퓨팅 환경이나 지능형 로봇의 사용자가 처한 환경의 상황정보 중에서 사용자의 의도를 가장 많이 포함하고 있는 정보라고 할 수 있다. 이러한 사용자의 감정을 파악할 수 있는 지표는 사람의 얼굴 영상에서의 표정과 음성신호에서의 Spectrum 통계치 및 생체신호(근전위, 뇌파, 등)등 이다. 본 논문에서는 감정인식 활용의 편의와 효율성 향상을 주목적으로 하여 사용자의 얼굴 영상과 음성을 이용한 감정인식에 대하여 개별 결과물만을 산출하고 그 인식률을 검토한다. 또한 임의의 상황에서의 인식률 향상을 위하여 영상과 음성의 특징을 기반으로 최적의 특징 정보들을 구별해 내고, 각각의 개별 감정 특징에 대한 융합을 시도하는 특징 융합 기반의 Multi-Modal 감정인식 기법을 구현한다. 최종적으로 감정인식 결과를 이용하여 유비쿼터스 컴퓨팅 환경에서 발생 가능한 상황 설정 시나리오와 베이지만 네트워크를 통해 유비쿼터스 컴퓨팅 서비스의 확률 추론 가능성을 제시하고자 한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권5호
• /
• pp.1413-1432
• /
• 2023

Recommender systems aim to recommend items to users by taking into account their probable interests. This study focuses on creating a model that utilizes multiple sources of information about users and items by employing a multimodality approach. The study addresses the task of how to gather information from different sources (modalities) and transform them into a uniform format, resulting in a multi-modal feature description for users and items. This work also aims to transform and represent the features extracted from different modalities so that the information is in a compatible format for integration and contains important, useful information for the prediction model. To achieve this goal, we propose a novel multi-modal recommendation model, which involves extracting latent features of users and items from a utility matrix using matrix factorization techniques. Various transformation techniques are utilized to extract features from other sources of information such as user reviews, item descriptions, and item categories. We also proposed the use of Principal Component Analysis (PCA) and Feature Selection techniques to reduce the data dimension and extract important features as well as remove noisy features to increase the accuracy of the model. We conducted several different experimental models based on different subsets of modalities on the MovieLens and Amazon sub-category datasets. According to the experimental results, the proposed model significantly enhances the accuracy of recommendations when compared to SVD, which is acknowledged as one of the most effective models for recommender systems. Specifically, the proposed model reduces the RMSE by a range of 4.8% to 21.43% and increases the Precision by a range of 2.07% to 26.49% for the Amazon datasets. Similarly, for the MovieLens dataset, the proposed model reduces the RMSE by 45.61% and increases the Precision by 14.06%. Additionally, the experimental results on both datasets demonstrate that combining information from multiple modalities in the proposed model leads to superior outcomes compared to relying on a single type of information.

• 한국게임학회 논문지
• /
• 제9권1호
• /
• pp.93-103
• /
• 2009

기능성 게임은 게임기술과 게임이론을 바탕으로 개발된 하드웨어 및 소프트웨어 애플리케이션으로 즐거움 외에 교육 및 특정 분야의 문제해결 등의 다른 목적을 가지는 게임을 말한다. 이러한 기능성 게임은 게임적인 재미뿐만 아니라 교육적인 효과 때문에 과학기술 분야 및 산업 기술 분야의 교육 및 훈련에 유용하다. 본 연구에서는 사용자가 직관적인 멀티 모달 인터페이스를 사용하여 생명공학에 적용한 기능성 게임을 제안한다. 이를 위하여 3차원 분자 구조를 특수 모니터를 사용하여 입체 시각화 하였으며 입체 영상화된 분자 구조를 효율적으로 제어하기 위하여 멀티 모달 인터페이스인 WiiRemote를 사용하였다. 본 논문에서 제안된 시스템은 분자도킹 시뮬레이션이 가지던 문제점인 3차원 분자 모델들의 결합 및 조작이 사용자의 직관과 경험에 많이 의존하기 때문에 초보자들의 접근이 어려운 점을 게임적 요소를 적용하여 재미를 느끼게 하면서 해결하도록 하였다. 이를 위해 사용자가 조작을 하는 객체와 사용자의 수에 따른 게임적 요소인 레벨 업 개념을 적용하여 반복학습이 이루어지도록 하였다. 실험은 AIDS 바이러스와 신약 치료 후보 물질을 대상으로 사용자가 바이러스와 후보 물질이 결합되는 위치인 Active Site를 찾는 도킹 실험을 하였으며 바이오 기능성 게임을 적용하지 않은 기존의 방법과 비교를 하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.548-553
• /
• 2021

비디오 질의 응답은 입력으로 주어진 비디오와 질문에 적절할 정답을 제공하기 위해 텍스트, 이미지 등 다양한 정보처리가 요구되는 대표적인 multi-modal 문제이다. 질의 응답 시스템은 질의 응답의 성능을 높이기 위해 다수의 서로 다른 응답 모듈을 사용하기도 하며 생성된 정답 후보군 중 가장 적절할 정답을 선택하는 정답 선택 모듈이 필요하다. 정답 선택 모듈은 응답 모듈의 서로 다른 관점을 고려하여 응답 선택을 선택할 필요성이 있다. 하지만 응답 모듈이 black-box 모델인 경우 정답 선택 모듈은 응답 모듈의 parameter와 예측 분포를 통해 지식을 전달 받기 어렵다. 그리고 학습 데이터셋은 응답 모듈이 학습에 사용했기 때문에 과적합 문제로 각 모듈의 관점을 학습하기엔 어려우며 학습 데이터셋 이외 비교적 적은 데이터셋으로 학습해야 하는 문제점이 있다. 본 논문에서는 정답 선택 성능을 높이기 위해 전이 학습 기반의 멀티모달 퓨전 정답 선택 모델을 제안한다. DramaQA 데이터셋을 통해 성능을 측정하여 제안된 모델의 우수성을 실험적으로 증명하였다.