• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.14 no.4
• /
• pp.157-163
• /
• 2014

User's sensitivity is recognized as a very important parameter for communication between company, government and personnel. Especially in many studies, researchers use voice tone, voice speed, facial expression, moving direction and speed of body, and gestures to recognize the sensitivity. Multiplex modality is more precise than single modality however it has limited recognition rate and overload of data processing according to multi-sensing also an excellent algorithm is needed to deduce the sensing value. That is as each modality has different concept and property, errors might be happened to convert the human sensibility to standard values. To deal with this matter, the sensibility expression modality is needed to be extracted using technologies like analyzing of relational network, understanding of context and digital filter from multiplex modality. In specific situation to recognize the sensibility if the priority modality and other surrounding modalities are processed to implicit values, a robust system can be composed in comparison to the consuming of computer resource. As a result of this paper, it is proposed how to assign the weight of multiplex modality using implicit data.

• Journal of the Korea Society of Computer and Information
• /
• v.20 no.1
• /
• pp.143-151
• /
• 2015

Biometric technology has been proposed as a new means to replace conventional PIN or password because it is hard to be lost and has the low possibility of illegal use. However, unlike a PIN, password, and personal information there is no way to modify the exposure if it is exposed and used illegally. Therefore, the existing single modality with single biometrics is critical when it expose. However in this paper, we use a multi-modality and multi-biometrics to authenticate between users and TTP or between users and financial institutions. Thereby, we propose a more reliable method and compared this paper with existed methods about security and performance in this paper.

• The KIPS Transactions:PartA
• /
• v.11A no.5
• /
• pp.391-400
• /
• 2004

Within multimodal medical image registration techniques, which correlate different images and Provide integrated information, surface registration methods generally minimize the surface distance between two modalities. However, the features of two modalities acquired from one subject are similar. So, it can improve the accuracy of registration result to match two images based on optimization of both surface distance and shape feature. This research proposes a registration method which optimizes surface distance and surface curvature of two brain modalities. The registration process has two steps. First, surface information is extracted from the reference images and the test images. Next, the optimization process is performed. In the former step, the surface boundaries of regions of interest are extracted from the two modalities. And for the boundary of reference volume image, distance map and curvature map are generated. In the optimization step, a transformation minimizing both surface distance and surface curvature difference is determined by a cost function referring to the distance map and curvature map. The applying of the result transformation makes test volume be registered to reference volume. The suggested cost function makes possible a more robust and accurate registration result than that of the cost function using the surface distance only. Also, this research provides an efficient means for image analysis through volume visualization of the registration result.

• Proceedings of the Korea Society for Simulation Conference
• /
• 2000.11a
• /
• pp.180-185
• /
• 2000

방사선 치료계획이나 사전수술계획 등에 컴퓨터 사용이 늘어남에 따라 의료영상별 특성에 따른 복합적 처리를 필요로 한다. 본 논문에서는 다중 모달리티 영상으로부터 의미 있는 정보를 제공하기 위하여 상호정보 최적화를 통한 영상정합 방법을 제안한다. 본 방법은 두 영상에서 대응되는 위치의 명암도간 통계적 의존관계와 정보중복성을 계산하는 상호정보(mutual information)를 통해 영상간 변형관계를 추정함으로써 영상을 정합한다. 실험결과로는 뇌 자기공명영상(MRI)과 컴퓨터단층촬영영상(CT)의 상호정보를 최적화하여 정합 결과를 제시한다. 본 방법은 기존 정합방법에서 사용하는 영상분할이나 특징점 추출 등의 전처리 과정 없이 영상 자체 정보를 기반으로 계산함으로써 정합의 정확도를 높일 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.253-257
• /
• 2023

최근 다양한 대화 시스템이 스마트폰 어시스턴트, 자동 차 내비게이션, 음성 제어 스피커, 인간 중심 로봇 등의 실세계 인간-기계 인터페이스에 적용되고 있다. 하지만 대부분의 대화 시스템은 텍스트 기반으로 작동해 다중 모달리티 입력을 처리할 수 없다. 이 문제를 해결하기 위해서는 비디오와 같은 다중 모달리티 장면 인식을 통합한 대화 시스템이 필요하다. 기존의 비디오 기반 대화 시스템은 주로 시각, 이미지, 오디오 등의 다양한 자질을 합성하거나 사전 학습을 통해 이미지와 텍스트를 잘 정렬하는 데에만 집중하여 중요한 행동 단서와 소리 단서를 놓치고 있다는 한계가 존재한다. 본 논문은 이미지-텍스트 정렬의 사전학습 임베딩과 행동 단서, 소리 단서를 활용해 비디오 기반 대화 시스템을 개선한다. 제안한 모델은 텍스트와 이미지, 그리고 오디오 임베딩을 인코딩하고, 이를 바탕으로 관련 프레임과 행동 단서를 추출하여 발화를 생성하는 과정을 거친다. AVSD 데이터셋에서의 실험 결과, 제안한 모델이 기존의 모델보다 높은 성능을 보였으며, 대표적인 이미지-텍스트 자질들을 비디오 기반 대화시스템에서 비교 분석하였다.

• Design Convergence Study
• /
• v.16 no.5
• /
• pp.177-190
• /
• 2017

This research aims to suggest a multimodal non-touch gesture interface design to improve the usability of 3D sculpting task. The task and procedure of design sculpting of users were analyzed across multiple circumstances from the physical sculpting to computer software. The optimal body posture, design process, work environment, gesture-task relationship, the combination of natural hand gesture and arm movement of designers were defined. The preliminary non-touch 3D S/W were also observed and natural gesture interaction, visual metaphor of UI and affordance for behavior guide were also designed. The prototype of gesture based 3D sculpting system were developed for validation of intuitiveness and learnability in comparison to the current S/W. The suggested gestures were proved with higher performance as a result in terms of understandability, memorability and error rate. Result of the research showed that the gesture interface design for productivity system should reflect the natural experience of users in previous work domain and provide appropriate visual - behavioral metaphor.

• Annual Conference of KIPS
• /
• 2005.05a
• /
• pp.1633-1636
• /
• 2005

의료영상정합은 환자의 해부학적 정보와 기능적 정보를 혼합함으로써 기능이상부위의 해부학적 위치를 판별하기 위한 목적으로 널리 이용되고 있다. 그러나 실제적으로 여러 종류의 환자영상 취득이 어렵거나 해부학적 영상정보가 손실되는 경우가 적지 않다. 따라서 표준 정상인 해부학적 영상과 환자 기능영상을 정합함으로써 보다 객관적인 환자 기능이상부위 분석이 요구된다. 이는 다중개체, 다중모달리티간 영상정합으로 기존의 표면정보 또는 복셀정보 기반 방법으로는 한계가 있다. 따라서 본 연구에서는 두 대상영상 표면 뿐 아니라 내부 볼륨까지 대응시킬 수 있는 표면정보와 복셀정보를 혼합 적용한 기법을 제안한다.

• Proceedings of the Korea Society for Simulation Conference
• /
• 2004.05a
• /
• pp.118-122
• /
• 2004

본 논문에서는 인체의 머리 부분을 촬영한 의료 영상에서 뇌 영역만을 분할하는 방법에 대해 제시하고자 한다. 뇌의 해부학적 구조 및 기능적 이상 부위를 파악할 경우에 영상 내에 함께 보여지는 두개골과 뇌척수액 등을 제외한 대뇌피질 영역을 분할하면 보다 효과적인 정보 분석 및 진단이 가능하게 된다. 본 시스템에서는 3단계 알고리즘을 제시한다. 첫 번째 단계에서는 영상 내에 존재하는 잡음을 제거하기 위한 필터링이고, 두 번째 단계에서는 필터링된 결과에 대한 영상분할을 수행하는 것이다 이 때 정확한 결과 도출을 위하여 사용자의 인터렉션이 들어가게 된다. 세번째 단계에서는 형태학적 방법을 이용하여 분할 결과를 보완한다. 본 연구를 위한 실험에는 자기 공명 촬영 영상(MRI: Magnetic Resonance Imaging), 단일 광전자 방출 단층 촬영영상(SPECT: Single Photon Emission Computed Tomography), 양전자 방출 단층 촬영영상(PET: Positron Emission Tomography) 등을 사용하였다. 본 시스템에서는 다양한 모달리티의 뇌 영상에서 대뇌피질 부분을 정확하게 영상 분할함으로써 뇌의 구조적 이상을 판단하기 위한 해부학적 정보 분석을 가능케 하고 있다. 뿐만 아니라 뇌 질환에 대한 정확한 진단 시뮬레이션도 가능하게 하고자 한다.

• KIISE Transactions on Computing Practices
• /
• v.23 no.6
• /
• pp.386-391
• /
• 2017

In this paper, we propose a system that automatically assigns user's experience-based emotion tags from wearable sensor data collected in real life. Four types of emotional tags are defined considering the user's own emotions and the information which the user sees and listens to. Based on the collected wearable sensor data from multiple sensors, we have trained a machine learning-based tagging system that combines the known auxiliary tools from the existing affective computing research and assigns emotional tags. In order to show the usefulness of this multi-modality-based emotion tagging system, quantitative and qualitative comparison with the existing single-modality-based emotion recognition approach are performed.

• Smart Media Journal
• /
• v.12 no.9
• /
• pp.81-88
• /
• 2023

Recently, communication through online is increasing due to the spread of non-face-to-face services due to COVID-19. In non-face-to-face situations, the other person's opinions and emotions are recognized through modalities such as text, speech, and images. Currently, research on multimodal emotion recognition that combines various modalities is actively underway. Among them, emotion recognition using speech data is attracting attention as a means of understanding emotions through sound and language information, but most of the time, emotions are recognized using a single speech feature value. However, because a variety of emotions exist in a complex manner in a conversation, a method for recognizing multiple emotions is needed. Therefore, in this paper, we propose a multi-emotion regression model that extracts feature vectors after preprocessing speech data to recognize complex, inherent emotions and takes into account the passage of time.