• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.19 no.9
• /
• pp.2138-2144
• /
• 2015

Multimodal dual camera system has a stereo-like configuration equipped with an infrared thermal and optical camera. This paper presents stereo calibration methods on multimodal dual camera system using a target board that can be recognized by both thermal and optical camera. While a typical stereo calibration method usually performed with extracted intrinsic and extrinsic camera parameter, consecutive image processing steps were applied in this paper as follows. Firstly, the corner points were detected from the two images, and then the pixel error rate, the size difference, the rotation degree between the two images were calculated by using the pixel coordinates of detected corner points. Secondly, calibration was performed with the calculated values via affine transform. Lastly, result image was reconstructed with mapping regions on calibrated image.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.11c
• /
• pp.2215-2218
• /
• 2002

본 논문에서는 핸드폰, PDA 등과 같은 모바일 단말기에 인터넷 서비스를 제공할 수 있는 응용서버인 모바일 응용서버의 설계 및 구현 방법에 대해 제안한다. 제안하는 응용서버는 여러 가지 유형의 모바일 단말기에 공통적으로 서비스할 수 있는 중간 형태의 모바일 응용을 작성하고 이를 요청한 단말기의 특징 및 제약에 따라 적절히 변환된 컨텐츠를 단말기에 보여줌은 물론, 여러 단말기를 이용하여 하나의 세션을 수행할 수 있는 멀티 모달 세션 기능을 지원한다. 응용서버는 크게 세 부분으로 구성된다. 첫째는 모바일 단말기로부터 요청을 받아 모바일 요청(Mobile Request)을 생성하는 모바일 요청 생성부이고, 둘째는 모바일 요청을 받아 특정 응용을 처리하는 모바일 엔진 (Mobile Engine)부이다. 그리고 마지막으로 모바일 단말기 제약 및 무선 통신과 관련된 제약 사항을 해결하기 위한 환경 적응 관련 모듈들이 있다. 이처럼 제안하는 모바일 응용서버는 모바일 환경에서 다양한 단말기를 이용한 서비스를 지원은 물론 멀티 모달 세션을 지원함으로써 보다 다양한 형태의 인터넷 서비스를 효과적으로 제공할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02b
• /
• pp.233-239
• /
• 2006

차세대 디지털 방송 기술인 DMB(Digital Multimedia Broadcasting) 지상파서비스가 세계최초로 우리나라에서 시작되었다. 현재 DMB 서비스는 디지털 기기의 다양한 기능들과 더불어 '디지털 컨버전스'를 주도하고 있고, 새 기술을 통한 서비스는 디지털 기기에 대한 사용자의 경험을 한층 풍부하게 해주고 있다. 또한 이러한 제품들은 다양한 기능에 대해서 멀티태스킹을 지원하기 때문에, 사용성, 조작방법 등 여러 측면에서 과거의 제품들과 상당히 많은 차이를 보여준다. 본 논문은 다양한 기능이 통합되고, 멀티태스킹이 되는 제품을 설계하는데 있어 감각양식(Modality) 측면에서 사용자들에게 더 나은 경험을 제공할 수 있도록 하는 방법을 제안한다. 지금까지 모달리티와 인터럽션(Interruption)에 대한 연구는 다중 자원 이론(Multiple resource theory)을 바탕으로 연속적인 과업(Task)를 수행함에 있어서 과업의 감각양식이 충돌할 경우, 사용자에게 인지적인 부담을 준다는 측면에서 이루어져 왔다. 그러나, 본 논문에서는 태스크를 수행함에 있어 멀티태스킹의 지원 여부에 따라서 과업의 감각양식이 다양한 순서를 가지고 사용자에게 인터럽션을 일으킬 때, 사용자의 태스크 수행 능력이나 사용자 만족도에 어떻게 영향을 주는지 알아보고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.71-72
• /
• 2019

최근 공공안전 분야에서는 국민의 위험상황을 분석하여 선제적으로 예측을 하여 국민의 안전을 보장하기 위한 요구사항이 대두대고 있다. 또한 스마트폰 및 스마트워치와 같은 고성능 모바일 단말 기기들의 대중화로 인해 해당 기기들에 부착된 다양한 센서 데이터들을 융복합하여 분석할 경우, 수집한 센서 데이터의 잠재적 가치를 안전보장 측면에서 사용할 수 있는 장점이 있다. 본 논문에서는 대인, 대물, 장소에 해당하는 로그 데이터들을 융복합 분석하여 보호대상자의 안전을 지원하는 다중로그 플랫폼 기반 이동경로 분석 기법을 제안한다. 다중로그 플랫폼에서 수집하는 보호대상자의 이동 경로 궤적을 활용하여 과거에 축적된 이동경로 패턴과 비교를 통해 현재 경로가 평소에 이용하던 경로와의 유사도를 추천하게 된다. 해당 이동 경로 분석 시스템은 위치기반 멀티모달 센서 데이터를 융복합 하여 보호대상자의 안전을 보장하는데 기여 할 것으로 예상된다.

• Journal of Intelligence and Information Systems
• /
• v.20 no.1
• /
• pp.1-14
• /
• 2014

Both researchers and practitioners are showing an increased interested in interactive exhibition services. Interactive exhibition services are designed to directly respond to visitor responses in real time, so as to fully engage visitors' interest and enhance their satisfaction. In order to install an effective interactive exhibition service, it is essential to adopt intelligent technologies that enable accurate estimation of a visitor's emotional state from responses to exhibited stimulus. Studies undertaken so far have attempted to estimate the human emotional state, most of them doing so by gauging either facial expressions or audio responses. However, the most recent research suggests that, a multimodal approach that uses people's multiple responses simultaneously may lead to better estimation. Given this context, we propose a new multimodal emotional state estimation model that uses various responses including facial expressions, gestures, and movements measured by the Microsoft Kinect Sensor. In order to effectively handle a large amount of sensory data, we propose to use stratified sampling-based MRA (multiple regression analysis) as our estimation method. To validate the usefulness of the proposed model, we collected 602,599 responses and emotional state data with 274 variables from 15 people. When we applied our model to the data set, we found that our model estimated the levels of valence and arousal in the 10~15% error range. Since our proposed model is simple and stable, we expect that it will be applied not only in intelligent exhibition services, but also in other areas such as e-learning and personalized advertising.

• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.20 no.5
• /
• pp.133-138
• /
• 2010

We present a new multimodal biometric authentication method, which performs both feature-level fusion and decision-level fusion. After generating support vector machines for new features made by integrating face and voice features, the final decision for authentication is made by integrating decisions of face SVM classifier, voice SVM classifier and integrated features SVM clssifier. We justify our proposal by comparing our method with traditional one by experiments with XM2VTS multimodal database. The experiments show that our multilevel fusion algorithm gives higher recognition rate than the existing schemes.

• Journal of Korea Multimedia Society
• /
• v.3 no.4
• /
• pp.356-364
• /
• 2000

Block based fast motion estimation algorithm use the fixed search pattern to reduce the search point, and are based on the assumption that the error in the mean absolute error space monotonically decreases to the global minimum. Therefore, in case of many local minima in a search region we are likely to find local minima instead of the global minimum and highly rely on the initial search points. This situation is evident in the motion boundary. In this paper we define the candidate regions within the search region using the motion information of the neighbor blocks and we propose the multiple local search method (MLSM) which search for the solution throughout the candidate regions to reduce the possibilities of isolation to the local minima. In the MLSM we mark the candidate region in the search point map and we avoid to search the candidate regions already visited to reduce the calculation. In the simulation results the proposed method shows more excellent results than that of other gradient based method especially in the search of motion boundary. Especially, in PSNR the proposed method obtains similar estimate accuracy with the significant reduction of search points to that of full search.

• Science of Emotion and Sensibility
• /
• v.23 no.1
• /
• pp.41-56
• /
• 2020

This study suggests multisensory interaction techniques to help visually impaired people appreciate and understand artworks through non-visual senses such as tactile, auditory, and olfactory senses. A user study was conducted on the basis of a qualitative interview about the experience of appreciating artwork through the multisensory interaction system to visually impaired people so as to verify the development of the interaction techniques. The user test shows that the multisensory interactions in artwork generally not only help them appreciate and understand it but also give them satisfaction through artwork appreciation. However, it also indicates that some multisensory interactions caused the visually impaired people confusion and could not be perceived during the appreciation. On the basis of these outcomes, implications in this study are as follows. This study has contributed to providing specific development guidelines and indicators of non-visual multisensory interactions as a technical alternative to improve accessibility to cultural and artistic activities for the visually impaired. Furthermore, this study is expected to contribute to building a technical background, which can provide comprehensive sensory experiences with not only blind people but also non-blind people such as children and the elderly through universal interaction techniques beyond existing visual-oriented fragmentary experience.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2003.11a
• /
• pp.347-350
• /
• 2003

표면정보 기반 영상정합기법은 대상기관에서 추출된 표면정보를 기반으로 변환을 추정하여 서로 다른 영상의 전체적 형태의 유사성 정도를 최대화함으로써 정합을 수행하는 방법이다. 정합 수행에 있어 전체 객체를 가장 잘 대표하는 특정 개수의 표면점을 추출하고, 이 대표점으로부터 변환 값을 계산하는 것이 영상정합의 합리적인 최적화 단계를 위해 필수적이다. 대표점 추출결과에 따라 전체 정합의 결과가 달라지게 되므로 정합의 변환요소 값을 정확하게 구해낼 수 있는 대표점을 추출하기 위해 적절한 샘플링 기법의 선택이 요구된다. 본 연구에서는 효율적인 표면정보 기반 다중 모달리티 영상정합을 위해 계통추출법 기반 샘플링 기법과 특징점 탐지 기법 기반 샘플링 기법의 성능을 비교 분석하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.11a
• /
• pp.475-478
• /
• 2002

영상 정합이란 영상들을 배열하여 대응되는 특성을 연관시키는 과정으로, 서로 다른 정보를 결합하여 상호 보완적이고 복합적인 새로운 정보를 생성한다는 점에서 유용하다. 본 논문에서는 MRI와 PET 뇌 영상을 표면 정보에 기반하여 정합하기 위한 영상 처리 방법에 대하여 연구하였다. 특히 정합을 위한 특징점 집합을 샘플링하는데 있어서 표면 곡률 정보를 사용한 샘플링 기법을 적용하고, 실 관심 객체의 볼륨 크기에 기반한 바운딩 박스를 생성하여 기하 변환을 수행함으로써 표면정보기반 다중모달리티 영상 정합을 위한 보다 효과적인 영상 처리 결과를 얻도록 하였다.