• 제목/요약/키워드: 멀티모달 접근법

검색결과 2건 처리시간 0.017초

지능형 전시 서비스 구현을 위한 멀티모달 감정 상태 추정 모형 (Multimodal Emotional State Estimation Model for Implementation of Intelligent Exhibition Services)

  • 이기천;최소윤;김재경;안현철
    • 지능정보연구
    • /
    • 제20권1호
    • /
    • pp.1-14
    • /
    • 2014
  • 최근 관람객의 반응에 따라 실시간으로 대응하여 관객의 몰입과 만족도를 증대시키는 인터랙티브 전시 서비스에 대한 학계와 산업계의 관심이 높아지고 있다. 이러한 인터랙티브 전시 서비스를 효과적으로 구현하기 위해서는 관객의 반응을 통해 해당 관객이 느끼는 감정 상태를 추정할 수 있는 지능형 기술의 도입이 요구된다. 인간의 감정 상태를 추정하기 위한 시도들은 많은 연구들에서 이루어져 왔고, 그 중 대부분은 사람의 얼굴 표정이나 소리 반응을 통해 감정 상태를 추정하는 방식을 도입하고 있다. 하지만, 최근 소개되고 있는 연구들에 따르면 단일 반응이 아닌 여러 반응을 종합적으로 고려하는 이른바 멀티 모달(multimodal) 접근을 사용했을 경우, 인간의 감정 상태를 보다 정확하게 추정할 수 있다. 이러한 배경에서 본 연구는 키넥트 센서를 통해 측정되는 관객의 얼굴 표정, 몸짓, 움직임 등을 종합적으로 고려한 새로운 멀티모달 감정 상태 추정 모형을 제안하고 있다. 제안모형의 예측 기법으로는 방대한 양의 데이터를 효과적으로 처리하기 위해, 몬테칼로(Monte Carlo) 방법인 계층화 샘플링(stratified sampling) 방법에 기반한 다중회귀분석을 적용하였다. 제안 모형의 성능을 검증하기 위해, 15명의 피실험자로부터 274개의 독립 및 종속변수들로 구성된 602,599건의 관측 데이터를 수집하여 여기에 제안 모형을 적용해 보았다. 그 결과 10~15% 이내의 평균오차 범위 내에서 피실험자의 쾌/불쾌도(valence) 및 각성도(arousal) 상태를 정확하게 추정할 수 있음을 확인할 수 있었다. 이러한 본 연구의 제안 모형은 비교적 구현이 간단하면서도 안정성이 높아, 향후 지능형 전시 서비스 및 기타 원격학습이나 광고 분야 등에 효과적으로 활용될 수 있을 것으로 기대된다.

A Bio-Edutainment System to Virus-Vaccine Discovery based on Collaborative Molecular in Real-Time with VR

  • Park, Sung-Jun
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권6호
    • /
    • pp.109-117
    • /
    • 2020
  • 에듀테인먼트 시스템은 학습자가 문제를 효과적으로 인식하고, 문제를 해결하는 데 필요한 중요한 정보를 파악 분류하고, 배운 내용을 전달할 수 있도록 돕는 것을 목표로 한다. 에듀테인먼트를 활용한 콘텐츠는 과학 및 산업 분야의 교육 및 훈련에 유용하게 적용될 수 있다. 본 논문에서는 직관적인 멀티 모달 인터페이스를 활용하여 신약개발에서 활용되고 있는 가상스크리닝에 적용될 수 있는 에듀테인먼트 시스템을 제안한다. 본 연구에서는 분자 구조의 3D 모델을 효과적으로 조작하기 위해 입체 모니터를 활용하여 3차원(3D)거대 분자 모델링을 시각화 하였으며, 멀티 모달 인터페이스를 활용하여 분자 모델을 조작하고 있다. 본 시스템은 신약 개발 혹은 백신 개발에 있어 매우 중요한 방법 중의 하나인 가상 약물 선별 방법 중 하나 인 도킹 시뮬레이션 실험을 게임적 요소를 활용하여 쉽게 해결하는 방법을 제안하고 있다. 레벨 업 개념은 게임 요소가 객체와 사용자의 수에 의해 의존되는 바이오 게임 접근법을 활용하여 구현하였다. 실험 방법으로는 제안된 시스템의 신약 개발 과정에서 인간 면역 결핍 바이러스 (HIV)의 새로운 후보물질을 활용하여 바이러스의 활동 억제를 스크리닝하는 도킹 과정에서의 시간 측정으로 성능 비교 평가하였다.