• 제목/요약/키워드: Multimodal recognition

검색결과 101건 처리시간 0.03초

Hybrid feature extraction of multimodal images for face recognition

  • Cheema, Usman;Moon, Seungbin
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.880-881
    • /
    • 2018
  • Recently technological advancements have allowed visible, infrared and thermal imaging systems to be readily available for security and access control. Increasing applications of facial recognition for security and access control leads to emerging spoofing methodologies. To overcome these challenges of occlusion, replay attack and disguise, researches have proposed using multiple imaging modalities. Using infrared and thermal modalities alongside visible imaging helps to overcome the shortcomings of visible imaging. In this paper we review and propose hybrid feature extraction methods to combine data from multiple imaging systems simultaneously.

감정 인지를 위한 음성 및 텍스트 데이터 퓨전: 다중 모달 딥 러닝 접근법 (Speech and Textual Data Fusion for Emotion Detection: A Multimodal Deep Learning Approach)

  • 에드워드 카야디;송미화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.526-527
    • /
    • 2023
  • Speech emotion recognition(SER) is one of the interesting topics in the machine learning field. By developing multi-modal speech emotion recognition system, we can get numerous benefits. This paper explain about fusing BERT as the text recognizer and CNN as the speech recognizer to built a multi-modal SER system.

RBF 기반 유사도 단계 융합 다중 생체 인식에서의 품질 활용 방안 연구 (A study of using quality for Radial Basis Function based score-level fusion in multimodal biometrics)

  • 최현석;신미영
    • 전자공학회논문지CI
    • /
    • 제45권5호
    • /
    • pp.192-200
    • /
    • 2008
  • 다중 생체 인식은 둘 이상의 생체 정보를 획득하여 이를 기반으로 개인 인증 및 신원을 확인하는 방법으로, 패턴 분류 알고리즘을 이용한 RBF 기반 유사도 단계 융합 다중 생체 인식은 입력된 생체 정보와 데이터베이스 내의 유사도를 나타내는 매칭 값을 각 단일 생체 인식 시스템으로부터 제공받아 이를 이용하여 특징 벡터를 구성하고, 특징 공간상에서 사용자와 위조자를 구분해주는 최적의 판정 경계를 탐색하여 인식을 수행하는 방법이다. 이러한 패턴 분류 알고리즘의 경우 특징 벡터를 구성하는 각 매칭값이 동일한 신뢰도를 가지고 있다는 가정 하에 고정된 판정 경계를 구성하고 분류를 수행하게 된다. 한편, 생체 인식 시스템의 인식 결과는 입력되는 생체 정보의 품질에 영향을 받을 수 있음이 기존의 연구에서 보고되고 있는데, 이는 일반적인 RBF 기반 유사도 단계 융합 다중 생체 인식 시스템을 구성하고 있는 단일 생체 인식 시스템 중 하나의 시스템에 저품질의 생체 정보가 입력되어 신뢰할 수 없는 매칭값을 출력한 경우에는 이를 기반으로 구성된 특징 벡터의 판정이 오분류 되거나 그 결과의 신뢰도가 감소될 수 있는 문제가 있다. 이에 대한 대안으로 본 논문에서는 각 단일 생체 인식 시스템에 입력되는 생체 정보의 품질을 활용하여 RBF 기반 유사도 단계 융합 다중 생체 인식 시스템에서 품질에 따라 유동적인 판정 경계를 구성하여 특징 벡터를 구성하는 각 매칭값이 판정에 미치는 영향을 조절하고자 하였다. 이를 통해 각 생체 정보가 그 품질에 따라 판정에 미치는 영향이 달리 적용될 수 있도록 하였으며, 그 결과 단일 생체 인식과 일반적인 RBF 기반 유사도 단계 융합 다중 생체 인식에 비해 보다 개선된 인식 결과와 신뢰도를 얻을 수 있었다.

우리나라 무역업계의 INCOTERMS 사용현황과 개정방향에 관한 고찰 (A Study on the Using Situation in Korea and Suggestions for Improvement of INCOTERMS)

  • 박광서;김재성
    • 무역상무연구
    • /
    • 제43권
    • /
    • pp.53-74
    • /
    • 2009
  • INCOTERMS have been changed almost every 10 years since ICC established INCOTERMS as trade terms for International transaction. Recently transportation has become bigger, and modernized by means of electronic appliances such as RFID, IT, and containerization. FRC, FOR/FOT, FOA were added in INCOTERMS1980 and every conditions are unified into three alphabets in INCOTERMS1990. The best features of INCOTERMS2000 are that FCA substitute FRC, FOR/FOT, FOA and customs formalities were simplified to make clear for each party of contract. It seems that business circles still stick to old customs of their trade like FOB or CIF not only in Korea but in an international practice even though there have been several revisions of INCOTERMS until now. ICC have tried to provide INCOTERMS3000 to solve problems between a theory and an actual condition of international trade. This study has tried to suggest opinions against INCOTERMS3000 and has surveyed a recognition, an actual using situation and issues of INCOTERMS to get improvements. For a recognition of INCOTERMS has been spread as you can find at tables many kinds of business circles still stick to old customs of their trade terms FOB and CIF. Now there are two alternative plans. Firstly, we need to suggest improvements against inconsistency of INCOTERMS to be applied on newly revised INCOTERMS3000 and educating business circles to use proper conditions of INCOTERMS for their doing business. Secondly, we shall participate in revising INCOTERMS to activate multimodal transport conditions of INCOTERMS and provide solutions to fill gap between a theory and an actual condition of international trade. It seems that terms of multimodal transport such as FCA, CPT, or CIP can be a perfect condition for each party of contract. We have examined the inconsistent features of Ship's rail and notions of on board, and observed how to activate multimodal transport terms. These would be hot issues of next revision of INCOTERMS and we provided improvements on each trade terms, THC charges, or others against INCOTERMS.

  • PDF

유비쿼터스 컴퓨팅환경에서의 Multimodal Sensor 기반의 Health care를 위한 사용자 행동 자동인식 시스템 - Multi-Sensor를 이용한 ADL(activities of daily living) 지수 자동 측정 시스템 (Design and Implementation of a User Activity Auto-recognition System based on Multimodal Sensor in Ubiquitous Computing Environment)

  • 변성호;정유석;김태수;김현우;이승환;조위덕
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2009년도 학술대회
    • /
    • pp.21-26
    • /
    • 2009
  • 유비쿼터스 컴퓨팅 환경의 급속한 발전은 Multi-Sensor를 이용하여 자동으로 사용자의 행동인식을 가능한 환경을 만들어주었다. 따라서 이 논문에서는 사용자가 일상생활을 하는데 있어서 기본적으로 필요한 행동인 ADL(activities of daily living)의 수행능력을 분석하고 진단할 수 있는 Multi-Sensor기반의 ADL 자동 진단 시스템을 구축하였다. 두 개의 가속도 센서를 허벅지와 손목에 부착하여 사용자의 행동 정보를 수집하고 이를 Decision-Tree를 통하여 분석하여 사용자의 행동 정보를 수집하였다. 또한 Zigbee 센서를 이용하여 개별 물체의 Object ID를 이용하여 사용자의 위치정보와 주변의 물체의 정보를 수집하여 사용자의 상태 정보를 수집하였다. 이렇게 수집된 행동 정보와 상태 정보들을 통하여 일상생활에 필요한 약 20여 가지의 행동을 인식하였고 평균적으로 96%이상의 정확도를 나타내었으며 이를 통하여 ADL 지수를 자동으로 측정하였다.

  • PDF

다중모드 센서를 이용한 자세 및 공간인지 시스템 (Posture and Space Recognition System Using Multimodal Sensors)

  • 차주헌;김시철
    • 대한기계학회논문집A
    • /
    • 제39권6호
    • /
    • pp.603-610
    • /
    • 2015
  • 본 논문에서는 기울기 센서와 고도계 센서로 구성된 다중모드 센서를 통하여 일정 공간내의 거주자의 자세 및 행동 패턴을 수집, 분석하여 거주자의 위치를 추론함으로써, 현재 거주자가 위치한 공간을 인지하는 시스템을 제안한다. 여기에서 제안된 센서 시스템의 하드웨어 구성과 소프트웨어 알고리즘에 대하여 설명하고, 다중모드 센서를 통하여 획득한 데이터로부터 거주자의 자세 및 행동을 분석한 후에 거주자가 존재하는 공간을 추론하는 프로세스에 대하여 설명한다. 마지막으로 거주자의 자세 및 행동 분석과 공간인지 기능을 검증하기 위하여 실제 환경 실험을 통하여 본 논문에서 제안한 시스템의 효용성과 타당성을 검토한다.

음성과 영상정보를 결합한 멀티모달 제어기의 구현 (Implementation of a Multimodal Controller Combining Speech and Lip Information)

  • 김철;최승호
    • 한국음향학회지
    • /
    • 제20권6호
    • /
    • pp.40-45
    • /
    • 2001
  • 본 논문에서는 음성과 영상정보를 결합한 멀티모달시스템을 구현하고 그 성능을 평가하였다. 음성정보를 이용해서 음성인식기를, 영상정보를 이용해서 입술인식기를 설계하였으며, 두 인식기는 HMM (Hidden Markov Model) 기반의 인식엔진을 사용하였다. 음성과 영상인식의 결과는 각각 8:2의 가중치를 부여하여 통합하였다. 한편, 구축된 멀티모달 인식시스템은 DARC (data radio channel)시스템과 통합되어 응용프로그램인 Comdio(computer radio)를 제어하도록 구현하였다. 멀티모달과 DARC시스템, 멀티모달시스템 내에서 두 인식기간의 정보교환은TCP/IP소켓 방식을 사용하였다. 통합시스템의 Comdio 제어실험의 결과는 입술인식이 음성인식기의 보조수단으로 사용될 수 있음을 보였으며, 향후교통정보 및 자동차항법장치에 적용되어짐으로써 그 적용분야를 넓힐 수 있을 것으로 기대된다.

  • PDF

선박 탑승자를 위한 다중 센서 기반의 스마트폰을 이용한 활동 인식 시스템 (Activity Recognition of Workers and Passengers onboard Ships Using Multimodal Sensors in a Smartphone)

  • 라지브 쿠마 피야레;이성로
    • 한국통신학회논문지
    • /
    • 제39C권9호
    • /
    • pp.811-819
    • /
    • 2014
  • 상황 인식은 유비쿼터스컴퓨팅 환경에 대한 진화를 변화시켰고 무선 센서네트워크 기술은 많은 응용기기에 대한 새로운 방법을 제시하였다. 특히, 행동 인식은 사람의 응용서비스를 제공하는데 있어 특정 사용자의 상황을 인식하는 핵심 요소로 의학, 취미, 군사 분야에서 폭넓은 응용분야를 갖고 있고 사용반경의 확대에서도 효율과 정확도를 높이는 방법에 크게 기여한다. 스마트폰 센서로부터 나오는 데이터로부터 프레임이 512인셈플 데이터를 얻어, 프레임간50%의 오버랩을 갖도록 하고 Machine Learning Algorithm 인 WEKA Experimenter (University of Waikato, Version 3.6.10)을 써서 데이더로부터 시간영역 특징값을 추출함으로써 행동 인식에 대한 99.33%의 정확도를 얻을 수 있었다. 또한, WEKA Experimenter의 사용기법인 C4.5 Decision Tree과 다른 방법인 BN, NB, SMO or Logistic Regression간의 비교실험을 하였다.

An Intelligent Emotion Recognition Model Using Facial and Bodily Expressions

  • Jae Kyeong Kim;Won Kuk Park;Il Young Choi
    • Asia pacific journal of information systems
    • /
    • 제27권1호
    • /
    • pp.38-53
    • /
    • 2017
  • As sensor technologies and image processing technologies make collecting information on users' behavior easy, many researchers have examined automatic emotion recognition based on facial expressions, body expressions, and tone of voice, among others. Specifically, many studies have used normal cameras in the multimodal case using facial and body expressions. Thus, previous studies used a limited number of information because normal cameras generally produce only two-dimensional images. In the present research, we propose an artificial neural network-based model using a high-definition webcam and Kinect to recognize users' emotions from facial and bodily expressions when watching a movie trailer. We validate the proposed model in a naturally occurring field environment rather than in an artificially controlled laboratory environment. The result of this research will be helpful in the wide use of emotion recognition models in advertisements, exhibitions, and interactive shows.

An Interactive Voice Web Browser Usable as a Multimodal Interface in Information Devices by Using VoiceXML

  • Jang, Min-Seok
    • 한국지능시스템학회논문지
    • /
    • 제14권6호
    • /
    • pp.771-775
    • /
    • 2004
  • The present Web surroundings is mostly composed of HTML(Hypertext Mark-up Language) and thereby users obtain web informations mainly in GUI(Graphical User Interface) environment by clicking mouse in order to keep up with hyperlinked informations. However it is very inconvenient to work in this environment comparing with easily accessed one in which human`s voice is utilized for obtaining informations. Using VoiceXML, resulted from XML, for supplying the information through telephone on the basis of the contemporary matured technology of voice recognition/synthesis to work out the inconvenience problem, this paper presents the research results about VoiceXML VUI(Voice User Interface) Browser designed and implemented for realizing its technology and also the VoiceXML Dialog designed for the purpose of the browser's efficient use.