• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 1998년도 제13차 학술회의논문집
• /
• pp.250-253
• /
• 1998

This paper presents a multi-modal neural network composed of a preprocessing module and a multi-layer neural network module in order to enhance the nonlinear characteristics of neural network. The former module is based on spectral method using Chebyschev polynomials and transforms input data into spectra. The latter module identifies the system using the spectra generated by the preprocessing module. The omnibus numerical experiments show that the method is applicable to many a nonlinear dynamic system in the real world, and that preprocessing using Chebyschev polynomials reduces the number of neurons required for the multi-layer neural network.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 1998년도 제13차 학술회의논문집
• /
• pp.201-204
• /
• 1998

This paper presents a new construction method of candidate controllers using Multi-modal Neural Network(MNN). To improve a control performance of multiple controller, we construct, candidate controllers which consist of MNN. MNN can learn more complicated function than multilayer neural network. MNN consists of preprocessing module and neural network module. The preprocessing module transforms input signals into spectra which are used as input of the following neural network module. We apply the proposed method to multiple control system which controls the cart-pole balancing system and show the effectiveness of the proposed method.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권2호
• /
• pp.104-109
• /
• 2017

본고에서는 다중 웨어러블 센서 데이터로부터 사용자의 일상 생활 행동 패턴을 분석할 수 있는 새로운 기계학습 모델을 제안한다. 제안하는 모델은 다중 웨어러블 센서 데이터를 효과적으로 학습하기 위하여 사람이 다중 센서 정보를 처리하는 방법을 적용한 새로운 신경망 모델이다. 제안하는 Gated multi-modal neural netoworks는 계층적 신경망 구조를 가지고 있으며 Gate 모듈을 통해 각 센서 데이터를 선택적으로 결합하여 처리하는 특징을 가진다. 실험을 위해 다중 웨어러블 장치를 착용하고 일상 생활 중 한 가지인 레스토랑에서의 행동 센서 데이터를 수집하였다. 실험 결과로서, 제시하는 모델을 이용하여 실제 웨어러블 센서 데이터를 분석하였을 때 분류 정확도가 비교적 정확하고 빠르게 처리할 수 있음을 확인하였다. 또한 모델의 중간 계층에서의 노드의 활성화 패턴 분석을 통해 자동으로 일상생활 패턴을 추출할 수 있고 이를 이용하여 지식 스키마를 생성할 수 있음을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제23권2호
• /
• pp.146-154
• /
• 2020

Negative emotion causes stress and lack of attention concentration. The classification of negative emotion is important to recognize risk factors. To classify emotion status, various methods such as questionnaires and interview are used and it could be changed by personal thinking. To solve the problem, we acquire multi modal bio-signals such as electrocardiogram (ECG), skin temperature (ST), galvanic skin response (GSR) and extract features. The neural network (NN), the deep neural network (DNN), and the deep belief network (DBN) is designed using the multi modal bio-signals to analyze emotion status. As a result, the DBN based on features extracted from ECG, ST and GSR shows the highest accuracy (93.8%). It is 5.7% higher than compared to the NN and 1.4% higher than compared to the DNN. It shows 12.2% higher accuracy than using only single bio-signal (GSR). The multi modal bio-signal acquisition and the deep learning classifier play an important role to classify emotion.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권4호
• /
• pp.203-210
• /
• 2017

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하며, 캡션 문장 생성을 위한 매 순환 단계마다 이미지의 시각 정보를 이용할 수 있도록 컨볼루션 신경망 층의 출력을 순환 신경망 층의 초기 상태뿐만 아니라 멀티 모달 층의 입력에도 연결하는 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험들을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 높은 성능을 확인할 수 있었다.

• 한국항행학회논문지
• /
• 제23권6호
• /
• pp.526-534
• /
• 2019

전파 신호를 이용한 위치 추정 방법은 3개 이상의 앵커로부터 거리 측정치를 획득하여야 한다. 하지만 일반적인 건물은 좁고 기다란 복도와 모퉁이로 구성되어 있어 3개 이상의 가시 앵커를 확보하기 쉽지 않으며, 이로 인해 멀티 모달 솔루션이 발생하여 사용자의 위치를 추정하기가 어렵다. 이러한 문제를 극복하기 위해 본 논문에서는 인공신경망을 이용하여 위치를 추정하는 방법을 제안한다. 인공신경망을 이용하면 멀티 모달 솔루션이 발생하더라도 축적된 거리 측정치를 기반으로 사용자 이동 패턴 정보를 획득하여 위치를 추정할 수 있다. 해당 방법은 추가적인 장비나 센서가 필요치 않으며 오직 앵커 기반의 거리 측정치만으로 위치를 추정할 수 있다. 제안된 방법을 검증하기 위해 건물 내에 충분하지 않은 수의 앵커를 설치하여 멀티 모달 솔루션을 발생시킨 상황에서 위치 추정 테스트를 수행하였다. 그 결과 앵커의 수가 충분치 않은 상황에서도 위치를 추정할 수 있음을 확인하였다.

• 한국소음진동공학회논문집
• /
• 제22권7호
• /
• pp.667-675
• /
• 2012

A damage estimation method for support structure of offshore wind turbine using modal parameters is presented for effective structural health monitoring. Natural frequencies and mode shapes for a support structure with monopile of an offshore wind turbine were calculated considering soil condition and added mass. A neural network was learned based on training patterns generated by the changes of natural frequency and mode shape due to various damages. Natural frequencies and mode shapes for 10 prospective damage cases were input to the trained neural network for damage estimation. The identified damage locations and severities agreed reasonably well with the accurate damages. Multi-damage cases could also be successfully estimated. Enhancement of estimation result using another parameters as input to neural network will be carried out by further study. Proposed method could be applied to other type of support structure of offshore wind turbine for structural health monitoring.

• 방송공학회논문지
• /
• 제23권3호
• /
• pp.351-360
• /
• 2018

인간 감정 인식은 컴퓨터 비전 및 인공 지능 영역에서 지속적인 관심을 받는 연구 주제이다. 본 논문에서는 wild 환경에서 이미지, 얼굴 특징점 및 음성신호로 구성된 multi-modal 신호를 기반으로 여러 신경망을 통해 인간의 감정을 분류하는 방법을 제안한다. 제안 방법은 다음과 같은 특징을 갖는다. 첫째, multi task learning과 비디오의 시공간 특성을 이용한 준 감독 학습을 사용함으로써 영상 기반 네트워크의 학습 성능을 크게 향상시켰다. 둘째, 얼굴의 1 차원 랜드 마크 정보를 2 차원 영상으로 변환하는 모델을 새로 제안하였고, 이를 바탕으로 한 CNN-LSTM 네트워크를 제안하여 감정 인식을 향상시켰다. 셋째, 특정 감정에 오디오 신호가 매우 효과적이라는 관측을 기반으로 특정 감정에 robust한 오디오 심층 학습 메커니즘을 제안한다. 마지막으로 소위 적응적 감정 융합 (emotion adaptive fusion)을 적용하여 여러 네트워크의 시너지 효과를 극대화한다. 제안 네트워크는 기존의 지도 학습과 반 지도학습 네트워크를 적절히 융합하여 감정 분류 성능을 향상시켰다. EmotiW2017 대회에서 주어진 테스트 셋에 대한 5번째 시도에서, 제안 방법은 57.12 %의 분류 정확도를 달성하였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1998년도 추계종합학술대회 논문집
• /
• pp.1289-1292
• /
• 1998

HCI(human computer interface) technologies have been often implemented using mouse, keyboard and joystick. Because mouse and keyboard are used only in limited situation, More natural HCI methods such as speech based method and gesture based method recently attract wide attention. In this paper, we present multi-modal input system to control Windows system for practical use of multi-media computer. Our multi-modal input system consists of three parts. First one is virtual-hand mouse part. This part is to replace mouse control with a set of gestures. Second one is Windows control system using speech recognition. Third one is Windows control system using gesture recognition. We introduce neural network and HMM methods to recognize speeches and gestures. The results of three parts interface directly to CPU and through Windows.

• International Journal of Precision Engineering and Manufacturing
• /
• 제3권1호
• /
• pp.43-48
• /
• 2002

This paper describes an automated computer-aided engineering (CAE) system for three-dimensional structures. An automatic finite element mesh-generation technique, which is based on fuzzy knowledge processing and computational geometry techniques, is incorporated into the system, together with a commercial FE analysis code, and a commercial solid modeler. The system allows a geometry model of interest to be automatically converted to different FE models, depending on the physical phenomena of the structures to be analyzed, i.e., electrostatic analysis, stress analysis, modal analysis, and so on. Also, with the aid of multilayer neural networks, the present system allows us to obtain automatically a design window in which a number of satisfactory design solutions exist in a multi-dimensional design parameter space. The developed CAE system is successfully applied to evaluate an electrostatic micromachines.