• Smart Structures and Systems
• /
• 제14권2호
• /
• pp.159-189
• /
• 2014

One of the most important requirements in the evaluation of existing structural systems and ensuring a safe performance during their service life is damage assessment. Damage can be defined as a weakening of the structure that adversely affects its current or future performance which may cause undesirable displacements, stresses or vibrations to the structure. The mass and stiffness of a structure will change due to the damage, which in turn changes the measured dynamic response of the system. Damage detection can increase safety, reduce maintenance costs and increase serviceability of the structures. Artificial Neural Networks (ANNs) are simplified models of the human brain and evolved as one of the most useful mathematical concepts used in almost all branches of science and engineering. ANNs have been applied increasingly due to its powerful computational and excellent pattern recognition ability for detecting damage in structural engineering. This paper presents and reviews the technical literature for past two decades on structural damage detection using ANNs with modal parameters such as natural frequencies and mode shapes as inputs.

• 한국구조물진단유지관리공학회 논문집
• /
• 제16권2호
• /
• pp.87-94
• /
• 2012

본 연구에서는 풍력발전기 타워의 효과적인 상태 모니터링을 위하여 타워의 고유진동수 및 모드형상을 이용한 손상추정기법을 제안하였다. 풍력발전기에 대한 동력학 시뮬레이션 프로그램을 이용하여 타워의 거동을 시뮬레이션하고 결과를 이용하여 타워의 모드특성을 추정하였다. 다양한 손상에 의한 타워의 고유진동수와 모드형상의 변화를 모드특성 추정 프로그램을 이용하여 해석적으로 구하여 훈련패턴을 생성하고 이를 이용하여 신경망을 훈련시켰다. 복수 손상 경우를 포함한 10가지 손상경우에 대한 모드특성을 훈련된 신경망에 입력하여 손상을 추정하였으며, 모든 손상 경우에 대하여 비교적 정확하게 손상위치와 손상정도를 판정할 수 있었다. 단, 미소 손상의 경우 손상정도가 약간 과소평가되는 경향을 보였으나 손상위치는 합리적으로 추정됨을 알 수 있었다. 향후, 미소 손상 추정결과의 정확성을 개선하고, 실험을 통하여 제안된 기법을 검증할 계획이다.

• 전자공학회논문지CI
• /
• 제41권3호
• /
• pp.67-77
• /
• 2004

최근 잡음환경에서 신뢰도 높은 음성인식을 위해 음성정보와 영상정보를 융합하는 방법이 활발히 연구되고 있다. 본 논문에서는 이절적인 정보의 융합에 적합한 신경망 모델을 기반으로 음성, 영상 및 문맥 정보 등 다양한 정보를 융합하여 잡음 환경에서 고려단어를 인식하는 음성인식 기법에 대하여 기술한다. 음성과 영상 특징을 이용한 이중 모드 신경망 BMNN(BiModal Neural Network)을 제안한다. BMM은 4개 층으로 이루어진 다층퍼셉트론의 구조를 가지며 각 층은 입력 특징의 추상화 기능을 수행한다. BMNN에서는 제 3층이 잡음에 의한 음성 정보의 손실을 보상하기 위하여 음성과 영상 특징을 통합하는 기능을 수행한다. 또한, 잡음환경에서 음성 인식률을 향상시키기 위해 사용자가 말한 단어들의 순차 패턴을 나타내는 문맥정보를 이용한 후처리 방법을 제안한다. 잡음환경에서 BMNN은 단순히 음성만을 사용한 것 보다 높은 성능을 보임으로써 그 타당성을 확인할 수 있을 뿐 아니라, 특히 문맥을 이용한 후처리를 하였을 경우 잡음 환경에서 90%이상의 인식률을 달성하였다 본 연구는 잡음환경에서 강인한 음성인식을 위해 다양한 추가 정보를 사용함으로써 성능을 향상시킬 수 있음을 제시한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.1002-1003
• /
• 2019

Face recognition is an extensively researched area of computer vision. Visible, infrared, thermal, and 3D modalities have been used against various challenges of face recognition such as illumination, pose, expression, partial information, and disguise. In this paper we present a multi-modal approach to face recognition using convolutional neural networks. We use visible and thermal face images as two separate inputs to a multi-input deep learning network for face recognition. The experiments are performed on IRIS visible and thermal face database and high face verification rates are achieved.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권5호
• /
• pp.1413-1432
• /
• 2023

Recommender systems aim to recommend items to users by taking into account their probable interests. This study focuses on creating a model that utilizes multiple sources of information about users and items by employing a multimodality approach. The study addresses the task of how to gather information from different sources (modalities) and transform them into a uniform format, resulting in a multi-modal feature description for users and items. This work also aims to transform and represent the features extracted from different modalities so that the information is in a compatible format for integration and contains important, useful information for the prediction model. To achieve this goal, we propose a novel multi-modal recommendation model, which involves extracting latent features of users and items from a utility matrix using matrix factorization techniques. Various transformation techniques are utilized to extract features from other sources of information such as user reviews, item descriptions, and item categories. We also proposed the use of Principal Component Analysis (PCA) and Feature Selection techniques to reduce the data dimension and extract important features as well as remove noisy features to increase the accuracy of the model. We conducted several different experimental models based on different subsets of modalities on the MovieLens and Amazon sub-category datasets. According to the experimental results, the proposed model significantly enhances the accuracy of recommendations when compared to SVD, which is acknowledged as one of the most effective models for recommender systems. Specifically, the proposed model reduces the RMSE by a range of 4.8% to 21.43% and increases the Precision by a range of 2.07% to 26.49% for the Amazon datasets. Similarly, for the MovieLens dataset, the proposed model reduces the RMSE by 45.61% and increases the Precision by 14.06%. Additionally, the experimental results on both datasets demonstrate that combining information from multiple modalities in the proposed model leads to superior outcomes compared to relying on a single type of information.

• 한국전자거래학회지
• /
• 제27권1호
• /
• pp.15-28
• /
• 2022

최근 의류 등의 특정 쇼핑몰의 온라인 시장이 크게 확대되면서, 사용자의 리뷰를 활용하는 것이 주요한 마케팅 방안이 되었다. 이를 이용한 감성분석에 대한 연구들도 많이 진행되고 있다. 감성분석은 사용자의 리뷰를 긍정과 부정 그리고 필요에 따라서 중립으로 분류하는 방법이다. 이 방법은 크게 머신러닝 기반의 감성분석과 사전기반의 감성분석으로 나눌 수 있다. 머신러닝 기반의 감성분석은 사용자의 리뷰 데이터와 그에 대응하는 감성 라벨을 이용해서 분류 모델을 학습하는 방법이다. 감성분석 분야의 연구가 발전하면서 리뷰와 함께 제공되는 이미지나 영상 데이터 등을 함께 고려하여 학습하는 멀티모달 방식의 모델들이 연구되고 있다. 리뷰 데이터에서 제품의 카테고리와 사용자별로 사용되는 단어 등의 특징이 다르다. 따라서 본 논문에서는 리뷰데이터와 제품 정보를 동시에 고려하여 감성분석을 진행한다. 리뷰를 분류하는 모델로는 기본 순환신경망 구조에서 Gate 방식을 도입한 Gated Recurrent Unit(GRU), Long Short-Term Memory(LSTM) 그리고 Self Attention 기반의 Multi-head Attention 모델, Bidirectional Encoder Representation from Transformer(BERT)를 사용해서 각각 성능을 비교하였다. 제품 정보는 모두 동일한 Multi-Layer Perceptron(MLP) 모델을 이용하였다. 본 논문에서는 사용자 리뷰를 활용한 Baseline Classifier의 정보와 제품 정보를 활용한 MLP모델의 결과를 결합하는 방법을 제안하며 실제 데이터를 통해 성능의 우수함을 보인다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2007년도 춘계학술대회 학술발표 논문집 제17권 제1호
• /
• pp.333-336
• /
• 2007

본 논문에서는 감정인식 분야에서 가장 많이 사용되어지는 음성신호와 얼굴영상을 가지고 4개의(기쁨, 슬픔, 화남, 놀람) 감정으로 인식하고 각각 얻어진 감정인식 결과를 Multi modal 기법을 이용해서 이들의 감정을 융합한다. 이를 위해 얼굴영상을 이용한 감정인식에서는 주성분 분석(Principal Component Analysis)법을 이용해 특징벡터를 추출하고, 음성신호는 언어적 특성을 배재한 acoustic feature를 사용하였으며 이와 같이 추출된 특징들을 각각 신경망에 적용시켜 감정별로 패턴을 분류하였고, 인식된 결과는 감정표현 시스템에 작용하여 감정을 표현하였다.

• 반도체디스플레이기술학회지
• /
• 제17권2호
• /
• pp.67-70
• /
• 2018

Object detection and tracking is an exciting and interesting research area in the field of computer vision, and its technologies have been widely used in various application systems such as surveillance, military, and augmented reality. This paper proposes and implements a novel and more robust object recognition and tracking system to localize and track multiple objects from input images, which estimates target state using the likelihoods obtained from multiple CNNs. As the experimental result, the proposed algorithm is effective to handle multi-modal target appearances and other exceptions.

• Structural Engineering and Mechanics
• /
• 제64권6권
• /
• pp.803-817
• /
• 2017

Structural health monitoring has increasingly been a focus within the civil engineering research community over the last few decades. With increasing application of sensor networks in large structures and infrastructure systems, effective use and development of robust algorithms to analyze large volumes of data and to extract the desired features has become a challenging problem. In this paper, we grasp some precautions and key points of the signal processing approach, wavelet, establish a relative reliable framework, and analyze three problems that require attention when applying wavelet based damage detection approach. The cases studies how to use optimal scales for extracting mode shapes and modal curvatures in a reinforced concrete beam and how to effectively identify damages using maximum curves of wavelet coefficient differences. Moreover, how to make a recognition based on the wavelet multi-resolution analysis, wavelet packet energy, and fuzzy sets is a meaningful topic that has been addressed in this work. The relative systematic work that compasses algorithms, structures and evaluation paves a way to a framework regarding effective structural health monitoring, orientation, decision and action.

• 한국정보통신학회논문지
• /
• 제6권5호
• /
• pp.777-782
• /
• 2002

본 연구는 인식의 정확성을 향상시키고, 사용자의 편이성을 고려하여 단일생체 인식 대신에 얼굴의 다중특징을 이용하는 다중생체 인식방법을 제안한다. 얼굴의 특징은 다음과 같은 방법으로 찾는다. 얼굴의 특징은 웨이블렛 다중분해와 주성분 분석방법으로 계산하였고, 입술의 경우는 입술의 경계를 구한후 최소 자승법을 이용한 방정식의 계수를 구하였으며, 얼굴의 요소간 거리 비율에 의한 특징값을 구하여, 역전파 학습 알고리즘으로 분류하여 실험하였다. 실험을 통해 본 방법의 유효성을 확인하였다.