• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제8권3호
• /
• pp.115-122
• /
• 2019

지금까지의 한국어 음소 인식에는 은닉 마르코프-가우시안 믹스쳐 모델(HMM-GMM)이나 인공신경망-HMM을 결합한 하이브리드 시스템이 주로 사용되어 왔다. 하지만 이 방법은 성능 개선 여지가 적으며, 전문가에 의해 제작된 강제정렬(force-alignment) 코퍼스 없이는 학습이 불가능하다는 단점이 있다. 이 모델의 문제로 인해 타 언어를 대상으로 한 음소 인식 연구에서는 이 단점을 보완하기 위해 순환 신경망(RNN) 계열 구조와 Connectionist Temporal Classification(CTC) 알고리즘을 결합한 신경망 기반 음소 인식 모델이 연구된 바 있다. 그러나 RNN 계열 모델을 학습시키기 위해 많은 음성 말뭉치가 필요하고 구조가 복잡해질 경우 학습이 까다로워, 정제된 말뭉치가 부족하고 기반 연구가 비교적 부족한 한국어의 경우 사용에 제약이 있었다. 이에 본 연구는 강제정렬이 불필요한 CTC 알고리즘을 도입하되, RNN에 비해 더 학습 속도가 빠르고 더 적은 말뭉치로도 학습이 가능한 합성곱 신경망(CNN)을 기반으로 한국어 음소 인식 모델을 구축하여 보고자 시도하였다. 총 2가지의 비교 실험을 통해 본 연구에서는 한국어에 존재하는 49가지의 음소를 판별하는 음소 인식기 모델을 제작하였으며, 실험 결과 최종적으로 선정된 음소 인식 모델은 CNN과 3층의 Bidirectional LSTM을 결합한 구조로, 이 모델의 최종 PER(Phoneme Error Rate)은 3.26으로 나타났다. 이는 한국어 음소 인식 분야에서 보고된 기존 선행 연구들의 PER인 10~12와 비교하면 상당한 성능 향상이라고 할 수 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
• /
• pp.159-162
• /
• 2017

Long Short-Term Memory Recurrent Neural Network(LSTM RNN)는 순차 데이터 모델링에 적합한 딥러닝 모델이다. Bidirectional LSTM RNN(BiLSTM RNN)은 RNN의 그래디언트 소멸 문제(vanishing gradient problem)를 해결한 LSTM RNN을 입력 데이터의 양 방향에 적용시킨 것으로 입력 열의 모든 정보를 볼 수 있는 장점이 있어 자연어처리를 비롯한 다양한 분야에서 많이 사용되고 있다. Highway Network는 비선형 변환을 거치지 않은 입력 정보를 히든레이어에서 직접 사용할 수 있게 LSTM 유닛에 게이트를 추가한 딥러닝 모델이다. 본 논문에서는 Highway Network를 한국어 의미역 결정에 적용하여 기존 연구 보다 더 높은 성능을 얻을 수 있음을 보인다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
• /
• pp.159-162
• /
• 2017

Long Short-Term Memory Recurrent Neural Network(LSTM RNN)는 순차 데이터 모델링에 적합한 딥러닝 모델이다. Bidirectional LSTM RNN(BiLSTM RNN)은 RNN의 그래디언트 소멸 문제(vanishing gradient problem)를 해결한 LSTM RNN을 입력 데이터의 양 방향에 적용시킨 것으로 입력 열의 모든 정보를 볼 수 있는 장점이 있어 자연어처리를 비롯한 다양한 분야에서 많이 사용되고 있다. Highway Network는 비선형 변환을 거치지 않은 입력 정보를 히든레이어에서 직접 사용할 수 있게 LSTM 유닛에 게이트를 추가한 딥러닝 모델이다. 본 논문에서는 Highway Network를 한국어 의미역 결정에 적용하여 기존 연구 보다 더 높은 성능을 얻을 수 있음을 보인다.

• 인터넷정보학회논문지
• /
• 제22권3호
• /
• pp.67-73
• /
• 2021

본 논문에서는 드론의 추락을 예방하기 위해 드론의 프로펠러와 연결된 모터로부터 진동 데이터를 수집하고 순환 신경망(recurrent neural network, RNN)과 long short term memory (LSTM)을 사용하여 드론의 비정상 진동을 예측하는 연구를 진행하였다. 드론의 비정상 진동 데이터를 수집하기 위해 드론의 프로펠러와 연결된 모터에 진동 센서를 부착하여 정상, 바(bar) 손상, 로터(rotor) 손상, 축 휨에 대한 진동 데이터를 수집하고 LSTM과 RNN을 통해 비정상 진동을 예측한 결과의 평균 제곱근 오차 (root mean square error, RMSE) 값을 비교분석 하였다. 시뮬레이션 비교 결과, RNN과 LSTM을 통해 예측한 결과 모두 비정상 진동 패턴을 매우 정확하게 예측하는 것을 확인하였으며 LSTM을 통해 예측한 진동이 RNN을 통해 예측한 진동보다 RMSE값이 평균 15.4% 낮은 것을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제23권1호
• /
• pp.9-15
• /
• 2018

Policy polls, which investigate the degree of support that the policy has for policy implementation, play an important role in making decisions. As the number of Internet users increases, the public is actively commenting on their policy news stories. Current policy polls tend to rely heavily on phone and offline surveys. Collecting and analyzing policy articles is useful in policy surveys. In this study, we propose a method of analyzing comments using deep learning technology showing outstanding performance in various fields. In particular, we designed various models based on the recurrent neural network (RNN) which is suitable for sequential data and compared the performance with the support vector machine (SVM), which is a traditional machine learning model. For all test sets, the SVM model show an accuracy of 0.73 and the RNN model have an accuracy of 0.83.

• 지능정보연구
• /
• 제23권3호
• /
• pp.139-153
• /
• 2017

기업의 부도는 이해관계자들뿐 아니라 사회에도 경제적으로 큰 손실을 야기한다. 따라서 기업부도예측은 경영학 연구에 있어 중요한 연구주제 중 하나로 다뤄져 왔다. 기존의 연구에서는 부도 예측을 위해 다변량판별분석, 로짓분석, 신경망분석 등 다양한 방법론을 이용하여 모형의 부도 예측력을 높이고 과적합의 문제를 해결하고자 시도하였다. 하지만 기존의 연구들이 시간적 요소를 고려하지 않아 발생할 수 있는 문제점들을 갖고 있음에도 불구하고 부도 예측에 있어서 동적 모형을 이용한 연구는 활발히 진행되고 있지 않으며 따라서 동적 모형을 이용하여 부도예측모형이 더욱 개선될 여지가 있다는 점을 확인할 수 있었다. 이에 본 연구에서는 RNN(Recurrent Neural Network)을 이용하여 시계열 재무 데이터의 동적 변화를 반영한 모형을 만들었으며 기존의 부도예측모형들과의 비교분석을 통해 부도 예측력의 향상에 도움이 된다는 것을 확인할 수 있었다. 모형의 유용성을 검증하기 위해 KIS Value의 재무 데이터를 이용하여 실험을 수행하였고 비교모형으로는 다변량판별분석, 로짓분석, SVM, 인공신경망을 선정하였다. 실험 결과 제안된 모형이 비교 모형에 비해 우수한 예측력을 보이는 것으로 나타났다. 따라서 본 연구는 변수들의 변화를 포착하는 동적 모형을 부도예측에 새롭게 제안하여 부도예측 연구의 발전에 기여할 수 있을 것으로 기대된다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권7호
• /
• pp.440-445
• /
• 2017

전자상거래 발전에 따라 온라인 쇼핑을 이용하는 사람들이 증가하였고 제품 또한 다양해지고 있다. 이러한 추세로 구매자가 만족할 수 있는 정확한 추천시스템의 중요성이 증대되었으며 정확도를 높이기 위한 새로운 방법의 연구가 계속되고 있다. 순환신경망은 시퀀스 학습에 적합한 딥 러닝 방법 중 하나이며 본 연구에서는 추천시스템의 정확도를 높이는 방법으로 구매자의 제품 접근순서를 순환신경망에 적용하여 알고리즘 성능평가를 하였다. 알고리즘 성능평가에는 대표적인 순환신경망 알고리즘과 최적화 알고리즘으로 진행하였다. 순환신경망 알고리즘으로는 RNN, LSTM, GRU 그리고 최적화 알고리즘으로는 Adagrad, RMSProp, Adam optimizer를 사용하였다. 실험 도구로는 구글의 오픈소스 라이브러리인 텐서플로우를 사용하였고 데이터는 RecSys Challenge 2015에서 제공하는 e-commerce session 데이터를 활용하였다. 실험 결과 실험 데이터에 적합한 최적의 하이퍼파라미터를 발굴하고 적용하여 RecSys Challenge 2015 참가자들의 결과와 비교하였다. 상품 접근 순서만을 학습시킨 결과이기 때문에 등수가 높지는 않았지만 기존 추천시스템에 접목한다면 정확도 향상에 기여할 수 있을 것으로 보인다.

• 융합신호처리학회논문지
• /
• 제2권1호
• /
• pp.44-52
• /
• 2001

본 논문은 수정된 카오틱 신경망(MCNN)을 이용하여 완전 무제약 서체 숫자 인식을 다루고 있다. 카오틱 신경망(CNN)의 동적 특성과 학습과정을 강화함으로써 복잡한 패턴인식 문제를 해결할 수 있는 유용한 신경망으로 수정하였다. MCNN은 신경망 구조와 뉴런 자체가 높은 차수의 비선형 동적특성을 갖고 있으므로 복잡한 서체 숫자를 분류할 수 있는 적합한 신경망이다. 숫자 확인은 원래의 숫자 이미지로부터 특징을 추출하고 MCNN에 근거한 분류기를 이용하여 숫자를 인식한다. MCNN 분류기의 성능은 Canada, Montreal의 Concordia 대학의 숫자 데이터 베이스로 평가하였다. 인식성능의 상대적인 비교를 위해 MCNN 분류기는 리커런트 신경망(RNN) 분류기와 비교하였다. 실험결과에 의하면 인식율은 98.0%이었으며, 이는 MCNN 분류기가 같은 데이터 베이스에 대해 발표되었던 다른 분류기와 RNN 분류기보다 성능이 우수함을 나타낸다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
• /
• pp.224-227
• /
• 2015

상호참조해결은 특정 개체에 대해 다르게 표현한 단어들을 서로 연관지어 주며, 이러한 개체에 대해 표현한 단어들을 멘션(mention)이라 하며, 이런 멘션을 찾아내는 것을 멘션탐지(mention detection)라 한다. 멘션은 명사나 명사구를 기반으로 정의되며, 명사구의 경우에는 수식어를 포함하기 때문에 멘션탐지를 순차 데이터 문제(sequence labeling problem)로 정의할 수 있다. 순차 데이터 문제에는 Recurrent Neural Network(RNN) 종류의 모델을 적용할 수 있으며, 모델들은 Long Short-Term Memory(LSTM) RNN, LSTM Recurrent CRF(LSTM-CRF), Bidirectional LSTM-CRF(Bi-LSTM-CRF) 등이 있다. LSTM-RNN은 기존 RNN의 그레디언트 소멸 문제(vanishing gradient problem)를 해결하였으며, LSTM-CRF는 출력 결과에 의존성을 부여하여 순차 데이터 문제에 더욱 최적화 하였다. Bi-LSTM-CRF는 과거입력자질과 미래입력자질을 함께 학습하는 방법으로 최근에 가장 좋은 성능을 보이고 있다. 이에 따라, 본 논문에서는 멘션탐지에 Bi-LSTM-CRF를 적용할 것을 제안하며, 각 딥 러닝 모델들에 대한 비교실험을 보인다.

• Journal of Information Technology Applications and Management
• /
• 제25권2호
• /
• pp.73-90
• /
• 2018

Despite of increasing studies for product recommendation, the recommendation of product repurchase timing has not yet been studied actively. This study aims to propose deep neural network models usingsimple purchase history data to predict the repurchase timing of each customer and compare performances of the models from the perspective of prediction quality, including expected ROI of promotion, variability of precision and recall, and diversity of target selection for promotion. As an experiment result, a recurrent neural network (RNN) model showed higher promotion ROI and the smaller variability compared to MLP and other models. The proposed model can be used to develop a CRM system that can offer SMS or app-based promotionsto the customer at the right time. This model can also be used to increase sales for product repurchase businesses by balancing the level of ordersas well as inducing repurchases by customers.