• Journal of Information Processing Systems
• /
• 제17권4호
• /
• pp.818-833
• /
• 2021

To address the problems of low precision rate, insufficient feature extraction, and poor contextual ability in existing text sentiment analysis methods, a mixed model account of a CNN-BiLSTM-TE (convolutional neural network, bidirectional long short-term memory, and topic extraction) model was proposed. First, Chinese text data was converted into vectors through the method of transfer learning by Word2Vec. Second, local features were extracted by the CNN model. Then, contextual information was extracted by the BiLSTM neural network and the emotional tendency was obtained using softmax. Finally, topics were extracted by the term frequency-inverse document frequency and K-means. Compared with the CNN, BiLSTM, and gate recurrent unit (GRU) models, the CNN-BiLSTM-TE model's F1-score was higher than other models by 0.0147, 0.006, and 0.0052, respectively. Then compared with CNN-LSTM, LSTM-CNN, and BiLSTM-CNN models, the F1-score was higher by 0.0071, 0.0038, and 0.0049, respectively. Experimental results showed that the CNN-BiLSTM-TE model can effectively improve various indicators in application. Lastly, performed scalability verification through a takeaway dataset, which has great value in practical applications.

• 전력전자학회논문지
• /
• 제27권1호
• /
• pp.48-55
• /
• 2022

This paper proposes a battery remaining useful life (RUL) prediction method using a deep learning-based EMD-CNN-LSTM hybrid method. The proposed method pre-processes capacity data by applying empirical mode decomposition (EMD) and predicts the remaining useful life using CNN-LSTM. CNN-LSTM is a hybrid method that combines convolution neural network (CNN), which analyzes spatial features, and long short term memory (LSTM), which is a deep learning technique that processes time series data analysis. The performance of the proposed remaining useful life prediction method is verified using the battery aging experiment data provided by the NASA Ames Prognostics Center of Excellence and shows higher accuracy than does the conventional method.

• 한국융합학회논문지
• /
• 제9권12호
• /
• pp.47-52
• /
• 2018

개체명 인식(Named Entity Recognition)시스템은 문서로부터 고유한 의미를 가질 수 있는 인명(PS), 지명(LC), 기관명(OG) 등의 개체명을 추출하고 추출된 개체명의 범주를 결정하는 시스템이다. 최근 딥러닝 방식을 이용한 개체명 인식 연구에서 입력 데이터의 앞, 뒤 방향을 고려한 LSTM 기반의 Bi-LSTM 모델로부터 출력 데이터 간의 전이 확률을 이용한 CRF를 결합한 방식의 Bi-LSTM-CRF가 우수한 성능을 보이고, 문자 및 단어 단위의 효율적인 임베딩 벡터생성에 관한 연구와 CNN, LSTM을 활용한 모델에서도 좋은 성능을 보여주고 있다. 본 연구에서는 한국어 개체명 인식시스템 성능 향상을 위해 자질을 보강한 Bi-LSTM-CNN-CRF 모델에 관해 기술하고 전통문화 말뭉치구축 방식에 대해 제안한다. 그리고 구축한 말뭉치를 한국어 개체명 인식 성능 향상을 위한 자질 보강 모델 Bi-LSTM-CNN-CRF로 학습한 결과에 대해 제안한다.

• Journal of Information Processing Systems
• /
• 제18권1호
• /
• pp.115-129
• /
• 2022

Adopting Internet of Things (IoT)-based technologies in smart homes helps users analyze home appliances electricity consumption for better overall cost monitoring. The IoT application like smart home system (SHS) could suffer from large missing values gaps due to several factors such as security attacks, sensor faults, or connection errors. In this paper, a novel framework has been proposed to predict large gaps of missing values from the SHS home appliances electricity consumption time-series datasets. The framework follows a series of steps to detect, predict and reconstruct the input time-series datasets of missing values. A hybrid convolutional neural network-long short term memory (CNN-LSTM) neural network used to forecast large missing values gaps. A comparative experiment has been conducted to evaluate the performance of hybrid CNN-LSTM with its single variant CNN and LSTM in forecasting missing values. The experimental results indicate a performance superiority of the CNN-LSTM model over the single CNN and LSTM neural networks.

• Journal of information and communication convergence engineering
• /
• 제21권2호
• /
• pp.159-166
• /
• 2023

The COI gene is a sequence of approximately 650 bp at the 5' terminal of the mitochondrial Cytochrome c Oxidase subunit I (COI) gene. As an effective DeoxyriboNucleic Acid (DNA) barcode, it is widely used for the taxonomic identification and evolutionary analysis of species. We created a CNN-LSTM hybrid model by combining the gene features partially extracted by the Long Short-Term Memory ( LSTM ) network with the feature maps obtained by the CNN. Compared to K-Means Clustering, Support Vector Machines (SVM), and a single CNN classification model, after training 278 samples in a training set that included 15 genera from two orders, the CNN-LSTM hybrid model achieved 94% accuracy in the test set, which contained 118 samples. We augmented the training set samples and four genera into four orders, and the classification accuracy of the test set reached 100%. This study also proposes calculating the cosine similarity between the training and test sets to initially assess the reliability of the predicted results and discover new species.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권6호
• /
• pp.245-254
• /
• 2022

단백질은 모든 생명 활동의 기본 단위이며, 이를 이해하는 것은 생명 현상을 연구하는 데 필수적이다. 인공신경망을 이용한 기계학습 방법론이 대두된 이후로 많은 연구자들이 단백질 서열만을 사용하여 단백질의 기능을 예측하고자 하였다. 많은 조합의 딥러닝 모델이 학계에 보고되었으나 그 방법은 제각각이며 정형화된 방법론이 없고, 각기 다른 데이터에 맞춰져있어 어떤 알고리즘이 더 단백질 데이터를 다루는 데 적합한지 직접 비교분석 된 적이 없다. 본 논문에서는 단백질의 기능을 예측하는 융합 분야에서 가장 많이 사용되는 대표 알고리즘인 CNN, LSTM, GRU 모델과 이를 이용한 두가지 결합 모델에 동일 데이터를 적용하여 각 알고리즘의 단일 모델 성능과 결합 모델의 성능을 정확도와 속도를 기준으로 비교 평가하였으며 최종 평가 척도를 마이크로 정밀도, 재현율, F1 점수로 나타내었다. 본 연구를 통해 단순 분류 문제에서 단일 모델로 LSTM의 성능이 준수하고, 복잡한 분류 문제에서는 단일 모델로 중첩 CNN이 더 적합하며, 결합 모델로 CNN-LSTM의 연계 모델이 상대적으로 더 우수함을 확인하였다.

• 한국정보통신학회논문지
• /
• 제24권1호
• /
• pp.57-64
• /
• 2020

최근 IoT 센서의 확산과 빅데이터, 인공지능 관련 기술의 발전으로 인해 미세먼지 오염도에 대한 시계열 예측 관련 연구가 활발하게 진행되고 있다. 하지만 미세먼지 오염도를 나타내는 데이터가 급격히 변하는 특성(Extreme)을 가지고 있어 기존의 시계열 예측방법으로는 현장에서 사용할 수 있는 수준의 정확도를 내지 못하고 있다. 이 논문에서는 LSTM을 활용하여 미세먼지 오염도를 예측할 때 CNN을 통한 환경상황을 분류한 결과를 반영하는 방법을 제안한다. 이 방법은 LSTM과 CNN이 독립적이지만 인터페이스를 통해 하나의 네트워크로 통합되기 때문에, 응용 LSTM보다 이해하기 쉽다. Beijing PM2.5 데이터를 활용한 제안 방법의 검증 실험에서 예측 정확도와 변화 시기에 대한 예측력이 다양한 실험 case에서 일관되게 향상된 결과를 보였다.

• 한국지반신소재학회논문집
• /
• 제21권2호
• /
• pp.11-19
• /
• 2022

본 연구에서는 하수관거 내부에서 촬영된 균열 데이터를 활용하여 균열검출에 대한 시계열 예측 성능을 개선하기 위해 GoogleNet의 전이학습과 CNN- LSTM(Long Short-Term Memory) 결합 방법을 제안하였다. LSTM은 합성곱방법(CNN)의 장기의존성 문제를 해결할 수 있으며 공간 및 시간적 특징을 동시에 모델링 할 수 있다. 제안 방법의 성능을 검증하기 위해 하수관거 내부 균열 데이터를 활용하여 학습데이터, 초기학습률 및 최대 Epochs를 변화하면서 RMSE를 비교한 결과 모든 시험 구간에서 제안 방법의 예측 성능이 우수함을 알 수 있다. 또한 데이터가 발생하는 시점에 대한 예측 성능을 살펴본 결과 역시 제안방법이 우수하게 나타나 균열검출의 예측에서 제안 방법이 효율적인 것을 검증하였다. 기존 합성곱방법(CNN) 단독 모델과 비교함으로써 본 연구를 통해 확보된 제안 방법과 실험 결과를 활용할 경우 콘크리트 구조물의 균열데이터뿐만 아니라 시계열 데이터가 많이 발생하는 환경, 인문과학 등 다양한 영역에서 응용이 가능하다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.73-74
• /
• 2023

본 논문은 교량 안전에 관련하여 CNN과 LSTM을 결합한 모델을 사용해 콘크리트 균열을 미리 에측한다. 이미지 데이터는 CNN을 통해 처리되고, 시계열 데이러는 LSTM을 통해 처리가 된다. 훈련된 모델을 사용해 새로운 이미지와 시계열 데이터에 대한 균열 예측을 수행한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.1230-1233
• /
• 2023

최근, 65세 이상의 1인 가구가 급증함에 따라 노인을 대상으로 한 다양한 연구 및 서비스가 활발히 이루어지고 있다. 이에 본 논문에서는 시계열 센서 데이터를 이용하여 CNN-LSTM 기반의 노인 활동 인식 시스템을 제안한다. 수집된 데이터는 3축 가속도 센서가 내장된 2개의 디바이스를 등과 허벅지에 부착하였다. 수집 주기는 50hz로 진행되었으며, 각 행동은 2초를 기준으로 산정하였다. 학습데이터의 입력값으로 사용하기 위해, 슬라이딩 윈도우를 50%로 적용하여 시퀀스를 구성하였다. 모델은 특징을 반영하기 위한 CNN(Convolutional Neural Networks)과 시계열적 특성을 반영하기 위한 LSTM(Long-Short Term Memory)을 하이브리드한 1차원 형태의 CNN-LSTM 모델을 사용한다. 행동은 4가지로 분류하였으며, 97%의 정확도를 나타내고 있다.