• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.147-150
• /
• 2018

목적 지향 대화 시스템은 자연어 이해, 대화 관리자, 자연어 생성과 같은 세분화 모델들의 결합으로 이루어져있어 하위 모델에 대한 오류 전파에 취약하다. 이러한 문제점을 해결하기 위해 자연어 이해 모델과 대화 관리자를 하나의 네트워크로 구성하고 오류에 강건한 심층 Q 네트워크를 제안한다. 본 논문에서는 대화의 전체 흐름을 파악 할 수 있는 순환 신경망인 LSTM에 심층 Q 네트워크 적용한 심층 순환 Q 네트워크 기반 목적 지향 대화 시스템을 제안한다. 실험 결과, 제안한 심층 순환 Q 네트워크는 LSTM, 심층 Q 네트워크보다 각각 정밀도 1.0%p, 6.7%p 높은 성능을 보였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.24 no.12
• /
• pp.1581-1587
• /
• 2020

With the emergence of convolutional neural network in the field of machine learning, the model for solving image processing problems has seen rapid development. However, the computing resources required are also rising, making it difficult to learn from a typical environment. Attention mechanism is originally proposed to prevent the gradient vanishing problem of the recurrent neural network, but this can also be used in a direction favorable to learning of the convolutional neural network. In this paper, attention mechanism is applied to convolutional neural network, and the excellence of the proposed method is demonstrated through the comparison of learning time and performance difference at this time. The proposed model showed that both learning time and performance were superior in object detection based on YOLO compared to models without attention mechanism, and experimentally demonstrated that learning time could be significantly reduced. In addition, this is expected to increase accessibility to machine learning by end users.

• Journal of the Institute of Convergence Signal Processing
• /
• v.23 no.4
• /
• pp.234-240
• /
• 2022

This paper proposes a customized AI exercise recommendation service for balancing the relative amount of exercise according to the working environment by each occupation. WISDM database is collected by using acceleration and gyro sensors, and is a dataset that classifies physical activities into 18 categories. Our system recommends a adaptive exercise using the analyzed activity type after classifying 18 physical activities into 3 physical activities types such as whole body, upper body and lower body. 1 Dimensional convolutional neural network is used for classifying a physical activity in this paper. Proposed model is composed of a convolution blocks in which 1D convolution layers with a various sized kernel are connected in parallel. Convolution blocks can extract a detailed local features of input pattern effectively that can be extracted from deep neural network models, as applying multi 1D convolution layers to input pattern. To evaluate performance of the proposed neural network model, as a result of comparing the previous recurrent neural network, our method showed a remarkable 98.4% accuracy.

• KIPS Transactions on Software and Data Engineering
• /
• v.8 no.3
• /
• pp.123-128
• /
• 2019

This paper proposes the stock price prediction based on the artificial intelligence, where the model with recurrent convolution neural network (RCNN) layers is adopted. In the motivation of this prediction, long short-term memory model (LSTM)-based neural network can make the output of the time series prediction. On the other hand, the convolution neural network provides the data filtering, averaging, and augmentation. By combining the advantages mentioned above, the proposed technique predicts the estimated stock price of next day. In addition, in order to emphasize the recent time series, a custom weighted loss function is adopted. Moreover, stock data related to the stock price index are adopted to consider the market trends. In the experiments, the proposed stock price prediction reduces the test error by 3.19%, which is over other techniques by about 19%.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.16 no.4
• /
• pp.396-401
• /
• 2006

It is well-known that a neural network with cyclic connections generates plural limit cycles, thus, being used as a memory system for storing large number of dynamic information. In this paper, a continuous-time cyclic connection neural network was built so that each neuron is connected only to its nearest neurons with binary synaptic weights of ${\pm}1$. The type and the number of limit cycles generated by such network has also been demonstrated through simulation. In particular, the effect of chaos signal for transition between limit cycles has been tested. Furthermore, it is evaluated whether the chaotic noise is more effective than random noise in the process of the dynamical neural networks.

• Proceedings of the KIEE Conference
• /
• 2008.09a
• /
• pp.255-257
• /
• 2008

초고속 전기정보의 전송 시대와 U-정보전자시대에 응용하는 최신 정보기기와 의료기기 및 군사정보의 실시간 전송을 위하여 많은 실시간 알고리즘과 모델링의 연구가 필수적이다. 또한 원격지에 많은 전기 및 전력정보를 비선형적 특성이 있는 환경하에서도 정보의 오차가 없이 실시간으로 전송하는 기술은 현대 정보사회에서 해결해야 할 매우 중요한 요소중에 하나이다. 이러한 내용으로 수행되어지는 신경회로망을 이용한 실시간 모델링을 제안하고자 한다. 이와 관련한 일반적인 방법으로 역전파 학습 알고리즘을 들 수 있다. 파라미터에도 덜 민감하며, 특히 온라인으로 인식과 제어가 가능하도록 수렴속도를 향상 시켜야하는 새로운 모델의 필요성이 요구된다. 본 연구에서는 기존의 신경회로망이 가지고 있는 여러 단점들을 개선하고자 새로운 학습 알고리즘과 새로운 구조의 신경회로망을 제시한다. 또한 제시한 알고리즘을 이용하여 불규칙적 시스템 모델망과 다양한 센서 모델링 등에 연결하여 다양한 실험을 수행하여 그 결과를 보여 실시간 특성을 갖는 것을 입증해 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.1030-1032
• /
• 2019

형태소 분석을 통하여 한국어 문장을 형태소 단위의 임베딩 및 학습 관련 연구가 되었으나 최근 비정형적인 텍스트 데이터의 증가에 따라 음소 단위의 임베딩을 통한 신경망 학습에 대한 요구가 높아지고 있다. 본 논문은 비정형적인 텍스트 감성 분석 성능 향상을 위해 음소 단위의 토큰을 생성하고 이를 CNN 모형을 기반으로 다차원 임베딩을 수행하고 감성분석을 위하여 양방향 순환신경망 모델을 사용하여 유튜브의 비정형 텍스트를 학습시켰다. 그 결과 텍스트의 긍정 부정 판별에 있어 90%의 정확도를 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.05a
• /
• pp.509-512
• /
• 2021

최근 다양한 시계열 데이터의 분석이 딥러닝 방법을 통하여 수행되고 있다. 주로 RNN과 LSTM을 이용하여 많은 시계열 예측이 이루어지고 있다. 하지만 이러한 예측모델을 생성하는데 가장 중요한 것은 어떠한 변수를 얼마나 사용하는지가 중요하다. 이에 대하여, 본 연구에서는 3개의 신경망을 적용하여, 속성을 선택하는 Selection MLP, 속성에 가중치를 부여하는 Extraction MLP 그리고 예측을 진행하는 Prediction MLP로 이루어진 MLP-SEL 구조를 제안한다. 비교를 위하여 다른 순환 신경망에 대하여 시계열 데이터에 대한 예측을 진행하였으며, 그 결과 우리가 제안한 MLP-SEL 모델의 시계열 예측이 좋은 성능을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.555-557
• /
• 2023

해양의 영향을 많이 받는 우리나라의 지리적 특성상 해양 상황은 산업 및 생업과 밀접한 관계가 있다. OPEN API 를 이용하여 유향/유속, 조위등 해양 환경관련 실시간 시계열 데이터를 수집한 후 2 차원 공간에 표시하여 순환 신경망 모델을 이용하여 학습한다. 학습된 모델을 실제 데이터에 적용하여 파랑을 예측한다. 시계열의 성격이 있고 공간상에 표시할 수 있는 데이터라면 본 논문에서 제시한 체계를 통해 예측할 수 있을 것이라 예상한다.

• Journal of Software Assessment and Valuation
• /
• v.17 no.2
• /
• pp.39-46
• /
• 2021

To analyze and defend malware codes, reverse engineering is used as identify function location information. However, the stripped binary is not easy to find information such as function location because function symbol information is removed. To solve this problem, there are various binary analysis tools such as BAP and BitBlaze IDA Pro, but they are based on heuristics method, so they do not perform well in general. In this paper, we propose a technique to extract function information using LSTM-based models by applying algorithms of N-byte method that is extracted binaries corresponding to reverse assembling instruments in a recursive descent method. Through experiments, the proposed techniques were superior to the existing techniques in terms of time and accuracy.