• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.18 no.6
• /
• pp.1562-1582
• /
• 2024

The prediction of pedestrian trajectory is conducive to reducing traffic accidents and protecting pedestrian safety, which is crucial to the task of intelligent driving. The existing methods mainly use the past pedestrian trajectory to predict the future deterministic pedestrian trajectory, ignoring pedestrian intention and trajectory diversity. This paper proposes a multi-modal trajectory prediction model that introduces pedestrian intention. Unlike previous work, our model makes multi-modal goal-conditioned trajectory pedestrian prediction based on the past pedestrian trajectory and pedestrian intention. At the same time, we propose a novel Gate Recurrent Unit (GRU) to process intention information dynamically. Compared with traditional GRU, our GRU adds an intention unit and an intention gate, in which the intention unit is used to dynamically process pedestrian intention, and the intention gate is used to control the intensity of intention information. The experimental results on two first-person traffic datasets (JAAD and PIE) show that our model is superior to the most advanced methods (Improved by 30.4% on MSE_0.5s and 9.8% on MSE_1.5s for the PIE dataset; Improved by 15.8% on MSE_0.5s and 13.5% on MSE_1.5s for the JAAD dataset). Our multi-modal trajectory prediction model combines pedestrian intention that varies at each prediction time step and can more comprehensively consider the diversity of pedestrian trajectories. Our method, validated through experiments, proves to be highly effective in pedestrian trajectory prediction tasks, contributing to improving traffic safety and the reliability of intelligent driving systems.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.17 no.2
• /
• pp.486-503
• /
• 2023

Logs play an important role in mastering the health of the system, experienced operation and maintenance engineer can judge which part of the system has a problem by checking the logs. In recent years, many system architectures have changed from single application to distributed application, which leads to a very huge number of logs in the system and manually check the logs to find system errors impractically. To solve the above problems, we propose a method based on Message Middleware and ATT-GRU (Attention Gate Recurrent Unit) to detect the logs anomaly of distributed systems. The works of this paper mainly include two aspects: (1) We design a high-performance distributed logs collection architecture to complete the logs collection of the distributed system. (2)We improve the existing GRU by introducing the attention mechanism to weight the key parts of the logs sequence, which can improve the training efficiency and recognition accuracy of the model to a certain extent. The results of experiments show that our method has better superiority and reliability.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.35-40
• /
• 2017

기계 독해(Machine reading comprehension)는 주어진 문맥을 이해하고, 질문에 적합한 답을 문맥 내에서 찾는 문제이다. Simple Recurrent Unit (SRU)은 Gated Recurrent Unit (GRU)등과 같이 neural gate를 이용하여 Recurrent Neural Network (RNN)에서 발생하는 vanishing gradient problem을 해결하고, gate 입력에서 이전 hidden state를 제거하여 GRU보다 속도를 향상시킨 모델이며, Self-matching Network는 R-Net 모델에서 사용된 것으로, 자기 자신의 RNN sequence에 대하여 어텐션 가중치 (attention weight)를 계산하여 비슷한 의미 문맥 정보를 볼 수 있기 때문에 상호참조해결과 유사한 효과를 볼 수 있다. 본 논문에서는 한국어 기계 독해 데이터 셋을 구축하고, 여러 층의 SRU를 이용한 Encoder에 Self-matching layer를 추가한 $S^2$-Net 모델을 제안한다. 실험 결과, 본 논문에서 제안한 $S^2$-Net 모델이 한국어 기계 독해 데이터 셋에서 EM 65.84%, F1 78.98%의 성능을 보였다.

• 한국어정보학회:학술대회논문집
• /
• 2017.10a
• /
• pp.35-40
• /
• 2017

기계 독해(Machine reading comprehension)는 주어진 문맥을 이해하고, 질문에 적합한 답을 문맥 내에서 찾는 문제이다. Simple Recurrent Unit (SRU)은 Gated Recurrent Unit (GRU)등과 같이 neural gate를 이용하여 Recurrent Neural Network (RNN)에서 발생하는 vanishing gradient problem을 해결하고, gate 입력에서 이전 hidden state를 제거하여 GRU보다 속도를 향상시킨 모델이며, Self-matching Network는 R-Net 모델에서 사용된 것으로, 자기 자신의 RNN sequence에 대하여 어텐션 가중치 (attention weight)를 계산하여 비슷한 의미 문맥 정보를 볼 수 있기 때문에 상호참조해결과 유사한 효과를 볼 수 있다. 본 논문에서는 한국어 기계 독해 데이터 셋을 구축하고, 여러 층의 SRU를 이용한 Encoder에 Self-matching layer를 추가한 $S^2$-Net 모델을 제안한다. 실험 결과, 본 논문에서 제안한 $S^2$-Net 모델이 한국어 기계 독해 데이터 셋에서 EM 65.84%, F1 78.98%의 성능을 보였다.

• ETRI Journal
• /
• v.41 no.3
• /
• pp.371-382
• /
• 2019

Machine reading comprehension is the task of understanding a given context and finding the correct response in that context. A simple recurrent unit (SRU) is a model that solves the vanishing gradient problem in a recurrent neural network (RNN) using a neural gate, such as a gated recurrent unit (GRU) and long short-term memory (LSTM); moreover, it removes the previous hidden state from the input gate to improve the speed compared to GRU and LSTM. A self-matching network, used in R-Net, can have a similar effect to coreference resolution because the self-matching network can obtain context information of a similar meaning by calculating the attention weight for its own RNN sequence. In this paper, we construct a dataset for Korean machine reading comprehension and propose an $S^2-Net$ model that adds a self-matching layer to an encoder RNN using multilayer SRU. The experimental results show that the proposed $S^2-Net$ model has performance of single 68.82% EM and 81.25% F1, and ensemble 70.81% EM, 82.48% F1 in the Korean machine reading comprehension test dataset, and has single 71.30% EM and 80.37% F1 and ensemble 73.29% EM and 81.54% F1 performance in the SQuAD dev dataset.

• 한국어정보학회:학술대회논문집
• /
• 2016.10a
• /
• pp.128-133
• /
• 2016

문장유사도 분석은 문서 평가 자동화에 활용될 수 있는 중요한 기술이다. 최근 순환신경망을 이용한 인코더-디코더 언어 모델이 기계학습 분야에서 괄목할만한 성과를 거두고 있다. 본 논문에서는 한국어 형태소임베딩 모델과 GRU(Gated Recurrent Unit)기반의 인코더를 제시하고, 이를 이용하여 언어모델을 한국어 위키피디아 말뭉치로부터 학습하고, 한국어 질의응답 시스템에서 질문에 대한 정답을 유추 할 수 있는 증거문장을 찾을 수 있도록 문장유사도를 측정하는 방법을 제시한다. 본 논문에 제시된 형태소임베딩 모델과 GRU 기반의 인코딩 모델을 이용하여 문장유사도 측정에 있어서, 기존 글자임베딩 방법에 비해 개선된 결과를 얻을 수 있었으며, 질의응답 시스템에서도 유용하게 활용될 수 있음을 알 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2016.10a
• /
• pp.128-133
• /
• 2016

문장유사도 분석은 문서 평가 자동화에 활용될 수 있는 중요한 기술이다. 최근 순환신경망을 이용한 인코더-디코더 언어 모델이 기계학습 분야에서 괄목할만한 성과를 거두고 있다. 본 논문에서는 한국어 형태 소임베딩 모델과 GRU(Gated Recurrent Unit)기반의 인코더를 제시하고, 이를 이용하여 언어모델을 한국어 위키피디아 말뭉치로부터 학습하고, 한국어 질의응답 시스템에서 질문에 대한 정답을 유추 할 수 있는 증거문장을 찾을 수 있도록 문장유사도를 측정하는 방법을 제시한다. 본 논문에 제시된 형태소임베딩 모델과 GRU 기반의 인코딩 모델을 이용하여 문장유사도 측정에 있어서, 기존 글자임베딩 방법에 비해 개선된 결과를 얻을 수 있었으며, 질의응답 시스템에서도 유용하게 활용될 수 있음을 알 수 있었다.

• Journal of Korea Multimedia Society
• /
• v.25 no.9
• /
• pp.1257-1265
• /
• 2022

Recognition of sign language is challenging due to the occlusion of hands, accuracy of hand gestures, and high computational costs. In recent years, deep learning techniques have made significant advances in this field. Although these methods are larger and more complex, they cannot manage long-term sequential data and lack the ability to capture useful information through efficient information processing with faster convergence. In order to overcome these challenges, we propose a word-level sign language recognition (SLR) system that combines a real-time human pose detection library with the minimized version of the gated recurrent unit (GRU) model. Each gate unit is optimized by discarding the depth-weighted reset gate in GRU cells and considering only current input. Furthermore, we use sigmoid rather than hyperbolic tangent activation in standard GRUs due to performance loss associated with the former in deeper networks. Experimental results demonstrate that our pose-based optimized GRU (Pose-OGRU) outperforms the standard GRU model in terms of prediction accuracy, convergency, and information processing capability.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.468-470
• /
• 2024

고령으로 거동이 불편하거나 목 아래 전신 마비 또는 와병 환자를 위하여 저가형 단 채널 뇌파(EEG) 측정기를 사용하여 환자의 흥분이나 불안정 상태를 인식할 수 있는 순환신경망(RNN) 기반 뇌파 인식기 모델을 제안하였다. 제한된 환경에서 GRU(Gate Recurrent Unit) 신경망을 사용한 뇌파 인식기는 <정상/안정>은 인식률 100%, <흥분/불안정>은 90%의 인식률을 보였다. 또한, 자체 개발한 생체신호 기반 호출 시스템과 연동하여 구현함으로써 적용 가능성을 검증하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.15-16
• /
• 2020

본 논문에서는 산업 현장에서 사용되는 기계들의 건전성을 유지하고 예측하는 시스템을 개선할 수 있는 연구 결과를 비교하고 설명한다. 이번 연구에서는 딥러닝 기술을 이용함으로서 특정장치에 종속되지 않고 범용적으로 수집된 소음데이터를 사용하여 현장 적용의 유연성을 높이고, 딥러닝 모델 중 GRU를 이용하여 기존 연구 결과와 비교 실험을 하여 더 우수한 결과를 얻었다.