• 한국음향학회지
• /
• 제38권4호
• /
• pp.433-441
• /
• 2019

본 논문에서는 입 주변에 방사한 초음파 신호가 반사되어 돌아올 때 발생하는 초음파 도플러 신호를 LSTM(Long Short Term Memory) 순환 신경망 (Recurrent Neural Networks, RNN)을 이용해 음성 패러미터를 추정하는 방법을 소개하고 다층 퍼셉트론 (Multi-Layer Perceptrons, MLP) 신경망을 이용한 방법과 성능 비교를 하였다. 본 논문에서는 LSTM 순환 신경망을 이용해 초음파 도플러 신호로부터 음성 신호의 푸리에 변환 계수를 추정하였다. LSTM 순환 신경망을 학습하기 위한 입력 및 기준값으로 초음파 도플러 신호와 음성 신호로부터 각각 추출된 멜 주파수 대역별 에너지 로그값과 푸리에 변환 계수가 사용되었다. 테스트 데이터를 이용한 실험을 통해 LSTM 순환 신경망과 MLP의 성능을 평가, 비교하였고 척도로는 평균 제곱근 오차(Root Mean Squared Error, RMSE)가 사용되었다.각 실험의 RMSE는 각각 0.5810, 0.7380로 나타났다. 약 0.1570 차이로 LSTM 순환 신경망을 이용한 방법의 성능 우세한 것으로 확인되었다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2019년도 학술발표회
• /
• pp.320-320
• /
• 2019

유역의 수문 자료를 정확하게 분석하는 것은 수리 구조물을 효율적으로 운영하기 위한 중요한 요소이다. 인공신경망(Artificial Neural Networks, ANNs) 모형은 입 출력 자료의 비선형적인 관계를 해석할 수 있는 모형으로 강우-유출 해석 등 수문 분야에 다양하게 적용되어 왔다. 이후 기존의 인공신경망 모형을 연속적인(sequential) 자료의 분석에 더 적합하도록 개선한 회귀신경망(Recurrent Neural Networks, RNNs) 모형과 회귀신경망 모형의 '장기 의존성 문제'를 개선한 장단기메모리(Long Short-Term Memory Networks, 이하 LSTM)가 차례로 제안되었다. LSTM은 최근에 주목받는 딥 러닝(Deep learning) 기법의 하나로 수문 자료와 같은 시계열 자료의 분석에 뛰어난 성능을 보일 것으로 예상되며, 수문 분야에서 이에 대한 적용성 평가가 요구되고 있다. 본 연구에서는 인공신경망 모형과 LSTM 모형으로 유출량을 모의하여 두 모형의 성능을 비교하고 향후 LSTM 모형의 활용 가능성을 검토하고자 하였다. 나주 수위관측소의 수위 자료와 인접한 기상관측소의 강우량 자료로 모형의 입 출력 자료를 구성하여 강우 사상에 대한 시간별 유출량을 모의하였다. 연구 결과, 1시간 후의 유출량에 대해서는 두 모형 모두 뛰어난 모의 능력을 보였으나, 선행 시간이 길어질수록 LSTM의 정확성은 유지되는 반면 인공신경망 모형의 정확성은 점차 떨어지는 것으로 나타났다. 앞으로의 연구에서 유역 내 다양한 수리 구조물에 의한 유 출입량을 추가로 고려한다면 LSTM 모형의 활용성을 보다 더 확장할 수 있을 것이다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권5호
• /
• pp.322-327
• /
• 2017

문서 분류 문제는 오랜 기간 동안 자연어 처리 분야에서 연구되어 왔다. 우리는 기존 컨볼루션 신경망을 이용했던 연구에서 나아가, 순환 신경망에 기반을 둔 문서 분류를 수행하였고 그 결과를 종합하여 제시하려 한다. 컨볼루션 신경망은 단층 컨볼루션 신경망을 사용했으며, 순환 신경망은 가장 성능이 좋다고 알려져 있는 장기-단기 기억 신경망과 회로형 순환 유닛을 활용하였다. 실험 결과, 분류 정확도는 Multinomial Naïve Bayesian Classifier < SVM < LSTM < CNN < GRU의 순서로 나타났다. 따라서 텍스트 문서 분류 문제는 시퀀스를 고려하는 것 보다는 문서의 feature를 추출하여 분류하는 문제에 가깝다는 것을 확인할 수 있었다. 그리고 GRU가 LSTM보다 문서의 feature 추출에 더 적합하다는 것을 알 수 있었으며 적절한 feature와 시퀀스 정보를 함께 활용할 때 가장 성능이 잘 나온다는 것을 확인할 수 있었다.

• 터널과지하공간
• /
• 제28권3호
• /
• pp.277-291
• /
• 2018

이 논문에서는 재료의 단축하중 하에서의 응력-변형률 곡선을 예측하기 위하여 순환 신경망의 일종인 LSTM(Long Short-Term Memory) 알고리즘을 사용하였다. 석고와 규사를 혼합해 만든 재료에 일축압축시험을 수행하여 얻은 응력-변형률 데이터를 이용하였으며, 낮은 응력 구간의 초반 데이터를 활용해서 파괴 전까지의 거동을 예측하였다. 앞부분의 데이터를 활용하여 단계적으로 뒤쪽 구간의 값을 예측하는 LSTM 순환 신경망의 구조상 큰 응력에 대응하는 변형률을 예측할 경우에는 앞쪽 구간의 오차가 누적되어 실측값과 차이가 늘어났으나 전반적으로 높은 정확도로 응력-변형률 곡선을 예측하였다. 예측에 사용한 초기 데이터의 길이가 늘어나는 경우 정확도는 조금 증가했다. 그러나 접선을 이용한 단순 예측과의 성능 차이는 초기 데이터의 길이가 작은 경우에 두드러졌으며, 적은양의 데이터로도 응력-변형률 곡선 전체 구간의 예측을 가능하게 한다는 점으로부터 신경망 모델의 필요성을 확인하였다.

• 한국정보전자통신기술학회논문지
• /
• 제11권2호
• /
• pp.204-208
• /
• 2018

본 논문에서는 시계열 데이터인 주가의 변동 패턴을 학습하고, 주가 가격을 예측하기 적합한 주가 예측 딥러닝 모델을 제시하고 평가하였다. 일반신경망에 시계열 개념이 추가되어 은닉계층에 이전 정보를 기억시킬 수 있는 순환신경망이 시계열 데이터인 주가 예측 모델로 적합하다. 순환신경망에서 나타나는 기울기 소멸문제를 해결하며, 장기의존성을 유지하기 위하여, 순환신경망의 내부에 작은 메모리를 가진 LSTM을 사용한다. 또한, 순환신경망의 시계열 데이터의 직전 패턴 기반으로만 학습하는 경향을 보이는 한계를 해결하기 위하여, 데이터의 흐름의 역방향에 은닉계층이 추가되는 양방향 LSTM 순환신경망을 이용하여 주가예측 모델을 구현하였다. 실험에서는 제시된 주가 예측 모델에 텐서플로우를 이용하여 주가와 거래량을 입력 값으로 학습을 하였다. 주가예측의 성능을 평가하기 위해서, 실제 주가와 예측된 주가 간의 평균 제곱근 오차를 구하였다. 실험결과로는 단방향 LSTM 순환신경망보다, 양방향 LSTM 순환신경망을 이용한 주가예측 모델이 더 작은 오차가 발생하여 주가 예측 정확성이 향상되었다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2021년도 학술발표회
• /
• pp.325-325
• /
• 2021

딥러닝을 이용한 침수해석은 강우자료와 그에 대한 1차원 EPA-SWMM 결과인 총월류량을 인공신경망에 학습시키고, 학습시킨 인공신경망을 테스트하기 위해 또다른 강우자료를 인공신경망으로 예측해서, 이것이 해석결과를 얼마나 잘 나타내는지 확인하고, 인공신경망이 모의한 총월류량을 잘 나타낸다면 인공신경망을 잘 학습시킨 것으로 판단하여 새로운 강우가 발생했을 때 새로운 강우자료에 대해 매번 새로 1차원, 2차원해석을 하는 것을 대신하여 인공신경망만으로 총월류량을 예측할 수 있게 되는 것이다. 강우자료를 입력자료로 사용하게 되는데, 강우량만으로는 그 강우의 특성을 전부 나타낸다고 할 수 없기 때문에 지속기간과 총강우량, 왜도(skewness), 표준편차를 추가적인 입력자료로 사용한다. 1차원, 2차원 해석결과인 총월류량은 입력자료에 대한 타깃자료가 되어, 인공신경망을 테스트하거나 실제로 이용할 때 비슷한 지속기간과 총강우량, 왜도, 표준편차를 가진 강우가 발생했을 때 타깃자료를 이용해 총월류량을 예측하는 것이다. 인공신경망이 얼마나 잘 학습되었는지 확인하기 위해서 침수지도를 작성해볼 필요가 있다. 1차원, 2차원 모의해석으로 나온 총월류량과, 인공신경망을 이용해 예측한 총월류량을 이용해 각각 침수지도를 작성하여 시각적 자료로 변환하여 비교하고, 침수지도가 일치한다면 인공신경망이 잘 학습되었다고 판단할 수 있고, 새로운 강우가 발생하면 학습시킨 인공신경망을 통해 1차원, 2차원 모의해석을 하지 않고도 총월류량을 예측할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 추계학술대회
• /
• pp.13-16
• /
• 2016

본 논문에서는 순환 신경망을 이용하여 동영상에서의 배경과 전경을 구분하는 알고리즘을 제안한다. 순환 신경망은 일련의 순차적인 입력에 대해서 내부의 루프(loop)를 통해 이전 입력에 의한 정보를 지속할 수 있도록 구성되는 신경망을 말한다. 순환 신경망의 여러 구조들 가운데, 우리는 장기적인 관계에도 반응할 수 있도록 장단기 기억 신경망(Long short-term memory networks, LSTM)을 사용했다. 그리고 동영상에서의 시간적인 연결 뿐 아니라 공간적인 연관성도 배경과 전경을 판단하는 것에 영향을 미치기 때문에, 공간적 순환 신경망을 적용하여 내부 신경망(hidden layer)들의 정보가 공간적으로 전달될 수 있도록 신경망을 구성하였다. 제안하는 알고리즘은 기본적인 배경차분 동영상에 대해 기존 알고리즘들과 비교할만한 결과를 보인다.

• 스마트미디어저널
• /
• 제7권4호
• /
• pp.17-23
• /
• 2018

자동 띄어쓰기 특성을 효과적으로 처리할 수 있는 LSTM(Long Short-Term Memory Neural Networks) 기반의 RNN 모델을 제시하고 적용한 결과를 분석하였다. 문장이 길거나 일부 노이즈가 포함된 경우에 신경망 학습이 쉽지 않은 문제를 해결하기 위하여 입력 데이터 형식과 디코딩 데이터 형식을 정의하고, 신경망 학습에서 드롭아웃, 양방향 다층 LSTM 셀, 계층 정규화 기법, 주목 기법(attention mechanism)을 적용하여 성능을 향상시키는 방법을 제안하였다. 학습 데이터로는 세종 말뭉치 자료를 사용하였으며, 학습 데이터가 부분적으로 불완전한 띄어쓰기가 포함되어 있었음에도 불구하고, 대량의 학습 데이터를 통해 한글 띄어쓰기에 대한 패턴이 의미 있게 학습되었다. 이것은 신경망에서 드롭아웃 기법을 통해 학습 모델의 오버피팅이 되지 않도록 함으로써 노이즈에 강한 모델을 만들었기 때문이다. 실험결과로 LSTM sequence-to-sequence 모델이 재현율과 정확도를 함께 고려한 평가 점수인 F1 값이 0.94로 규칙 기반 방식과 딥러닝 GRU-CRF보다 더 높은 성능을 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제8권11호
• /
• pp.441-448
• /
• 2019

기존의 자동 띄어쓰기 연구는 n-gram 기반의 통계적인 기법을 이용하거나 형태소 분석기를 이용하여 어절 경계면에 공백을 삽입하는 방법으로 띄어쓰기 오류를 수정한다. 본 논문에서는 심층 신경망을 이용한 종단 간(end-to-end) 한국어 문장 자동 띄어쓰기 시스템을 제안한다. 자동 띄어쓰기 문제를 어절 단위가 아닌 음절 단위 태그 분류 문제로 정의하고 음절 unigram 임베딩과 양방향 LSTM Encoder로 문장 음절간의 양방향 의존 관계 정보를 고정된 길이의 문맥 자질 벡터로 연속적인 벡터 공간에 표현한다. 그리고 새로이 표현한 문맥 자질 벡터를 자동 띄어쓰기 태그(B 또는 I)로 분류한 후 B 태그 앞에 공백을 삽입하는 방법으로 한국어 문장의 자동 띄어쓰기를 수행하였다. 자동 띄어쓰기 태그 분류를 위해 전방향 신경망, 신경망 언어 모델, 그리고 선형 체인 CRF의 세 가지 방법의 분류 망에 따라 세 가지 심층 신경망 모델을 구성하고 종단 간 한국어 자동 띄어쓰기 시스템의 성능을 비교하였다. 세 가지 심층 신경망 모델에서 분류 망으로 선형체인 CRF를 이용한 심층 신경망 모델이 더 우수함을 보였다. 학습 및 테스트 말뭉치로는 최근에 구축된 대용량 한국어 원시 말뭉치로 KCC150을 사용하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 추계학술대회
• /
• pp.269-271
• /
• 2022

최근 몇 년 동안 LSTM 블록이 있는 RNN 네트워크는 순차적 데이터를 처리하는 기계 학습 작업에 광범위하게 사용되어왔다. 이러한 네트워크는 주어진 시퀀스에서 가능성이 다음으로 가장 높은 단어를 기존 신경망보다 더 정확하게 예측할 수 있기 때문에 순차적 언어 처리 작업에서 특히 우수한 것으로 입증되었다. 이 연구는 영어와 한국어로 된 150개의 성경 시편에 대한 세 가지 다른 번역에 대해 RNN/LSTM 신경망을 훈련하였다. 그런 다음 결과 모델에 입력 단어와 길이 번호를 제공하여 훈련 중에 인식한 패턴을 기반으로 원하는 길이의 새 시편을 자동으로 생성하였다. 영어 텍스트와 한국어 텍스트에 대한 네트워크 훈련 결과를 상호 비교하고 개선할 점을 기술한다.