• 대한임베디드공학회논문지
• /
• 제18권6호
• /
• pp.319-325
• /
• 2023

In this study, we proposed a method for hyperparameter optimization in the building and training of a deep learning model designed to process point cloud data collected by a millimeter-wave radar system. The primary aim of this study is to facilitate the deployment of a baseline model in resource-constrained IoT devices. We evaluated a RadHAR baseline deep learning model trained on a public dataset composed of point clouds representing five distinct human activities. Additionally, we introduced a coarse-to-fine hyperparameter optimization procedure, showing substantial potential to enhance model efficiency without compromising predictive performance. Experimental results show the feasibility of significantly reducing model size without adversely impacting performance. Specifically, the optimized model demonstrated a 3.3% improvement in classification accuracy despite a 16.8% reduction in number of parameters compared th the baseline model. In conclusion, this research offers valuable insights for the development of deep learning models for resource-constrained IoT devices, underscoring the potential of hyperparameter optimization and model size reduction strategies. This work contributes to enhancing the practicality and usability of deep learning models in real-world environments, where high levels of accuracy and efficiency in data processing and classification tasks are required.

• 한국공간구조학회논문집
• /
• 제20권2호
• /
• pp.51-58
• /
• 2020

Recently, deep learning that is the most popular and effective class of machine learning algorithms is widely applied to various industrial areas. A number of research on various topics about structural engineering was performed by using artificial neural networks, such as structural design optimization, vibration control and system identification etc. When nonlinear semi-active structural control devices are applied to building structure, a lot of computational effort is required to predict dynamic structural responses of finite element method (FEM) model for development of control algorithm. To solve this problem, an artificial neural network model was developed in this study. Among various deep learning algorithms, a recurrent neural network (RNN) was used to make the time history response prediction model. An RNN can retain state from one iteration to the next by using its own output as input for the next step. An eleven-story building structure with semi-active tuned mass damper (TMD) was used as an example structure. The semi-active TMD was composed of magnetorheological damper. Five historical earthquakes and five artificial ground motions were used as ground excitations for training of an RNN model. Another artificial ground motion that was not used for training was used for verification of the developed RNN model. Parametric studies on various hyper-parameters including number of hidden layers, sequence length, number of LSTM cells, etc. After appropriate training iteration of the RNN model with proper hyper-parameters, the RNN model for prediction of seismic responses of the building structure with semi-active TMD was developed. The developed RNN model can effectively provide very accurate seismic responses compared to the FEM model.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권7호
• /
• pp.440-445
• /
• 2017

전자상거래 발전에 따라 온라인 쇼핑을 이용하는 사람들이 증가하였고 제품 또한 다양해지고 있다. 이러한 추세로 구매자가 만족할 수 있는 정확한 추천시스템의 중요성이 증대되었으며 정확도를 높이기 위한 새로운 방법의 연구가 계속되고 있다. 순환신경망은 시퀀스 학습에 적합한 딥 러닝 방법 중 하나이며 본 연구에서는 추천시스템의 정확도를 높이는 방법으로 구매자의 제품 접근순서를 순환신경망에 적용하여 알고리즘 성능평가를 하였다. 알고리즘 성능평가에는 대표적인 순환신경망 알고리즘과 최적화 알고리즘으로 진행하였다. 순환신경망 알고리즘으로는 RNN, LSTM, GRU 그리고 최적화 알고리즘으로는 Adagrad, RMSProp, Adam optimizer를 사용하였다. 실험 도구로는 구글의 오픈소스 라이브러리인 텐서플로우를 사용하였고 데이터는 RecSys Challenge 2015에서 제공하는 e-commerce session 데이터를 활용하였다. 실험 결과 실험 데이터에 적합한 최적의 하이퍼파라미터를 발굴하고 적용하여 RecSys Challenge 2015 참가자들의 결과와 비교하였다. 상품 접근 순서만을 학습시킨 결과이기 때문에 등수가 높지는 않았지만 기존 추천시스템에 접목한다면 정확도 향상에 기여할 수 있을 것으로 보인다.

• 전기전자학회논문지
• /
• 제23권4호
• /
• pp.1328-1336
• /
• 2019

안전하고 최적의 배터리 성능을 유지하기 위해 정확한 충전상태(SOC) 추정 기술이 필수적이다. 본 논문에서는 기존의 전류적산 방법이 가지고 있는 문제를 해결하기 위해 시간 종속성을 가지는 인공지능 기반의 LSTM을 이용한 SOC 추정 방법을 적용하였다. 훈련과 검증에 필요한 데이터는 전기적 실험을 통해 일정 크기로 방전된 전류, 전압, 온도를 수집하였고 학습을 위한 입력데이터의 질을 향상시키기 위해 데이터 전처리를 수행하였다. 또한, LSTM 모델의 구조 및 하이퍼파라미터 설정에 따른 학습 능력과 SOC 추정 성능을 비교하였다. 학습한 모델은 UDDS 프로파일을 통해 검증하였으며, RMSE 0.82%, MAX 2.54%의 추정 정확도를 달성하였다.

• 한국정보통신학회논문지
• /
• 제21권10호
• /
• pp.1909-1916
• /
• 2017

최근 딥 러닝 알고리듬이 다양한 분야에 적용되어 좋은 성능을 내고 있지만, 소나시스템에는 아직 활발히 적용되지 않고 있다. 본 논문에서는 기뢰와 같은 금속 물체와 바위로부터 반사된 능동소나 수신음 데이터를 딥 러닝 알고리듬의 하나인 컨볼루션 신경망으로 식별하는 실험을 수행하였다. 과적합 방지 및 성능 향상을 위해 데이터 확장을 하였고, 확장 및 하이퍼파라미터 값 변화에 따른 성능 변화를 분석하였다. 훈련데이터를 수신각도에 독립적인 경우와 의존적인 경우로 나누어 실험을 수행하였고, 그 결과 각각 88.9%, 94.9%의 성능을 보였다. 이는 이전 연구에서 인공신경망 및 Support Vector Machine 알고리듬을 적용하여 얻은 성능보다 최대 4.5% 포인트 향상되었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권9호
• /
• pp.339-348
• /
• 2021

최근 소프트웨어 결함 예측 연구는 교차 프로젝트 간의 결함 예측뿐만 아니라 교차 버전 프로젝트 간의 결함 예측 또한 이루어지고 있다. 종래의 교차 버전 결함 예측 연구들은 WP(Within-Project)로 가정한다. 하지만, CV(Cross-Version) 환경에서는 프로젝트 버전 간의 분포 차이의 중요성을 고려한 연구들이 없다. 본 연구에서는 다른 버전 간의 분포 차이까지 고려하는 자동화된 베이지안 최적화 프레임워크를 제안한다. 이를 통해 분포차이에 따라 전이 학습(Transfer Learning) 수행 여부를 자동으로 선택하여 준다. 해당 프레임워크는 버전 간의 분포 차이, 전이 학습과 분류기(Classifier)의 하이퍼파라미터를 최적화하는 기법이다. 실험을 통해 전이 학습 수행 여부를 분포차 기준으로 자동으로 선택하는 방법이 효과적이라는 것을 알 수 있다. 그리고 최적화를 이용하는 것이 성능 향상에 효과가 있으며 이러한 결과 소프트웨어 인스펙션 노력을 감소할 수 있다는 것을 확인할 수 있다. 이를 통해 교차 버전 프로젝트 환경에서 신규 버전 프로젝트에 대하여 효과적인 품질 보증 활동 수행을 지원할 것으로 기대된다.

• 전기전자학회논문지
• /
• 제25권3호
• /
• pp.540-543
• /
• 2021

본 논문에서는 비행체의 궤적 예측에 적절한 순환 신경망 기반 기법을 탐구하기 위하여 정량적인 비교 평가 연구를 수행하였다. 이를 위해 본 논문에서는 비행체의 궤적 예측 작업을 수행하기 위한 다양한 입력 및 출력 관계들을 정의하고 동일한 실험 환경에서 비교 평가하였다. 특히 비행체 위치의 상대값 기반 입출력 관계를 제안하여 비행체의 궤적 예측에 적합함을 보였다. 또한 비행체 궤적 예측에 효율적인 네트워크 구조 및 하이퍼파라미터를 결정하기 위한 다양한 ablation study(비교 실험)를 진행하였다. 본 논문에서 제시된 정량적 비교 평가 결과는 비행체의 궤적 예측을 위해 순환 신경망 기반 기법을 이용하거나 비행체의 궤적 예측에 특화된 딥러닝 기법을 연구하고자 하는 연구자 및 개발자들에게 실질적인 도움이 될 것으로 예상된다.

• 한국시뮬레이션학회논문지
• /
• 제30권4호
• /
• pp.1-8
• /
• 2021

복잡하고 비선형적인 특징을 갖는 시계열 데이터를 예측하기 위해 딥러닝 기법이 널리 사용되고 있다. 본 연구에서는 최근에 개발된 WaveNet을 개선하고 워크포워드 검증 기법을 적용하여 전력 소비량 데이터를 24시간 이전에 예측하고자 한다. 원래 WaveNet은 오디오 데이터 예측에 사용하고자 고안되었으며, 장기간의 데이터를 효과적으로 예측하기 위해 1차원 팽창인과 합성곱(1D dilated causal convolution)을 사용한다. 먼저, WaveNet이 부호화된 정수 값이 아니라 실수 값을 출력하여 전력 데이터를 예측하기 적합하도록 개선하였다. 다음으로 학습 과정에 적용된 하이퍼파라미터(입력 기간, 배치 크기, WaveNet 블록 개수, 팽창 비율, 학습률 변경)를 조정하여 적절한 성능을 나타내도록 하였다. 마지막으로 성능 평가를 통해 전통적인 홀드아웃 검증 기법보다 본 연구에서 사용한 워크포워드 검증 기법이 전력 소비량 데이터 예측에 우수함 성능을 나타냄을 확인하였다.

• 대한원격탐사학회지
• /
• 제35권2호
• /
• pp.279-288
• /
• 2019

본 연구에서는 항공정사영상을 이용하여 SegNet 기반의 의미분할을 수행하고, 토지피복분류에서의 그 성능을 평가하였다. 의미분할을 위한 분류 항목을 4가지(시가화건조지역, 농지, 산림, 수역)로 선정하였고, 항공정사영상과 세분류 토지피복도를 이용하여 총 2,000개의 데이터셋을 8:2 비율로 훈련(1,600개) 및 검증(400개)로 구분하여 구축하였다. 구축된 데이터셋은 훈련과 검증으로 나누어 학습하였고, 모델 학습 시 정확도에 영향을 미치는 하이퍼파라미터의 변화에 따른 검증 정확도를 평가하였다. SegNet 모델 검증 결과 반복횟수 100,000회, batch size 5에서 가장 높은 성능을 보였다. 이상과 같이 훈련된 SegNet 모델을 이용하여 테스트 데이터셋 200개에 대한 의미분할을 수행한 결과, 항목별 정확도는 농지(87.89%), 산림(87.18%), 수역(83.66%), 시가화건조지역(82.67%), 전체 분류정확도는 85.48%로 나타났다. 이 결과는 기존의 항공영상을 활용한 토지피복분류연구보다 향상된 정확도를 나타냈으며, 딥러닝 기반 의미분할 기법의 적용 가능성이 충분하다고 판단된다. 향후 다양한 채널의 자료와 지수의 활용과 함께 분류 정확도 향상에 크게 기여할 수 있을 것으로 기대된다.

• 한국정보통신학회논문지
• /
• 제26권4호
• /
• pp.503-509
• /
• 2022

본 논문의 연구 취지는 예측하고자 하는 다음 날과 이전 날의 시가 사이 변동률을 예측값으로 두고 시가를 예측하는 기존 논문들과는 다르게 예측하고자 하는 다음날의 주가 순위를 일정한 간격으로 분할하여 생성된 각 구간마다의 시가 변동률을 예측값으로 하는 모델을 통하여 최종적인 다음날의 시가 변동률을 예측하는 새로운 시계열 데이터 예측 방식을 제안하고자 한다. 예측값의 세분화 정도와 입력 데이터의 종류에 따른 모델의 성능 변화를 분석했으며 연구 결과 예측값의 세분화 정도에 따른 모델의 예측값과 실제값의 차이가 예측값의 세분화 개수가 3일 때 큰 폭으로 감소한다는 사실도 도출해 낼 수 있었다.