• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.415-415
• /
• 2023

홍수는 일반적으로 많은 피해와 인명 손실을 초래하는 자연재해 중 하나로, 홍수위 예측은 이를 방지하고 대처하는 데 중요한 역할을 한다. 최근 기계학습 기술을 이용하여 홍수위 예측 모델을 개발하고자 하는 연구가 많이 진행되고 있다. 특히, LSTM(long short-term memory) 모형은 시계열 예측에 대해 검증된 모형으로 홍수위 예측 연구에도 활발하게 적용되고 있다. 하지만 기계학습 모델의 학습 성능은 하이퍼파라미터의 값에 영향을 크게 받을 수 있으며, 특히 집중호우로 인해 수위가 급변하는 경우에는 과거 시계열 자료에 영향을 받는 LSTM 모형의 예측 성능이 오히려 낮게 나타날 수 있다. 따라서 본 연구에서는 홍수위 예측시 LSTM 모형의 예측 성능을 향상시킬 수 있는 세부 하이퍼파라미터 값을 분석하여 최적의 하이퍼파라미터 조합을 제안하고자 한다. 이를 위해 하이퍼파라미터 조정을 위한 자동화 도구인 W&B(Weights&Bias)의 Sweep 기능을 적용하고자 한다. 본 연구를 통해 LSTM 모형을 적용한 홍수위 예측의 정확도를 향상시키는 데에 기여할 수 있을 것으로 기대된다.

• 융합신호처리학회논문지
• /
• 제21권3호
• /
• pp.148-153
• /
• 2020

합성곱 신경망 모형에서 높은 정확도를 얻기 위해서는 최적의 하이퍼파라미터를 설정하는 작업이 필요하다. 하지만 높은 성능을 낼 수 있는 하이퍼파라미터 값이 정확히 알려진 바가 없으며, 자료마다 최적의 하이퍼파라미터 값이 달라질 수 있기 때문에 매번 실험을 통해서 찾아야만 한다. 또한, 하이퍼파라미터 값들의 범위가 넓고 조합 수가 많기 때문에 시간과 계산량을 줄이기 위해서는 최적값을 찾기 위한 실험 계획을 먼저 한 후에 탐색을 하는 것이 필요하다. 그러나 아직까지 합성곱 신경망 모형에서 하이퍼파라미터 최적화를 위하여 실험계획법을 이용한 연구 결과가 보고되지 않았다. 본 논문에서는 이미지 분류 문제에서 통계방법 중 하나인 실험계획법의 요인배치법을 이용하여 실험 계획을 하고 합성곱 신경망 분석을 한 후에, 높은 성능을 갖는 값을 중심으로 그리드 탐색을 하여 최적의 하이퍼파라미터를 찾는 방법을 제안한다. 실험 계획을 통하여 각 하이퍼파라미터들의 탐색 범위를 줄인 후에 그리드 탐색을 함으로써 효율적으로 연산량을 줄이고 정확도를 높힐 수 있음을 보였다. 또한 실험 결과에서 모형 성능에 가장 큰 영향을 주는 하이퍼파라미터가 학습률이라는 것을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.365-366
• /
• 2023

본 논문은 F1TENTH 와 같은 자율주행 경주 대회를 위한 고전적인 자율주행 알고리즘의 파라미터 최적화에 관한 연구를 다룬다. 고전적인 자율주행 알고리즘은 하이퍼파라미터의 영향을 크게 받고 더 나아가서 하이퍼파라미터의 설정에 따라서 성능의 차이가 크다. 이 하이퍼파라미터를 빠르게 찾기 위하여 Piece and Conquer Fireworks 방법을 제안한다. 결과적으로Random search에 비해서 일반 Fireworks알고리즘은 약8.3배, Piece and Conquer Fireworks알고리즘은 약 28.5배 빠른 성능을 보여준다.

• 융합정보논문지
• /
• 제11권7호
• /
• pp.31-38
• /
• 2021

본 논문은 감성 분석에 사용되는 RNN 모델의 최적화를 얻기 위한 성능분석을 위하여 하이퍼파라미터 튜닝에 따른 손실과 정확도의 추이를 관찰하여 모델과의 상관관계를 연구하였다. 연구 방법으로는 시퀀셜데이터를 처리하는데 가장 최적화된 LSTM과 Embedding layer로 히든레이어를 구성한 후, LSTM의 Unit과 Batch Size, Embedding Size를 튜닝하여 각각의 모델에 대한 손실과 정확도를 측정하였다. 측정 결과, 손실은 41.9%, 정확도는 11.4%의 차이를 나타내었고, 최적화 모델의 변화추이는 지속적으로 안정적인 그래프를 보여 하이퍼파라미터의 튜닝이 모델에 지대한 영향을 미침을 확인하였다. 또한 3가지 하이퍼파라미터 중 Embedding Size의 결정이 모델에 가장 큰 영향을 미침을 확인하였다. 향후 이 연구를 지속적으로 이어나가 모델이 최적의 하이퍼파라미터를 직접 찾아낼 수 있는 알고리즘에 대한 연구를 지속적으로 이어나갈 것이다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2022년도 학술발표회
• /
• pp.483-483
• /
• 2022

댐과 저수지의 운영 최적화를 위한 수문학적 예보는 현재 수동적인 댐 운영이 주를 이루면서 활용도가 높지 않다. 불확실한 기후변화나 기후재난 상황에서 우리 사회에 악영향을 최소화하기 위해 선제적으로 대응/대비할 수 있는 댐 운영 방안이 불가피하다. 강우량 예측 기술은 기후변화로 인해 제한적인 상황이다. 실례로, 2020년 8월에 섬진강의 댐이 극심한 집중 강우로 인해 무너지는 사태가 발생하였고 이로 인해 지역사회에 막대한 경제적 피해가 발생하였다. 선제적 댐 방류량 운영 기술은 또한 환경적인 변화로 인한 영향을 완화하기 위해 필요한 것이다. 제한적인 기상 예보 기술을 극복하고자 심화학습이나 강화학습 같은 인공지능 모델들의 활용성에 대한 연구가 시도되고 있다. 따라서 본 연구는 섬진강 댐의 시간당 수문 데이터를 이용하여 댐 운영을 위한 심화학습 모델을 개발하고 그 활용도를 평가하였다. 댐 운영을 위한 심화학습 모델로서 시계열 데이터 예측에 적합한 Long Sort Term Memory(LSTM)과 Gated Recurrent Unit(GRU) 알고리즘을 구축하고 댐 수위를 예측하였다. 분석 자료는 WAMIS에서 제공하는 2000년부터 2021년까지의 시간당 데이터를 사용하였다. 입력 데이터로서 시간당 유입량, 강우량과 방류량을, 출력 데이터로서 시간당 수위 자료를 각각 사용하였으며. 결정계수(R2 Score)를 통해 모델의 예측 성능을 평가하였다. 댐 수위 예측값 개선을 위해 하이퍼파라미터의 '최적값'이 존재하는 범위를 줄여나가는 하이퍼파라미터 최적화를 두 가지 방법으로 진행하였다. 첫 번째 방법은 수동적 탐색(Manual Search) 방법으로 Sequence Length를 24, 48, 72시간, Hidden Layer를 1, 3, 5개로 설정하여 하이퍼파라미터의 조합에 따른 LSTM와 GRU의 민감도를 평가하였다. 두 번째 방법은 Grid Search로 최적의 하이퍼파라미터를 찾았다. 이 두가지 방법에서는 같은 하이퍼파라미터 안에서 GRU가 LSTM에 비해 더 높은 예측 정확도를 보였고 Sequence Length가 높을수록 정확도가 높아지는 경향을 보였다. Manual Search 방법의 경우 R2가 최대 0.72의 정확도를 보였고 Grid Search 방법의 경우 R2가 0.79의 정확도를 보였다. 본 연구 결과는 가뭄과 홍수와 같은 물 재해에 사전 대응하고 기후변화에 적응할 수 있는 댐 운영 개선에 도움을 줄 수 있을 것으로 판단된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.846-849
• /
• 2020

하이퍼파라미터(초매개변수) 최적화란 모델의 학습에 앞서 미리 설정해야 하는 값인 하이퍼파라미터의 최적값을 탐색하는 문제이다. 이때의 최적값은 학습을 끝낸 모델의 성능을 가능한 최대치로 높이게 하는 값이다. 한편, 최근 모바일 장치를 이용한 포지셔닝 데이터의 대량 수집이 가능해지면서 이를 활용하여 위치 기반 서비스(Location-Based Service)를 위한 데이터 분석 및 예측에 관한 연구가 활발히 이루어졌다. 그중 이동 경로를 이미지로 패턴화하여 국소 지역 내에서 다음 위치를 예측하는 CNN 모델에 대해서 하이퍼파라미터 튜닝을 진행하였다. 결과적으로 베이지안 최적화(Bayesian Optimization)를 통해 모델의 성능을 평균 3.7%, 최대 9.5%까지 개선할 수 있음을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.657-659
• /
• 2023

최근 스마트폰과 같은 디지털 기기의 보급과 함께 개인화, 맞춤형 서비스의 수요가 늘어나면서 추천 서비스가 주목을 받고 있다. 세션 기반(Session based) 추천 시스템은 사용자의 아이템 선호에 따른 순서 정보를 고려한 학습 추천 모델로, 다양한 산업 분야에서 사용되고 있다. 세션 기반 추천 시스템 중 SASRec(Self-Attentive Sequential Recommendation) 모델은 MC/CNN/RNN 기반의 기존 여러 순차 모델들에 비하여 효율적인 성능을 보인다. 본 연구에서는 SASRec 모델의 하이퍼파라미터 중 배치 사이즈(Batch Size), 학습률 (Learning Rate), 히든 유닛(Hidden Unit)을 조정하여 실험함으로써 하이퍼파라미터에 의한 성능 변화를 분석하였다.

• 인터넷정보학회논문지
• /
• 제24권4호
• /
• pp.127-135
• /
• 2023

본 논문에서는 금융 뉴스 데이터로 추가적인 사전 학습이 진행된 BERT 기반 모델인 FinBERT 모델을 사용하여 금융 영역에서 감성 분석 시 학습시킬 데이터와 그에 맞는 하이퍼파라미터를 찾는 방법을 소개한다. 우리의 목표는 다양한 데이터 세트를 활용하고 하이퍼파라미터를 미세 조정하여 정확한 감성 분석을 위해 FinBERT 모델을 가장 잘 활용하는 방법에 대한 포괄적인 가이드를 제공하는 것이다. 이 연구에서는 제안된 FinBERT 모델 미세 조정 접근법의 아키텍처와 워크플로우를 개괄적으로 설명하고, 감성 분석 태스크를 위한 다양한 데이터 세트와 하이퍼파라미터의 성능을 강조한다. 또한, 감성 라벨링 작업에 GPT-3를 사용함으로써 GPT-3가 적절한 라벨러 역할을 하는지에 대한 신뢰성을 검증한다. 결과적으로 미세 조정된 FinBERT 모델이 다양한 데이터 세트에서 우수한 성능을 발휘 한다는 것을 보여주었고, 각 데이터 세트에 대해 전반적으로 우수한 성능을 보이는 학습률 5e-5와 배치 크기 64의 최적의 조합을 찾았다. 또 일반 도메인의 뉴스보다 일반 도메인의 트위터 데이터 세트에서 성능이 크게 향상됨을 기반으로 금융 뉴스 데이터만으로만 추가적으로 학습시키는 FinBERT 모델에 대한 의구심을 제시한다. 이를 통해 FinBERT 모델에 대한 최적의 접근 방식을 결정하는 복잡한 프로세스를 간소화하고 금융 분야 감성 분석 모델을 위한 추가적인 학습 데이터 세트와 미세 조정 시 하이퍼파라미터 선정에 대한 가이드라인을 제시한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.537-538
• /
• 2022

LSTM은 딥러닝 RNN의 한 종류이며 RNN의 단점인 장기 데이터손실에 대한 문제를 해결하기 위해 제시된다. 본 논문에서는 LSTM의 하이퍼파라미터 적용 시 이전 state의 중요도와 이후 state에 대한 중요도 예측에 대한 신경망 처리를 위하여 유의미성 측정가능한 매개변수를 적용하여 처리하고 데이터에 대한 정밀도와 재현율을 높이는 것을 목적으로 한다. 동일한 데이터셋에 대하여 전통적인 LSTM 방식과 본 연구를 비교한 결과 정밀도와 재현율이 5%이상 증가함을 확인하였다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2022년도 학술발표회
• /
• pp.43-43
• /
• 2022

유해 조류 대발생은 전국 각지의 인공호소나 하천에서 다발적으로 발생하며, 경관을 해치고 수질을 오염시키는 등 수자원에 부정적인 영향을 미친다. 본 연구에서는 인공호소에서 발생하는 유해 조류 대발생을 예측하기 위해 심층학습 기법을 이용하여 예측 모델을 개발하고자 하였다. 대상 지점은 대청호의 추동 지점으로 선정하였다. 대청호는 금강유역 중류에 위치한 댐으로, 약 150만명에 달하는 급수 인구수를 유지 중이기에 유해 남조 대발생 관리가 매우 중요한 장소이다. 학습용 데이터 구축은 대청호의 2011년 1월부터 2019년 12월까지 측정된 수질, 기상, 수문 자료를 입력 자료를 이용하였다. 수질 예측 모델의 구조는 다중 레이어 퍼셉트론(Multiple Layer Perceptron; MLP)으로, 입력과 한 개 이상의 은닉층, 그리고 출력층으로 구성된 인공신경망이다. 본 연구에서는 인공신경망의 은닉층 개수(1~3개)와 각각의 레이어에 적용되는 은닉 노드 개수(11~30개), 활성함수 5종(Linear, sigmoid, hyperbolic tangent, Rectified Linear Unit, Exponential Linear Unit)을 각각 하이퍼파라미터로 정하고, 모델의 성능을 최대로 발휘할 수 있는 조건을 찾고자 하였다. 하이퍼파라미터 최적화 도구는 Tensorflow에서 배포하는 Keras Tuner를 사용하였다. 모델은 총 3000 학습 epoch 가 진행되는 동안 최적의 가중치를 계산하도록 설계하였고, 이 결과를 매 반복마다 저장장치에 기록하였다. 모델 성능의 타당성은 예측과 실측 데이터 간의 상관관계를 R2, NSE, RMSE를 통해 산출하여 검증하였다. 모델 최적화 결과, 적합한 하이퍼파라미터는 최적화 횟수 총 300회에서 256 번째 반복 결과인 은닉층 개수 3개, 은닉 노드 수 각각 25개, 22개, 14개가 가장 적합하였고, 이에 따른 활성함수는 ELU, ReLU, Hyperbolic tangent, Linear 순서대로 사용되었다. 최적화된 하이퍼파라미터를 이용하여 모델 학습 및 검증을 수행한 결과, R2는 학습 0.68, 검증 0.61이었고 NSE는 학습 0.85, 검증 0.81, RMSE는 학습 0.82, 검증 0.92로 나타났다.