• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 춘계학술발표대회
• /
• pp.446-447
• /
• 2022

대부분의 머신러닝 및 딥러닝 모델의 경우 하이퍼 파라미터 선택은 모델의 성능에 큰 영향을 미친다. 따라서 전문가들은 작업을 수행하기 위해 모델을 구축할 때 하이퍼 파라미터 튜닝을 수행하는 데 상당한 시간을 소비해야 한다. Hyperparameter Optimization(HPO)을 해결하기 위한 알고리즘은 많지만 대부분의 방법은 검색을 수행하기 위해 각 epoch에서 실제 실험 결과를 필요로 한다. 따라서 HPO 검색을 위한 시간과 계산 지원을 줄이기 위해 본 논문에서는 Multi-agent Proximal Policy Optimization(MAPPO) 강화 학습 알고리즘을 제안한다. 2개의 이미지 분류 데이터 세트에 대한 실험 결과는 우리의 모델이 속도와 정확성에서 다른 기존 방법보다 우수하다는 것을 보여준다.

• 지구물리와물리탐사
• /
• 제23권3호
• /
• pp.157-167
• /
• 2020

최근 인공지능 기술의 발전과 함께 물리탐사의 다양한 분야에서도 인공지능의 핵심 기술인 머신러닝의 활용도가 증가하고 있다. 또한 머신러닝 및 딥러닝을 활용한 연구는 이미지, 비디오, 음성, 자연어 등 다양한 태스크의 추론 정확도를 높이기 위해 복잡한 알고리즘들이 개발되고 있고, 더 나아가 자료의 특성, 알고리즘 구조 및 하이퍼 파라미터의 최적화를 위한 자동 머신러닝(AutoML) 분야로 그 폭을 넓혀가고 있다. 본 연구에서는 AutoML 분야 중에서도 하이퍼 파라미터(hyperparameter) 자동 탐색을 위한 베이지안 최적화 기술에 중점을 두었으며, 본 기술을 물리탐사 분야에서도 암상 분류(facies classification) 문제에 적용했다. Vincent field의 현장 물리검층 및 탄성파 자료를 이용하여 암상 및 공극유체를 분류하는 지도학습 기반 모델에 적용하였고, 랜덤 탐색 기법의 결과와 비교하여 베이지안 최적화 기반 예측 프레임워크의 효율성을 검증하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권6호
• /
• pp.251-258
• /
• 2023

안정적으로 전력을 공급하고 전력계통을 운영하기 위해서는 최대전력을 정확히 예측해야 한다. 특히, 최대전력이 높게 발생하는 겨울과 여름에는 그 중요성이 매우 커진다. 최대전력을 실제 수요보다 높게 예측하면 발전소 기동 비용이 증가하여 경제적 손실이 발생하고, 최대전력을 실제 수요보다 낮게 예측하면 기동이 가능한 발전소가 부족하여 정전이 발생할 수 있다. 최대전력의 예측 오차를 최소화함으로써 경제적 손실과 정전을 예방할 수 있다. 본 논문에서는 최대전력 예측의 오차를 최소화하기 위하여 최신 딥러닝 모델인 TCN을 이용한다. 딥러닝 모델은 하이퍼 파라미터를 어떻게 설정하느냐에 따라 성능 차이가 발생하므로, TCN의 하이퍼 파라미터를 최적화하는 방법을 제안한다. 2006년부터 2021년까지의 데이터를 입력하여 모델을 훈련하고, 2022년의 데이터를 이용하여 예측 오차를 실험하였다. 실험을 수행한 결과 본 논문에서 제안한 최적화 방법을 이용한 TCN 모델의 성능이 다른 딥러닝 모델보다 성능이 우수한 것을 확인하였다.

• 한국ITS학회 논문지
• /
• 제22권5호
• /
• pp.1-18
• /
• 2023

최근 빅데이터 및 딥러닝 기술의 발전으로 다양한 교통정보가 널리 수집 및 활용되고 있다. 특히 시계열 특성을 갖는 교통정보 예측 분야에서는 장단기 메모리(long short term memory, LSTM)가 널리 사용되고 있다. LSTM에 입력되는 시계열 데이터의 추세, 계절성, 주기 등이 상이하기 때문에 시계열 데이터를 기반으로 한 예측 모델에서도 데이터의 특성에 따라 하이퍼 파라미터의 적합한 값을 찾는 시행착오법이 필수적이다. 이에 적합한 하이퍼 파라미터를 찾는 방법론이 정립된다면, 정확도가 높은 모델 구성에 소요되는 시간을 줄일 수 있다. 따라서, 본 연구에서는 국내 고속도로 차량검지기 데이터와 LSTM을 기반으로 교통정보 예측 모델을 개발하였으며, LSTM의 하이퍼 파라미터별 평가지표 변화를 통해 예측 결과에 미치는 영향평가를 수행하였다. 또한, 이를 기반으로 교통분야에서 고속도로 교통정보 예측에 적합한 하이퍼 파라미터를 찾는 방법론을 제시하였다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
• /
• pp.252-256
• /
• 2016

본 논문에서는 한국어에 최적화된 단어 임베딩을 학습하기 위한 방법을 소개한다. 단어 임베딩이란 각 단어가 분산된 의미를 지니도록 고정된 차원의 벡터공간에 대응 시키는 방법으로, 기계번역, 개체명 인식 등 많은 자연어처리 분야에서 활용되고 있다. 본 논문에서는 한국어에 대해 최적의 성능을 낼 수 있는 학습용 말뭉치와 임베딩 모델 및 적합한 하이퍼 파라미터를 실험적으로 찾고 그 결과를 분석한다.

• 한국컴퓨터정보학회논문지
• /
• 제28권4호
• /
• pp.1-11
• /
• 2023

본 논문은 순환 신경망 대신 합성곱 신경망을 사용하여 시계열 데이터 분류 성능을 분석한다. TSC(Time Series Community)에는 GAF(Gramian Angular Field), MTF(Markov Transition Field), RP(Recurrence Plot)와 같은 전통적인 시계열 데이터 이미지화 알고리즘들이 있다. 실험은 이미지화 알고리즘들에 필요한 하이퍼 파라미터들을 조정하면서 합성곱 신경망의 성능을 평가하는 방식으로 진행된다. UCR 아카이브의 GunPoint 데이터셋을 기준으로 성능을 평가했을 때, 본 논문에서 제안하는 STFT(Short Time Fourier Transform) 알고리즘이 최적화된 하이퍼 파라미터를 찾은 경우, 기존의 알고리즘들 대비 정확도가 높고, 동적으로 feature map 이미지의 크기도 조절가능하다는 장점이 있다. GAF 또한 98~99%의 높은 정확도를 보이지만, feature map 이미지의 크기를 동적으로 조절할 수 없어 크다는 단점이 존재한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
• /
• pp.252-256
• /
• 2016

본 논문에서는 한국어에 최적화된 단어 임베딩을 학습하기 위한 방법을 소개한다. 단어 임베딩이란 각 단어가 분산된 의미를 지니도록 고정된 차원의 벡터공간에 대응 시키는 방법으로, 기계번역, 개체명 인식 등 많은 자연어처리 분야에서 활용되고 있다. 본 논문에서는 한국어에 대해 최적의 성능을 낼 수 있는 학습용 말뭉치와 임베딩 모델 및 적합한 하이퍼 파라미터를 실험적으로 찾고 그 결과를 분석한다.

• 한국방사선학회논문지
• /
• 제17권5호
• /
• pp.709-715
• /
• 2023

본 연구의 목적은, U-net 딥러닝 모델을 이용하여 CT 영상에서의 노이즈 감소 효과를 다양한 하이퍼 파라미터를 적용하여 평가하였다. 노이즈가 포함된 입력 영상 생성을 위하여 Gaussian 노이즈를 적용하였고, 총 1300장의 CT 영상에서 train, validation, test 셋의 비율을 8:1:1로 유지하여 U-net 모델을 적용하여 학습하였다. 연구에서 적용된 하이퍼파라미터는 최적화 함수 Adagrad, Adam, AdamW와 학습횟수 10회, 50회, 100회와 학습률 0.01, 0.001, 0.0001을 적용하였으며, 최대 신호 대 잡음비와 영상의 변동계수 값을 계산하여 정량적으로 분석하였다. 결과적으로 U-net 딥러닝 모델을 적용한 노이즈 감소는 영상의 질을 향상시킬 수 있으며 노이즈 감소 측면에서 유용성을 입증하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.41-43
• /
• 2019

Image-to-image 변환에서 인상적인 성능을 보이는 StarGAN 은 모델의 성능에 중요한 영향을 끼치는 adversarial weight, classification weight, reconstruction weight 라는 세가지 하이퍼파라미터의 결정을 전제로 하고 있다. 본 연구에서는 이 중 conditional GAN loss 인 adversarial loss 와 classification loss 를 대치할 수 있는 attribute loss를 제안함으로써, adversarial weight와 classification weight 를 최적화하는 데 걸리는 시간을 attribute weight 의 최적화에 걸리는 시간으로 대체하여 하이퍼파라미터 탐색에 걸리는 시간을 획기적으로 줄일 수 있게 하였다. 제안하는 attribute loss 는 각 특징당 GAN 을 만들 때 각 GAN 의 loss 의 합으로, 이 GAN 들은 hidden layer 를 공유하기 때문에 연산량의 증가를 거의 가져오지 않는다. 또한 reconstruction loss 를 단순화시켜 연산량을 줄인 simplified content loss 를 제안한다. StarGAN 의 reconstruction loss 는 generator 를 2 번 통과하지만 simplified content loss 는 1 번만 통과하기 때문에 연산량이 줄어든다. 또한 이미지 Framing 을 통해 배경의 왜곡을 방지하고, 양방향 성장을 통해 학습 속도를 향상시킨 아키텍쳐를 제안한다.

• 한국컴퓨터정보학회논문지
• /
• 제28권8호
• /
• pp.67-75
• /
• 2023

주가 예측은 금융시장에서 중요하게 다뤄지고 있는 주제이지만 영향을 미칠 수 있는 다수의 요소들로 인해 어려운 주제로 고려되고 있다. 본 논문에서는 시계열 예측 모델 (LSTM, GRU)과 데이터의 시간적 의존성을 고려하지 않는 비 시계열 예측 모델 (RF, SVR, KNN, LGBM)을 주가 예측에 적용하여 성능을 비교하고 분석하였다. 또한 주가 데이터와 기술적 분석 보조지표, 재무제표 지표, 매수매도 지표, 공매도, 외국인 지표 등 다양한 데이터를 조합 및 활용하여 최적의 예측 요소를 찾아내고 업종별로 주가 예측에 영향을 미치는 주요 요소들을 분석했다. 하이퍼파라미터 최적화 과정을 통해 알고리즘별 예측 성능을 향상 시키는 과정도 진행하여 성능에 영향을 주는 요인을 분석하였다. 변수 선택과 하이퍼 파라미터 최적화 과정을 거친 결과, 시계열 예측 알고리즘인 GRU, 그리고 LSTM+GRU의 예측 정확도가 가장 높은 것으로 나타났다.