• 한국IT서비스학회지
• /
• 제19권5호
• /
• pp.83-91
• /
• 2020

Language Models such as BERT has been an important factor of deep learning-based natural language processing. Pre-training the transformer-based language models would be computationally expensive since they are consist of deep and broad architecture and layers using an attention mechanism and also require huge amount of data to train. Hence, it became mandatory to do fine-tuning large pre-trained language models which are trained by Google or some companies can afford the resources and cost. There are various techniques for fine tuning the language models and this paper examines three techniques, which are data augmentation, tuning the hyper paramters and partly re-constructing the neural networks. For data augmentation, we use no-answer augmentation and back-translation method. Also, some useful combinations of hyper parameters are observed by conducting a number of experiments. Finally, we have GRU, LSTM networks to boost our model performance with adding those networks to BERT pre-trained model. We do fine-tuning the pre-trained korean-based language model through the methods mentioned above and push the F1 score from baseline up to 89.66. Moreover, some failure attempts give us important lessons and tell us the further direction in a good way.

• 응용통계연구
• /
• 제35권2호
• /
• pp.189-201
• /
• 2022

본 연구는 외부 요인을 모형에 강화시켜 암호화폐 수익률 예측력을 향상시키는 방법에 대해서 다루고 있다. 고려한 요인으로는 크게 나누어 금융 경제적 요인 및 심리적 요인을 고려하였다. 먼저 금융 경제적 요인을 반용하기 위해서 주성분 요인을 사용하여 수 많은 변수를 차원축소를 통해서 모형에 반영하였다. 또한 심리적 요인을 위해서는 뉴스 기사 데이터를 활용하여 산출해낸 감성지수를 활용하였다. 이러한 요인들은 충격반응함수 분석을 통해서 요인들의 의미와 영향력을 시각화하였다. 또한 전통적인 ARIMAX 뿐 만 아니라 랜덤포레스트 및 딥러닝 모형을 활용하여 비선형성을 반영하였다. 그 결과 요인 강화가 암호화폐 수익률 예측력을 향상시킴을 실증분석을 통해 밝혔으며 그 중에서 딥러닝 모형인 GRU가 가장 좋은 예측 성능을 보임을 관찰하였다.

• 시스템엔지니어링학술지
• /
• 제18권2호
• /
• pp.94-107
• /
• 2022

Accidents prevention and mitigation is the highest priority of nuclear power plant (NPP) operation, particularly in the aftermath of the Fukushima Daiichi accident, which has reignited public anxieties and skepticism regarding nuclear energy usage. To deal with accident scenarios more effectively, operators must have ample and precise information about key safety parameters as well as their future trajectories. This work investigates the potential of machine learning in forecasting NPP response in real-time to provide an additional validation method and help reduce human error, especially in accident situations where operators are under a lot of stress. First, a base-case SGTR simulation is carried out by the best-estimate code RELAP5/MOD3.4 to confirm the validity of the model against results reported in the APR1400 Design Control Document (DCD). Then, uncertainty quantification is performed by coupling RELAP5/MOD3.4 and the statistical tool DAKOTA to generate a large enough dataset for the construction and training of neural-based machine learning (ML) models, namely LSTM, GRU, and hybrid CNN-LSTM. Finally, the accuracy and reliability of these models in forecasting system response are tested by their performance on fresh data. To facilitate and oversee the process of developing the ML models, a Systems Engineering (SE) methodology is used to ensure that the work is consistently in line with the originating mission statement and that the findings obtained at each subsequent phase are valid.

• 한국컴퓨터정보학회논문지
• /
• 제27권12호
• /
• pp.69-76
• /
• 2022

본 논문에서는 MIMIC-IV(Medical Information Mart for Intensive Care) v2.0 데이터를 이용한 시계열 데이터의 정제 및 가공 방법을 제안한다. 더불어 해당 가공법을 기반으로 정제한 데이터셋을 활용하여 구축한 기계학습 기반의 욕창 조기 경보 시스템을 통해 해당 가공 방법의 유의성을 검증하였다. 구현된 욕창 조기 경보 시스템은 병변이 발생하기 전 12, 24시간에 미리 의료진에게 경보를 주는 시스템이다. 전자의무기록(Electronic Medical Record; EMR) 시스템과 연동하여 실시간으로 환자의 욕창 발생 위험도를 의료진에게 알려 중환자 의사결정을 지원하고, 나아가 효율적인 의료 자원 배분을 가능하게 한다. 여러 기계학습 모델 중 GRU 모델을 사용하였을 때, AUROC 평가지표를 기준으로 발생 전 12시간이 0.831, 24시간이 0.822로 가장 좋은 성능을 보였다.

• 한국정보통신학회논문지
• /
• 제26권11호
• /
• pp.1571-1576
• /
• 2022

코로나 바이러스의 발병 이후, 의료 산업은 침체기에 들어섰으며, 이에 대한 대응책으로 정부는 일시적으로 비대면 진료를 허용한 상태이다. 본 연구에서는, 이런 시대 흐름에 맞추어 의료 산업에 있어 현대인의 비대면 의학상담에 대한 관심도를 분석하고자 한다. 전문가에게 의학상담을 받을 수 있는 플랫폼인 지식인과, 유튜브 두가지 소셜 플랫폼에서 빅데이터를 수집해 연구를 진행했다. 전화 상담 상위 5개 키워드인 "내과", "일반의", "산경과", "정신건강의학과", "소아청소년과"와 더불어, "전문의", "의학상담", "건강정보" 총 8개의 검색어를 가지고 각 플랫폼으로부터 데이터 세트를 구축했다. 이후 크롤링 된 데이터를 바탕으로 형태소 분류, 질병 추출, 정규화 등 전처리 과정을 거쳤다. 단어 빈도수를 기준으로 한 워드 클라우드, 꺾은선 그래프, 분기별 그래프, 질병 등장 빈도별 막대 그래프 등으로 데이터 시각화를 하였다. 유튜브 데이터에 한해 감성 분류 모델을 구축하였고, GRU와 BERT 기반 모델의 성능을 비교하였다.

• Geomechanics and Engineering
• /
• 제37권3호
• /
• pp.223-241
• /
• 2024

Evaluating the performance of Tunnel Boring Machines (TBMs) stands as a pivotal juncture in the domain of hard rock mechanized tunneling, essential for achieving both a dependable construction timeline and utilization rate. In this investigation, three advanced artificial neural networks namely, gated recurrent unit (GRU), back propagation neural network (BPNN), and simple recurrent neural network (SRNN) were crafted to prognosticate TBM-rate of penetration (ROP). Drawing from a dataset comprising 1125 data points amassed during the construction of the Alborze Service Tunnel, the study commenced. Initially, five geomechanical parameters were scrutinized for their impact on TBM-ROP efficiency. Subsequent statistical analyses narrowed down the effective parameters to three, including uniaxial compressive strength (UCS), peak slope index (PSI), and Brazilian tensile strength (BTS). Among the methodologies employed, GRU emerged as the most robust model, demonstrating exceptional predictive prowess for TBM-ROP with staggering accuracy metrics on the testing subset (R² = 0.87, NRMSE = 6.76E-04, MAD = 2.85E-05). The proposed models present viable solutions for analogous ground and TBM tunneling scenarios, particularly beneficial in routes predominantly composed of volcanic and sedimentary rock formations. Leveraging forecasted parameters holds the promise of enhancing both machine efficiency and construction safety within TBM tunneling endeavors.

• 한국전자거래학회지
• /
• 제27권1호
• /
• pp.15-28
• /
• 2022

최근 의류 등의 특정 쇼핑몰의 온라인 시장이 크게 확대되면서, 사용자의 리뷰를 활용하는 것이 주요한 마케팅 방안이 되었다. 이를 이용한 감성분석에 대한 연구들도 많이 진행되고 있다. 감성분석은 사용자의 리뷰를 긍정과 부정 그리고 필요에 따라서 중립으로 분류하는 방법이다. 이 방법은 크게 머신러닝 기반의 감성분석과 사전기반의 감성분석으로 나눌 수 있다. 머신러닝 기반의 감성분석은 사용자의 리뷰 데이터와 그에 대응하는 감성 라벨을 이용해서 분류 모델을 학습하는 방법이다. 감성분석 분야의 연구가 발전하면서 리뷰와 함께 제공되는 이미지나 영상 데이터 등을 함께 고려하여 학습하는 멀티모달 방식의 모델들이 연구되고 있다. 리뷰 데이터에서 제품의 카테고리와 사용자별로 사용되는 단어 등의 특징이 다르다. 따라서 본 논문에서는 리뷰데이터와 제품 정보를 동시에 고려하여 감성분석을 진행한다. 리뷰를 분류하는 모델로는 기본 순환신경망 구조에서 Gate 방식을 도입한 Gated Recurrent Unit(GRU), Long Short-Term Memory(LSTM) 그리고 Self Attention 기반의 Multi-head Attention 모델, Bidirectional Encoder Representation from Transformer(BERT)를 사용해서 각각 성능을 비교하였다. 제품 정보는 모두 동일한 Multi-Layer Perceptron(MLP) 모델을 이용하였다. 본 논문에서는 사용자 리뷰를 활용한 Baseline Classifier의 정보와 제품 정보를 활용한 MLP모델의 결과를 결합하는 방법을 제안하며 실제 데이터를 통해 성능의 우수함을 보인다.

• 전기학회논문지
• /
• 제67권11호
• /
• pp.1536-1541
• /
• 2018

For effective electricity consumption in urban railway station such as peak load shaving, it is important to know each electrical load pattern by various usage. The total electricity consumption in the urban railway substation is already measured in Korea, but the electricity consumption for each usage is not measured. The author proposed the deep learning method to estimate the electrical load pattern for each usage in the urban railway substation with public data such as weather data. GRU (gated recurrent unit), a variation on the LSTM (long short-term memory), was used, which aims to solve the vanishing gradient problem of standard a RNN (recursive neural networks). The optimal model was found and the estimation results with that were assessed.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.593-595
• /
• 2018

자동 띄어쓰기는 띄어쓰기가 되어있지 않은 문장에 대하여 띄어쓰기를 해주거나, 문장에 있는 잘못된 띄어쓰기를 교정하는 것을 말한다. 기존의 자동 띄어쓰기 연구는 주로 모든 음절을 붙인 후 새로 띄어쓰기 태그를 입력하는 방법을 사용하여 사용자가 입력한 올바른 띄어쓰기 정보를 활용하지 못하였다. 따라서 본 논문에서는 모두 붙여 쓴 문장에 공백을 넣어주는 띄어쓰기 삽입 모델과 사용자의 입력 정보를 이용하여 문장의 띄어쓰기 오류를 교정해주는 오류교정 모델이 결합된 통합모델을 제안한다. 제안된 모델은 에러율 10%일 때 F1-score가 98.85%까지 향상되었다.

• Communications for Statistical Applications and Methods
• /
• 제28권4호
• /
• pp.329-338
• /
• 2021

Deep learning methods have been developed, used in various fields, and they have shown outstanding performances in many cases. Many studies predicted a daily stock return, a classic example of time-series data, using deep learning methods. We also tried to apply deep learning methods to Korea's stock market data. We used Korea's stock market index (KOSPI) and several individual stocks to forecast daily returns and directions. We compared several deep learning models with other machine learning methods, including random forest and XGBoost. In regression, long short term memory (LSTM) and gated recurrent unit (GRU) models are better than other prediction models. For the classification applications, there is no clear winner. However, even the best deep learning models cannot predict significantly better than the simple base model. We believe that it is challenging to predict daily stock return data even if we use the latest deep learning methods.