• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.63-66
• /
• 2022

본 논문에서는 분자의 특성을 정확하게 예측하기 위해 효과적인 사전학습(pretraining) 전략과 트랜스포머(Transformer) 모델을 활용한 방법을 제시한다. 딥러닝을 활용한 분자의 성능을 예측하는 연구는 그동안 레이블이 부족한 분자데이터의 특성에 의해 학습 때 사용된 데이터이외의 분자데이터에 대해 일반화 능력이 떨어지는 어려움을 겪었다. 이 논문에서 제시한 모델은 사전학습(pretraining)을 수행할 때 자기지도학습(self-supervised training)을 사용하여 부족한 레이블에 의한 문제점을 피할 수 있다. 대규모 분자 데이터셋으로부터 학습된 이 모델은 4가지 다운스트림 데이터셋에 대해 모두 우수한 성능을 보여주어 일반화 성능이 뛰어나며 효과적인 분자표현을 얻을 수 있음을 보인다.

• Nuclear Engineering and Technology
• /
• 제55권10호
• /
• pp.3515-3524
• /
• 2023

A reinforcement learning framework is proposed for the control problem of outlet steam pressure of the once-through steam generator(OTSG) in this paper. The double-layer controller using Proximal Policy Optimization(PPO) algorithm is applied in the control structure of the OTSG. The PPO algorithm can train the neural networks continuously according to the process of interaction with the environment and then the trained controller can realize better control for the OTSG. Meanwhile, reinforcement learning has the characteristic of difficult application in real-world objects, this paper proposes an innovative pretraining method to solve this problem. The difficulty in the application of reinforcement learning lies in training. The optimal strategy of each step is summed up through trial and error, and the training cost is very high. In this paper, the LSTM model is adopted as the training environment for pretraining, which saves training time and improves efficiency. The experimental results show that this method can realize the self-adjustment of control parameters under various working conditions, and the control effect has the advantages of small overshoot, fast stabilization speed, and strong adaptive ability.

• 대한간호학회지
• /
• 제18권2호
• /
• pp.105-117
• /
• 1988

To evaluate training effect, aerobic dance was performed by eight female collegestudents for 8 weeks. Body composition, cardiopulmonary function at rest and during maximal exercise, blood cholesterol concentration at rest were determined before and after 8weeks of aerobic dance training. Maximal exercise was performed on the treadmill according of Bruce protocol. Pre to post training differences were evaluated. The results obtained were as follows : 1. After the training, skinfold thickness and total body fat decreased significantly(p＜0.1) while lean body mass increased with significance (p＜0.1). 2. Heart rate and arterial blood pressure at rest decreased without sinificance after the training. 3. As a result of training, forced vital capacity and forced expiratory volume for a second increased significantly (p＜0.01, p＜0.1). 4. After the training period, heart rate at 3, 6, and 9 min. during treadmill exercise was significantly lower than those of pretraining (p＜0.05). 5. After the training, systolic and diastolic blood pressure at 6 and 9 min during the exercise was significantly lower than those of pretraining (p＜0.025, p＜0.1). 6. After the training, oxygen uptake at 3 and 6 min during the exercise was significantly greater than those of pretraining (p＜0.05). 7. As a result of training, the maximal oxygen uptake increased significantly during the exercise (p＜0.1). 8. After the training, expired air volume for a minute at 3 and 6 min during the exercise was signigicantly grerter than those of pretraining (p＜0.1). 9. After the training, repiratory quotient during the exercise was lower than pretaining without significance. 10. After the training, blood HDL -cholesterol concentration incereased with significance, (p＜0.1) blood total cholesterol and triglycerids concentration decreasedsignificantly (p＜0.1). From these results, it may be concluded that 8 week aerobic dance training reduces skinfold thickness and body fat contents, improves the cardiopulmonary function and tissue oxygen utilization, reduces blood cholesterol and triglyceride concentration and brings about the increase of blood HDL-cholesterol concentriation.

• ETRI Journal
• /
• 제43권6호
• /
• pp.1049-1057
• /
• 2021

Automatic spacing in Korean is used to correct spacing units in a given input sentence. The demand for automatic spacing has been increasing owing to frequent incorrect spacing in recent media, such as the Internet and mobile networks. Therefore, herein, we propose a transformer encoder that reads a sentence bidirectionally and can be pretrained using an out-of-task corpus. Notably, our model exhibited the highest character accuracy (98.42%) among the existing automatic spacing models for Korean. We experimentally validated the effectiveness of bidirectional encoding and pretraining for automatic spacing in Korean. Moreover, we conclude that pretraining is more important than fine-tuning and data size.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권8호
• /
• pp.3168-3186
• /
• 2020

Automatic topic essay generation (TEG) is a controllable text generation task that aims to generate informative, diverse, and topic-consistent essays based on multiple topics. To make the generated essays of high quality, a reasonable method should consider both diversity and topic-consistency. Another essential issue is the intrinsic link of the topics, which contributes to making the essays closely surround the semantics of provided topics. However, it remains challenging for TEG to fill the semantic gap between source topic words and target output, and a more powerful model is needed to capture the semantics of given topics. To this end, we propose a pretraining-based contextual self-attention (PC-SAN) model that is built upon the seq2seq framework. For the encoder of our model, we employ a dynamic weight sum of layers from BERT to fully utilize the semantics of topics, which is of great help to fill the gap and improve the quality of the generated essays. In the decoding phase, we also transform the target-side contextual history information into the query layers to alleviate the lack of context in typical self-attention networks (SANs). Experimental results on large-scale paragraph-level Chinese corpora verify that our model is capable of generating diverse, topic-consistent text and essentially makes improvements as compare to strong baselines. Furthermore, extensive analysis validates the effectiveness of contextual embeddings from BERT and contextual history information in SANs.

• 지구물리와물리탐사
• /
• 제27권3호
• /
• pp.171-180
• /
• 2024

탄성파 자료처리는 탄성파 자료를 분석하여 지구 내부 구조와 특성을 파악하는 기술로, 높은 컴퓨터 연산력이 요구된다. 이러한 도전 과제를 해결하기 위해 머신러닝 기술이 도입되었으며, 잡음 제거, 속도 모델 구축 등 다양한 작업에서 활용되고 있다. 그러나, 대부분의 연구는 특정 탄성파 처리 작업에 집중되어 있어 자료에 내재된 유사한 특징과 구조를 충분히 활용하지 못하는 한계가 있다. 본 연구에서는 BERT (Bidirectional Encoder Representations from Transformers) 기반의 사전학습을 위해 단일 송신원 모음에서 수신기별 시계열 자료('수신기 배열')와 동일 시간에 기록된 수신기 신호('시간 배열')를 입력 자료로 활용하는 방법을 비교하였다. 이를 위해 단층을 포함한 속도 모델에서 생성한 합성 송신원 모음 자료를 이용하여 잡음 제거, 속도 추정, 그리고 단층 확인 작업을 수행하였다. 임의 잡음 제거 작업에서는 수신기 및 시간 배열에서 모두 좋은 성능을 보였으나, 공간적인 분포 파악이 요구되는 속도 추정 및 단층 확인 작업에서는 시간 배열의 결과가 상대적으로 더 우수함을 확인하였다.

• The Journal of Korean Physical Therapy
• /
• 제11권1호
• /
• pp.111-119
• /
• 1999

The object of study who healthufl thirty persons have been enforced Isokinetic exercise of non-dominant muscular strength. The next same that each dominant muscular strength and non-dominant strength, peak torque and total work have been comparative analysis 1, Shoulder muscles comparion increase peak torque at low speed from pretraining Isokinetic exercise of non-dominant strength side to ten week of post-training.. Flexor and extensor come out high and statistically significant 6, 8, 10 week than pretraining. Adductor and abductor come out high and statistically significant 4, 6, 8. 10 week then pre-training, Internal rotator and external rotator come out statistically significant 2, 4, 6, 8, 10 week then pre-ttraining. 2. Shoulder muscles comparion increase peak torque at high speed from pre-training Isokinetic execise of non-dominant strenght side to ten week of post-training. Flexor and extensor come out high and statistically significant 4, 6, 8, 10 week then pie-training. Adductor and abductor come out high and statistically significant 2, 4, 6, 8, 10 week than pre-training. Futernal rotator and external rotator come out statistically significant 4. 6, 8, 10 week than pre-training.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.320-325
• /
• 2021

BERT는 사전 학습 단계에서 다음 문장 예측 문제와 마스킹된 단어에 대한 예측 문제를 학습하여 여러 자연어 다운스트림 태스크에서 높은 성능을 보였다. 본 연구에서는 BERT의 사전 학습 문제 중 다음 문장 예측 문제에 대해 주목했다. 다음 문장 예측 문제는 자연어 추론 문제와 질의 응답 문제와 같이 임의의 두 문장 사이의 관계를 모델링하는 문제들에 성능 향상을 위해 사용되었다. 하지만 BERT의 다음 문장 예측 문제는 두 문장을 특수 토큰으로 분리하여 단일 문자열 형태로 모델에 입력으로 주어지는 cross-encoding 방식만을 학습하기 때문에 문장을 각각 인코딩하는 bi-encoding 방식의 다운스트림 태스크를 고려하지 않은 점에서 아쉬움이 있다. 본 논문에서는 기존 BERT의 다음 문장 예측 문제를 확장하여 bi-encoding 방식의 다음 문장 예측 문제를 추가적으로 사전 학습하여 단일 문장 분류 문제와 문장 임베딩을 활용하는 문제에서 성능을 향상 시키는 Bi-Cross 사전 학습 기법을 소개한다. Bi-Cross 학습 기법은 영화 리뷰 감성 분류 데이터 셋인 NSMC 데이터 셋에 대해 학습 데이터의 0.1%만 사용하는 학습 환경에서 Bi-Cross 사전 학습 기법 적용 전 모델 대비 5점 가량의 성능 향상이 있었다. 또한 KorSTS의 bi-encoding 방식의 문장 임베딩 성능 평가에서 Bi-Cross 사전 학습 기법 적용 전 모델 대비 1.5점의 성능 향상을 보였다.

• 한국도서관정보학회지
• /
• 제42권1호
• /
• pp.183-203
• /
• 2011

이 연구는 사서교사의 교육실습에 영향을 미치는 변수 간의 인과관계를 분석하여 효과적인 교육실습의 전개방향을 모색하고, 사서교사의 전문성 선장방법으로써 교육실습의 효과를 규명하기 위한 목적으로 수행되었다. 이를 위해 두개의 연구모형을 구성하였다. 첫 번째 모형에서는 교육실습의 영향요인으로 사전교육, 실습프로그램, 지도교사, 실습환경, 실습기관의 조직적 분위기를 선정하여 변수 간의 인과관계를 분석하였고, 두 번째 모형에서는 사서교사의 주요 전문성 신장경로인 대학교육과정, 교육실습, 현장경험 및 자기계발이 역할인식과 직무수행 역량에 어느 정도의 효과를 미치는지 분석하였다. 연구결과 사서교사의 교육실습에 가장 큰 영향을 미치는 변수는 실습프로그램으로 나타났고, 전문성 선장경로 중 교육실습은 직무수행 역량에 긍정적인 영향을 미치는 것으로 나타났다. 이상의 분석결과를 바탕으로 교육실습은 사서 교사의 전문성 신장과정으로써 실제적인 효과가 있으며, 교육실습의 효과적 전개방안으로 교육실습에 대한 인식제고, 양질의 실습프로그램 개발, 충분한 사전준비, 지도교사의 노력이 필요하다는 점을 제안하였다.

• 한국수자원학회논문집
• /
• 제57권7호
• /
• pp.437-449
• /
• 2024

딥러닝을 활용하여 유역 특성을 반영한 유량 예측 및 비교 연구가 주목받고 있다. 본 연구는 셀프 어텐션 메커니즘을 통해 대용량 데이터 훈련에 적합한 Transformer와 인코더-디코더(Encoder-Decoder) 구조를 가지는 LSTM-based multi-state-vector sequence-to-sequence (LSTM-MSV-S2S) 모형을 선정하여 유역정보(catchment attributes)를 고려할 수 있는 모형을 구축하였고 이를 토대로 국내 10개 다목적댐 유역의 유입량을 예측하였다. 본 연구에서 설계한 실험 구성은 단일유역-단일훈련(Single-basin Training, ST), 다수유역-단일훈련(Pretraining, PT), 사전학습-파인튜닝(Pretraining-Finetuning, PT-FT)의 세 가지 훈련 방법을 사용하였다. 모형의 입력 자료는 선정된 10가지 유역정보와 함께 기상 자료를 사용하였으며, 훈련 방법에 따른 유입량 예측 성능을 비교하였다. 그 결과, Transformer 모형은 PT와 PT-FT 방법에서 LSTM-MSV-S2S보다 우수한 성능을 보였으며, 특히 PT-FT 기법 적용 시 가장 높은 성능을 나타냈다. LSTM-MSV-S2S는 ST 방법에서는 Transformer보다 높은 성능을 보였으나, PT 및 PT-FT 방법에서는 낮은 성능을 보였다. 또한, 임베딩 레이어 활성화 값과 원본 유역정보를 군집화하여 모형의 유역 간 유사성 학습 여부를 분석하였다. Transformer는 활성화 벡터가 유사한 유역들에서 성능이 향상되었으며, 이는 사전에 학습된 다른 유역의 정보를 활용해 성능이 개선됨을 입증하였다. 본 연구는 다목적댐별 적합한 모형 및 훈련 방법을 비교하고, 국내 유역에 PT 및 PT-FT 방법을 적용한 딥러닝 모형 구축의 필요성을 제시하였다. 또한, PT 및 PT-FT 방법 적용 시 Transformer가 LSTM-MSV-S2S보다 성능이 더 우수하였다.