• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.87-90
• /
• 2020

표 질의응답은 반-정형화된 표 데이터에서 질문에 대한 답을 찾는 문제이다. 본 연구에서는 한국어 표 질의응답을 위한 표 데이터에 적합한 TAPAS를 이용한 언어모델 사전학습 방법과 표에서 정답이 있는 셀을 예측하고 선택된 셀에서 정확한 정답의 경계를 예측하기 위한 표 질의응답 모형을 제안한다. 표 사전학습을 위해서 약 10만 개의 표 데이터를 활용했으며, 텍스트 데이터에 사전학습된 BERT 모델을 이용하여 TAPAS를 사전학습한 모델이 가장 좋은 성능을 보였다. 기계독해 모델을 적용했을 때 EM 46.8%, F1 63.8%로 텍스트 텍스트에 사전학습된 모델로 파인튜닝한 것과 비교하여 EM 6.7%, F1 12.9% 향상된 것을 보였다. 표 질의응답 모델의 경우 TAPAS를 통해 생성된 임베딩을 이용하여 행과 열의 임베딩을 추출하고 TAPAS 임베딩, 행과 열의 임베딩을 결합하여 기계독해 모델을 적용했을 때 EM 63.6%, F1 76.0%의 성능을 보였다.

• KIPS Transactions on Software and Data Engineering
• /
• v.5 no.11
• /
• pp.535-540
• /
• 2016

Coreference resolution is to identify mentions in documents and is to group co-referred mentions in the documents. It is an essential step for natural language processing applications such as information extraction, event tracking, and question-answering. Recently, various coreference resolution models based on ML (machine learning) have been proposed, As well-known, these ML-based models need large training data that are manually annotated with coreferred mention tags. Unfortunately, we cannot find usable open data for learning ML-based models in Korean. Therefore, we propose an efficient coreference resolution model that needs less training data than other ML-based models. The proposed model identifies co-referred mentions using random forests based on sieve-guided features. In the experiments with baseball news articles, the proposed model showed a better CoNLL F1-score of 0.6678 than other ML-based models.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06c
• /
• pp.327-330
• /
• 2011

기계학습 기술이 발달함에 따라 기계학습은 제한된 상황에서 벗어나, 실생활과 비슷한 복잡하고 다양한 상황에서의 학습이 중요한 이슈가 되었다. 본고에서는 현실과 비슷한 상황을 도입하기 위하여 드라마를 사용한다. 드라마 내의 등장인물들은 말투, 어조, 관심주제와 같이 다양한 특성을 내재하고 있다. 등장인물들의 다양한 특성 중 관심주제는 대본 안에 글로 드러나 있으므로 기계학습을 통해 등장 인물의 인식에 활용할 수 있다. 최근, 확률그래프모델 분야에서 문서의 주제를 다루는 기법으로 자주 거론되는 토픽 모델 중 하나인 Author-Topic (AT) 모델은 등장인물의 관심주제를 학습하는 데에 적합하다. 본 논문에서는 AT 모델로 대본을 학습하고, 학습된 데이터 분포를 이용하여 장면에 등장하는 인물들을 인식하는 방법을 제시한다. 이 방법의 성능을 측정하기 위해, 미국 TV 드라마 'Friends' 대본 39편을 학습시키고, 장면에 대해 등장인물을 인식하는 실험을 수행하였다. 이 실험을 통해 본고에서 Author-Topic 모델을 이용한 인물 인식 방법이 다수의 인물이 참여한 담화의 인물들을 인식하는데 강점이 있음을 확인할 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.324-328
• /
• 2022

기계 독해란 주어진 문서를 이해하고 문서 내의 내용에 대한 질문에 답을 추론하는 연구 분야이며, 기계 독해 문제의 종류 중에는 여러 개의 선택지에서 질문에 대한 답을 선택하는 객관식 형태의 문제가 존재한다. 이러한 자연어 처리 문제를 해결하기 위해 기존 연구에서는 사전학습된 언어 모델을 미세조정하여 사용하는 방법이 널리 활용되고 있으나, 학습 데이터가 부족한 환경에서는 기존의 일반적인 미세조정 방법으로 모델의 성능을 높이는 것이 제한적이며 사전학습된 의미론적인 정보를 충분히 활용하지 못하여 성능 향상에 한계가 있다. 이에 본 연구에서는 기존의 일반적인 미세조정 방법에 템플릿을 적용한 템플릿 기반 미세조정 방법을 통해 사전학습된 의미론적인 정보를 더욱 활용할 수 있도록 한다. 객관식 형태의 기계 독해 문제 중 하나인 토익 문제에 대해 모델을 템플릿 기반 미세조정 방법으로 실험을 진행하여 템플릿이 모델 학습에 어떠한 영향을 주는지 확인하였다.

• Journal of Digital Convergence
• /
• v.16 no.10
• /
• pp.205-212
• /
• 2018

With the development of high performance CPU / GPU, artificial intelligence algorithms such as deep neural networks, and a large amount of data, machine learning has been extended to various applications. In particular, a large amount of data collected from the Internet of Things, social network services, web pages, and public data is accelerating the use of machine learning. Learning data sets for machine learning exist in various formats according to application fields and data types, and thus it is difficult to effectively process data and apply them to machine learning. Therefore, this paper studied a method for building a learning data set for machine learning in accordance with standardized procedures. This paper first analyzes the requirement of learning data set according to problem types and data types. Based on the analysis, this paper presents the reference model to build learning data set for machine learning applications. This paper presents the target standardization organization and a standard development strategy for building learning data set.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.526-529
• /
• 2020

최근 네트워크 환경에 대한 공격이 급속도로 고도화 및 지능화 되고 있기에, 기존의 시그니처 기반 침입탐지 시스템은 한계점이 명확해지고 있다. 이러한 문제를 해결하기 위해서 기계학습 기반의 침입 탐지 시스템에 대한 연구가 활발히 진행되고 있지만 기계학습을 침입 탐지에 이용하기 위해서는 두 가지 문제에 직면한다. 첫 번째는 실시간 탐지를 위한 학습과 연관된 중요 특징들을 선별하는 문제이며 두 번째는 학습에 사용되는 데이터의 불균형 문제로, 기계학습 알고리즘들은 데이터에 의존적이기에 이러한 문제는 치명적이다. 본 논문에서는 위 제시된 문제들을 해결하기 위해서 Hybrid Feature Selection과 Data Balancing을 통한 심층 신경망 기반의 네트워크 침입 탐지 모델을 제안한다. NSL-KDD 데이터 셋을 통해 학습을 진행하였으며, 평가를 위해 Accuracy, Precision, Recall, F1 Score 지표를 사용하였다. 본 논문에서 제안된 모델은 Random Forest 및 기본 심층 신경망 모델과 비교해 F1 Score를 기준으로 7~9%의 성능 향상을 이루었다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.124-130
• /
• 2021

기계요약의 사실 불일치는 생성된 요약이 원문과 다른 사실 정보를 전달하는 현상이며, 특히 개체명이 잘못 사용되었을 때 기계요약의 신뢰성을 크게 훼손한다. 개체명의 수정을 위해서는 두 가지 작업을 수행해야한다. 먼저 요약 내 각 개체명이 올바르게 쓰였는지 판별을 해야하며, 이후 잘못된 개체명을 맞게 고치는 작업이 필요하다. 본 논문에서는 두 가지 작업 모두 각 개체명을 문맥적으로 이해함으로써 해결할 수 있다고 가정하고, 이에 따라 두 작업에 대한 다중 작업 학습 방법을 제안한다. 제안한 방법을 통해 학습한 모델은 생성된 기계요약에 대한 후처리 교정을 수행할 수 있다. 제안 모델을 평가하기 위해 강제적으로 개체명을 훼손시킨 요약데이터와 기계 요약 데이터에 대해서 성능을 평가 하였으며, 다른 개체명 수정 모델과 비교하였다. 제안모델은 개체명 수준에서 92.9%의 교정 정확도를 달성했으며, KoBART 요약모델이 만든 기계요약의 사실 정확도 4.88% 포인트 향상시켰다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.335-339
• /
• 2021

기계독해(MRC)는 인공지능 알고리즘이 문서를 이해하고 질문에 대한 정답을 찾는 기술이다. MRC는 사전 학습 모델을 사용하여 높은 성능을 내고 있고, 일반 텍스트문서 뿐만 아니라 문서 내의 테이블(표)에서도 정답을 찾고자 하는 연구에 활발히 적용되고 있다. 본 연구에서는 기존의 사전학습 모델을 테이블 데이터에 활용하여 질의응답을 할 수 있는 방법을 제안한다. 더불어 테이블 데이터를 효율적으로 학습하기 위한 데이터 구성 방법을 소개한다. 사전학습 모델은 BERT[1]를 사용하여 테이블 정보를 인코딩하고 Masked Entity Recovery(MER) 방식을 사용한다. 테이블 질의응답 모델 학습을 위해 한국어 위키 문서에서 표와 연관 텍스트를 추출하여 사전학습을 진행하였고, 미세 조정은 샘플링한 테이블에 대한 질문-답변 데이터 약 7만건을 구성하여 진행하였다. 결과로 KorQuAD2.0 데이터셋의 테이블 관련 질문 데이터에서 EM 69.07, F1 78.34로 기존 연구보다 우수한 성능을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.922-925
• /
• 2019

기계 독해 기술은 기계가 주어진 비정형 문서 내에서 사용자의 질문을 이해하여 답변을 하는 기술로써, 챗봇이나 스마트 스피커 등, 사용자 질의응답 분야에서 핵심이 되는 기술 중 하나이다. 최근 딥러닝을 이용한 기학습 언어모델과 전이학습을 통해 사람의 기계 독해 능력을 뛰어넘는 방법론들이 제시되었다. 하지만 이러한 방식은 사람이 인식하는 질의응답 방법과 달리, 개체가 가지는 의미론(Semantic) 관점보다는 토큰 단위로 분리된 개체의 형태(Syntactic)와 등장하는 문맥(Context)에 의존해 기계 독해를 수행하였다. 본 논문에서는 기존의 높은 성능을 나타내던 기학습 언어모델에 대규모 지식그래프에 등장하는 개체 정보를 함께 학습함으로써, 의미학적 정보를 반영하는 방법을 제시한다. 본 논문이 제시하는 방법을 통해 기존 방법보다 기계 독해 분야에서 높은 성능향상 결과를 얻을 수 있었다.

• Journal of Bio-Environment Control
• /
• v.31 no.3
• /
• pp.152-162
• /
• 2022

This study developed simulation model for predicting the greenhouse interior environment using artificial intelligence machine learning techniques. Various methods have been studied to predict the internal environment of the greenhouse system. But the traditional simulation analysis method has a problem of low precision due to extraneous variables. In order to solve this problem, we developed a model for predicting the temperature inside the greenhouse using machine learning. Machine learning models are developed through data collection, characteristic analysis, and learning, and the accuracy of the model varies greatly depending on parameters and learning methods. Therefore, an optimal model derivation method according to data characteristics is required. As a result of the model development, the model accuracy increased as the parameters of the hidden unit increased. Optimal model was derived from the GRU algorithm and hidden unit 6 (r² = 0.9848 and RMSE = 0.5857℃). Through this study, it was confirmed that it is possible to develop a predictive model for the temperature inside the greenhouse using data outside the greenhouse. In addition, it was confirmed that application and comparative analysis were necessary for various greenhouse data. It is necessary that research for development environmental control system by improving the developed model to the forecasting stage.