• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.284-288
• /
• 2022

최근 다양한 언어모델의 구축 및 발전으로 개체명 인식 시스템의 성능은 최고 수준에 도달했다. 하지만 이와 관련된 대부분의 연구는 데이터가 충분한 언어에 대해서만 다루기 때문에, 양질의 지도학습 데이터의 존재를 가정한다. 대부분의 언어에서는 개체 유형에 대한 언어의 잠재적 특성을 충분히 학습할 수 있는 지도학습 데이터가 부족하기 때문에, 종종 자원 부족의 어려움에 직면한다. 본 논문에서는 Masked language modeling 기반 언어 간 전이학습을 이용한 개체명 인식 방법론에 대한 분석을 수행한다. 이를 위해 전이를 수행하는 소스 언어는 고자원 언어로 가정하며, 전이를 받는 타겟 언어는 저자원 언어로 가정한다. 본 논문에서는 언어모델의 토큰 사전에 언어 독립적인 가상의 자질인 개체 유형에 대한 프롬프트 토큰을 추가하고 이를 소스 언어로 학습한 뒤, 타겟 언어로 전이하는 상황에서 제안하는 방법론에 대한 평가를 수행한다. 실험 결과, 제안하는 방법론은 일반적인 미세조정 방법론보다 높은 성능을 보였으며, 한국어에서 가장 큰 영향을 받은 타겟 언어는 네덜란드어, 한국어로 전이할 때 가장 큰 영향을 준 소스 언어는 중국어인 결과를 보였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.135-140
• /
• 2020

사전 학습된 Transformer 기반 언어 모델은 자연어처리 시스템에 적용되었을 시 광범위한 사례에서 큰 폭의 성능 향상을 보여준다. 여기서 사전 학습에 사용되는 언어 모델링 태스크는 비지도 학습에 속하는 기술이기 때문에 상대적으로 데이터의 확보가 쉬운 편이다. 하지만 몇 종의 주류 언어를 제외한 대부분 언어는 활용할 수 있는 언어 자원 자체가 희소하며, 따라서 이러한 사전 학습 기술의 혜택도 누리기 어렵다. 본 연구에서는 이와 같은 상황에서 발생할 수 있는 자원 희소성 문제를 극복하기 위해 이종 언어 간 전이 학습을 이용하는 방법을 제안한다. 본 방법은 언어 자원이 풍부한 언어에서 학습된 Transformer 기반 언어 모델에서 얻은 파라미터 중 재활용 가능한 부분을 이용하여 목표 언어의 모델을 초기화한 후 학습을 진행한다. 또한, 기존 언어와 목표 언어의 차이를 학습하는 역할을 하는 적응층들을 추가하여 이종 언어 간 전이 학습을 돕는다. 제안된 방법을 언어 자원이 희귀한 상황에 대하여 실험해본 결과, 전이 학습을 사용하지 않은 기준 모델 대비 perplexity와 단어 예측의 정확도가 큰 폭으로 향상됨을 확인하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2018.01a
• /
• pp.99-100
• /
• 2018

컴퓨팅 사고력이 강조됨에 따라 우리 나라를 비롯한 세계 여러 나라에서는 프로그래밍 교육 등 컴퓨팅 관련 교육을 실시하고 있다. 일반적으로 프로그래밍 교육에서 초보 학습자에게는 블록 기반 프로그래밍 언어를 학습한 후 텍스트 기반 프로그래밍 언어를 학습하게 된다. 블록 기반 언어와 텍스트 기반 언어는 동일한 프로그래밍 논리를 함양하게 되지만, 다른 모든 언어들과 마찬가지로 언어 특성, 사용법, 형태 등 다소 차이가 있다. 따라서 본 논문에서는 블록 기반 프로그래밍 언어에서 텍스트 기반 프로그래밍 언어의 학습 전이의 효과에 대해 이론적 고찰을 실시하였으며, 그 결과 대부분의 연구에서 긍정적 전이 효과를 입증하였음을 확인하였다.

• Journal of the Korea Convergence Society
• /
• v.12 no.10
• /
• pp.27-35
• /
• 2021

Automatic post editing is a research field that aims to automatically correct errors in machine translation results. This research is mainly being focus on high resource language pairs, such as English-German. Recent APE studies are mainly adopting transfer learning based research, where pre-training language models, or translation models generated through self-supervised learning methodologies are utilized. While translation based APE model shows superior performance in recent researches, as such researches are conducted on the high resource languages, the same perspective cannot be directly applied to the low resource languages. In this work, we apply two transfer learning strategies to Korean-English APE studies and show that transfer learning with translation model can significantly improves APE performance.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.269-274
• /
• 2023

질의응답 (Question Answering)은 주어진 질문을 이해하여 그에 맞는 답변을 생성하는 자연어 처리 분야의 핵심적인 기계 독해 작업이다. 현재 대다수의 자연어 이해 작업은 사전학습 언어 모델에 미세 조정 (finetuning)하는 방식으로 학습되고, 질의응답 역시 이러한 방법으로 진행된다. 하지만 미세 조정을 통한 전이학습은 사전학습 모델의 크기가 커질수록 전이학습이 잘 이루어지지 않는다는 단점이 있다. 게다가 많은 양의 파라미터를 갱신한 후 새로운 가중치들을 저장하여야 한다는 용량의 부담이 존재한다. 본 연구는 최근 대두되는 deep prompt tuning 방법론을 한국어 추출형 질의응답에 적용하여, 미세 조정에 비해 학습시간을 단축시키고 적은 양의 파라미터를 활용하여 성능을 개선했다. 또한 한국어 추출형 질의응답에 최적의 prompt 길이를 최적화하였으며 오류 분석을 통한 정성적인 평가로 deep prompt tuning이 모델 예측에 미치는 영향을 조사하였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.295-299
• /
• 2022

자원이 부족한 언어 환경에서 사전학습 언어모델 학습을 위한 대용량의 코퍼스를 구축하는데는 한계가 존재한다. 본 논문은 이러한 한계를 극복할 수 있는 Cross-lingual Post-Training (XPT) 방법론을 적용하여 비교적 자원이 부족한 한국어에서 해당 방법론의 효율성을 분석한다. 적은 양의 한국어 코퍼스인 400K와 4M만을 사용하여 다양한 한국어 사전학습 모델 (KLUE-BERT, KLUE-RoBERTa, Albert-kor)과 mBERT와 전반적인 성능 비교 및 분석 연구를 진행한다. 한국어의 대표적인 벤치마크 데이터셋인 KLUE 벤치마크를 사용하여 한국어 하위태스크에 대한 성능평가를 진행하며, 총 7가지의 태스크 중에서 5가지의 태스크에서 XPT-4M 모델이 기존 한국어 언어모델과의 비교에서 가장 우수한 혹은 두번째로 우수한 성능을 보인다. 이를 통해 XPT가 훨씬 더 많은 데이터로 훈련된 한국어 언어모델과 유사한 성능을 보일 뿐 아니라 학습과정이 매우 효율적임을 보인다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.437-440
• /
• 2020

최근 자연어 처리에서는 사전 학습과 전이 학습을 통하여 다양한 과제에 높은 성능 향상을 성취하고 있다. 사전 학습의 대표적 모델로 구글의 BERT가 있으며, 구글에서 제공한 다국어 모델을 포함해 한국의 여러 연구기관과 기업에서 한국어 데이터셋으로 학습한 BERT 모델을 제공하고 있다. 하지만 이런 BERT 모델들은 사전 학습에 사용한 말뭉치의 특성에 따라 이후 전이 학습에서의 성능 차이가 발생한다. 본 연구에서는 소셜미디어에서 나타나는 구어체와 신조어, 특수문자, 이모지 등 일반 사용자들의 문장에 보다 유연하게 대응할 수 있는 한국어 뉴스 댓글 데이터를 통해 학습한 KcBERT를 소개한다. 본 모델은 최소한의 데이터 정제 이후 BERT WordPiece 토크나이저를 학습하고, BERT Base 모델과 BERT Large 모델을 모두 학습하였다. 또한, 학습된 모델을 HuggingFace Model Hub에 공개하였다. KcBERT를 기반으로 전이 학습을 통해 한국어 데이터셋에 적용한 성능을 비교한 결과, 한국어 영화 리뷰 코퍼스(NSMC)에서 최고 성능의 스코어를 얻을 수 있었으며, 여타 데이터셋에서는 기존 한국어 BERT 모델과 비슷한 수준의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.571-575
• /
• 2022

본 논문에서는 통계청에서 매월 작성되는 온라인쇼핑동향조사를 위해, 언어모델 전이학습 기반 분류모델 학습 방법론을 이용하여, 관세청 제공 전자상거래 수입 목록통관 자료를 처리하기 위해서 해외 직접 구매 상품군 분류 모델을 구축한다. 최근에 텍스트 분류 태스크에서 많이 이용되는 BERT 기반의 언어모델을 이용하며 기존의 색인어 정보 분석 과정이나 사례사전 구축 등의 중간 단계 없이 해외 직접 판매 및 구매 상품군을 94%라는 높은 예측 정확도로 분류가 가능해짐을 알 수 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.395-396
• /
• 2022

본 논문에서는 블록 프로그래밍 언어를 선행조직자로 하여 텍스트 프로그래밍 언어를 학습하는 도구 활용 전략을 연구하였다. 텍스트 프로그래밍 언어는 파이썬이며, 블록 프로그래밍 언어는 엔트리, 활용하는 도구는 주피터 노트북으로 선정하였다. 주피터 노트북을 활용한 블록 프로그래밍 언어 선행조직자 학습 전략은 code cell에 IPython.display.IFrame 클래스를 활용하여 결과 창에 엔트리 작업환경을 불러와 선행조직자로 제시하여 엔트리를 학습 후 code cell에서 파이썬으로 학습한다. 주피터 노트북을 통해 블록 프로그래밍 언어를 선행조직자로 제시 후 텍스트 프로그래밍 언어를 제시함으로써 텍스트 프로그래밍 언어를 학습할 때 인지적 부담을 줄어들고 긍정적 전이가 일어나 효과적인 학습이 될 것으로 기대된다.

• Proceedings of The KACE
• /
• 2018.01a
• /
• pp.29-31
• /
• 2018

프로그래밍 언어 교육에서 일반적으로 학습자들은 블록 기반 프로그래밍 언어에서 텍스트 기반 프로그래밍 언어 순서로 학습한다. 블록 기반 프로그래밍 언어나 텍스트 기반 프로그래밍 언어는 여타의 프로그래밍 언어들과 마찬가지로 프로그래밍의 기본 논리는 동일하나, 형태, 언어적 특성 및 사용 등에 대하여 다소 차이가 있다. 따라서 본 연구에서는 학습자들의 블록 기반 프로그래밍 언어에서 텍스트 기반 프로그래밍 언어로의 유연한 학습 전이를 돕기 위한 프로그램의 설계 방안을 선행 조직자의 제시, 학습 콘텐츠의 체계화, 단순하고 직관적인 화면 구성으로 제시하였다.