• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.558-562
• /
• 2023

최근 ChatGPT의 등장으로 텍스트 생성 모델에 대한 관심이 높아지면서, 텍스트 생성 태스크의 성능평가를 위한 지표에 대한 연구가 활발히 이뤄지고 있다. 전통적인 단어 빈도수 기반의 성능 지표는 의미적인 유사도를 고려하지 못하기 때문에, 사전학습 언어모델을 활용한 지표인 BERTScore를 주로 활용해왔다. 하지만 이러한 방법은 사전학습 언어모델이 학습한 데이터에 존재하는 편향으로 인해 공정성에 대한 문제가 우려된다. 이에 따라 한국어 사전학습 언어모델의 편향에 대한 분석 연구가 필요한데, 기존의 한국어 사전학습 언어모델의 편향 분석 연구들은 사회에서 생성되는 다양한 속성 별 편향을 고려하지 못했다는 한계가 있다. 또한 서로 다른 언어를 기반으로 하는 사전학습 언어모델들의 속성 별 편향을 비교 분석하는 연구 또한 미비하였다. 이에 따라 본 논문에서는 한국어 사전학습 언어모델의 속성 별 편향을 비교 분석하며, 영어 사전학습 언어모델이 갖고 있는 속성 별 편향과 비교 분석하였고, 비교 가능한 데이터셋을 구축하였다. 더불어 한국어 사전학습 언어모델의 종류 및 크기 별 편향 분석을 통해 적합한 모델을 선택할 수 있도록 가이드를 제시한다.

• Phonetics and Speech Sciences
• /
• v.13 no.4
• /
• pp.23-34
• /
• 2021

This study aims to discuss how Egyptian learners of Korean perceive and categorize Korean vowels, how Koreans perceive Korean vowels they pronounce, and how Egyptian learners' Korean vowel categorization affects their perception and production of Korean vowels. In Experiment 1, 53 Egyptian learners were asked to listen to Korean test words pronounced by Koreans and choose the words they had listened to among 4 confusable words. In Experiment 2, 117 sound files (13 test words×9 Egyptian learners) recorded by Egyptian learners were given to Koreans and asked to select the words they had heard among 4 confusable words. The results of the experiments show that "new" Korean vowels that do not have categorizable ones in Egyptian Arabic easily formed new categories and were therefore well identified in perception and relatively well pronounced, but some of them were poorly produced. However, Egyptian learners poorly distinguished "similar" Korean vowels in perception, but their pronunciation was relatively well identified by native Koreans. Based on the results of this study, we argued that the Speech Learning Model (SLM) and Perceptual Assimilation Model (PAM) explain the L2 speech perception well, but they are insufficient to explain L2 speech production and therefore need to be revised and extended to L2 speech production.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.360-365
• /
• 2022

문장 표현(sentence representation)은 자연어처리 분야 내의 다양한 문제 해결 및 응용 개발에 있어 유용하게 활용될 수 있는 주요한 도구 중 하나이다. 하지만 최근 널리 도입되고 있는 사전 학습 언어 모델(pre-trained language model)로부터 도출한 문장 표현은 이방성(anisotropy)이 뚜렷한 등 그 고유의 특성으로 인해 문장 유사도(Semantic Textual Similarity; STS) 측정과 같은 태스크에서 기대 이하의 성능을 보이는 것으로 알려져 있다. 이러한 문제를 해결하기 위해 대조 학습(contrastive learning)을 사전 학습 언어 모델에 적용하는 연구가 문헌에서 활발히 진행되어 왔으며, 그중에서도 레이블이 없는 데이터를 활용하는 비지도 대조 학습 방법이 주목을 받고 있다. 하지만 대다수의 기존 연구들은 주로 영어 문장 표현 개선에 집중하였으며, 이에 대응되는 한국어 문장 표현에 관한 연구는 상대적으로 부족한 실정이다. 이에 본 논문에서는 대표적인 비지도 대조 학습 방법(ConSERT, SimCSE)을 다양한 한국어 사전 학습 언어 모델(KoBERT, KR-BERT, KLUE-BERT)에 적용하여 문장 유사도 태스크(KorSTS, KLUE-STS)에 대해 평가하였다. 그 결과, 한국어의 경우에도 일반적으로 영어의 경우와 유사한 경향성을 보이는 것을 확인하였으며, 이에 더하여 다음과 같은 새로운 사실을 관측하였다. 첫째, 사용한 비지도 대조 학습 방법 모두에서 KLUE-BERT가 KoBERT, KR-BERT보다 더 안정적이고 나은 성능을 보였다. 둘째, ConSERT에서 소개하는 여러 데이터 증강 방법 중 token shuffling 방법이 전반적으로 높은 성능을 보였다. 셋째, 두 가지 비지도 대조 학습 방법 모두 검증 데이터로 활용한 KLUE-STS 학습 데이터에 대해 성능이 과적합되는 현상을 발견하였다. 결론적으로, 본 연구에서는 한국어 문장 표현 또한 영어의 경우와 마찬가지로 비지도 대조 학습의 적용을 통해 그 성능을 개선할 수 있음을 검증하였으며, 이와 같은 결과가 향후 한국어 문장 표현 연구 발전에 초석이 되기를 기대한다.

• Phonetics and Speech Sciences
• /
• v.15 no.4
• /
• pp.17-26
• /
• 2023

This study aimed to reveal how Vietnamese adult learners at three different proficiency levels perceive Korean word-initial obstruents and whether errors can be corrected through perceptual training. To this end, 105 Vietnamese beginner, intermediate, and advanced learners were given perceptual training on Korean word-initial. The training materials were created by actively utilizing Korean minimal pairs as natural stimuli recorded by native speakers. Learners in the experimental group performed five 20-40 minute self-directed perceptual training sessions over a period of approximately two weeks, while learners in the control group only participated in the pretest and posttest. The results showed a significant improvement in the perception of sounds that were difficult to distinguish before training, and both beginners and advanced learners benefited from the training. This study confirmed that large-scale perceptual training can play an important role in helping Vietnamese learners learn the appropriate acoustic cues to distinguish different sounds in Korean.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.468-473
• /
• 2023

본 논문은 사전 학습 언어 모델의 특성인 이방성과 문맥화에 주목하여 이에 대한 분석 실험과 한국어 언어 모델만의 새로운 관점을 제안한다. 최근 진행된 영어 언어 모델 분석 연구에서 영감을 받아, 한국어 언어 모델에서도 대조학습을 통한 이방성과 문맥화의 변화를 보고하였으며, 다양한 모델에 대하여 토큰들을 문맥화 정도에 따라 분류하였다. 또한, 한국어의 언어학적 특성을 고려하여, 허위 문맥화를 완화할 수 있는 토큰을 문맥 중심어로, 문맥 중심어의 임베딩을 모방하는 토큰을 문맥 기능어로 분류하는 기준을 제안하였다. 간단한 적대적 데이터 증강 실험을 통하여 제안하는 분류 기준의 가능성을 확인하였으며, 본 논문이 향후 평가 벤치마크 및 데이터셋 제작, 나아가 한국어를 위한 강건한 학습 방법론에 기여하길 바란다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.243-248
• /
• 2020

인공 신경망을 통한 심층 학습 모델의 발전은 컴퓨터 비전, 자연언어 이해 문제들에서 인간을 뛰어넘는 성능을 보이고 있다. 특히 트랜스포머[1] 기반의 사전 학습 모델은 질의응답, 대화문과 같은 자연언어 이해 문제에서 최근 높은 성능을 보이고 있다. 하지만 트랜스포머 기반의 모델과 같은 심층 학습 모델의 급격한 발전 양상에 비해, 이의 동작 방식은 상대적으로 잘 알려져 있지 않다. 인공 신경망을 통한 심층 학습 모델을 해석하는 방법으로 모델의 예측 값과 실제 값이 얼마나 일치하는지를 측정하는 모델의 보정(Calibration)이 있다. 본 연구는 한국어 기반의 심층학습 모델의 해석을 위해 모델의 보정을 수행하였다. 그리고 사전 학습된 한국어 언어 모델이 문장이 내포하는 애매성을 잘 파악하는지의 여부를 확인하고, 완화 기법들을 적용하여 문장의 애매성을 확신 수준을 통해 정량적으로 출력할 수 있도록 하였다. 또한 한국어의 문법적 특징으로 인한 문장의 의미 변화를 모델 보정 관점에서 평가하여 한국어의 문법적 특징을 심층학습 언어 모델이 잘 이해하고 있는지를 정량적으로 확인하였다.

• Journal of the Korea Convergence Society
• /
• v.8 no.4
• /
• pp.219-229
• /
• 2017

The study was conducted to find out lexical complexity and syntactic complexity for Korean learners by telling stories to see pictures. The results were as follows. First, there was no meaningful difference according to nationality. Second, we checked the differences on lexical complexity and syntactic complexity according to Korean studying period, only number of difference words showed meaningful difference among lexical complexity sub variables, but there was no difference among syntactic complexity sub variables. Third, we also checked correlation among staying period of Korea, Korean studying period, and other language related variables. It showed meaningful correlation staying period in Korea and other language related variable except Korean studying period and TTR. The directions for teaching Korean learners were suggested on the point of converge view according to results.

• Annual Conference on Human and Language Technology
• /
• 2013.10a
• /
• pp.70-73
• /
• 2013

자연어처리에서는 많은 모듈들이 파이프라인 방식으로 연결되어 사용되나, 이 경우 앞 단계의 오류가 뒷 단계에 누적되는 문제와 앞 단계에서 뒷 단계의 정보를 사용하지 못한다는 단점이 있다. 본 논문에서는 파이프라인 방식의 문제를 해결하기 위해 사용되는 일반적인 결합 학습 방법을 확장하여, 두 작업이 동시에 태깅된 학습 데이터뿐만 아니라 한 작업만 태깅된 학습데이터도 동시에 학습에 사용할 수 있는 결합 학습 모델을 Latent Structural SVM을 확장하여 제안한다. 실험 결과, 기존의 한국어 띄어쓰기와 품사 태깅 결합 모델의 품사 태깅 성능이 96.99%였으나, 본 논문에서 제안하는 결합 학습 모델을 이용하여 대용량의 한국어 띄어쓰기 학습데이터를 추가로 학습한 결과 품사 태깅 성능이 97.20%까지 향상 되었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.954-957
• /
• 2015

본 연구는 컴퓨터시스템을 이용한 맞춤형 정음기반 한국어 학습 지원시스템의 효율적인 모델에 관한 연구 논문으로서, IMS/AICC 국제규격을 준수하는 LCMS와 SCORM 기반의 정음 정보처리로 한국어 교육이 가능한 학습지원시스템에 구축 시스템의 세부 모음들을 정의하였다. 주 내용은 학습자의 학습결과와 학습 습관을 분석 평가하여 자가 주도 식으로 학습할 수 있는 기능을 제공한 것이다. 본 연구는 효율적인 PMS 세부모듈 시스템은 물론, 표준 역량모델관리시스템, 학습자 개별 역량 관리시스템, 역량저장 및 저장소, 커뮤니티를 활용한 역량 모델기반의 지식관리시스템, 교육 수요분석용 e-Survey시스템, 모바일 학습지원서비스 시스템 등이다. 앞으로 클라우드컴퓨팅 기술을 적용한 외국인을 위한 정음기반 한국어 학습지원시스템 구축 표준 모델을 제시하였다.

• Annual Conference on Human and Language Technology
• /
• 2006.10e
• /
• pp.15-21
• /
• 2006

본 논문에서는 올바른 한국어 생활과 한국어 실력 향상을 위하여, 한국어 어휘에 대한 풍부한 정보를 담고 있는 한국어사전, 사용자 어휘지능망(User-Word Intelligent Network : U-WIN)등의 언어자원을 이용한 자동문제생성기술을 소개하고, 이를 이용한 한국어 어휘학습시스템을 제시한다. 대부분의 학습시스템에서 사용하는 문제 은행식 출제 방식의 문제점을 해소할 수 있는 하나의 방법으로서, 기존의 한국어 어휘문제의 문항을 분석하여 8가지 문제 유형으로 재편성하고, 각 유형별 자동 문제 생성패턴에 따라 언어자원이 가지고 있는 한국어 어휘의 형태적 정보, 의미적 정보를 이용하여 한국어 어휘 문제를 자동 출제하는 한국어 어휘학습시스템을 구현하였다.