• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.262-267
• /
• 2022

이커머스 리뷰와 같은 특정 도메인의 경우, 텍스트 표현벡터 학습을 위한 양질의 오픈 학습 데이터를 구하기 어렵다. 또한 사람이 수동으로 검수하며 학습데이터를 만드는 경우, 많은 시간과 비용을 소모하게 된다. 따라서 본 논문에서는 수동으로 검수된 데이터없이 양질의 텍스트 표현벡터를 만들 수 있도록 두 단계의 대조 학습 시스템을 제안한다. 이 두 단계 대조 학습 시스템은 레이블링 된 학습데이터가 필요하지 않은 자기지도 학습 단계와 리뷰의 특성을 고려한 자동 레이블링 기반의 지도 학습 단계로 구성된다. 또한 노이즈에 강한 오류함수와 한국어에 유효한 데이터 증강 기법을 적용한다. 그 결과 스피어먼 상관 계수 기반의 성능 평가를 통해, 베이스 모델과 비교하여 성능을 14.03 향상하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.437-440
• /
• 2020

최근 자연어 처리에서는 사전 학습과 전이 학습을 통하여 다양한 과제에 높은 성능 향상을 성취하고 있다. 사전 학습의 대표적 모델로 구글의 BERT가 있으며, 구글에서 제공한 다국어 모델을 포함해 한국의 여러 연구기관과 기업에서 한국어 데이터셋으로 학습한 BERT 모델을 제공하고 있다. 하지만 이런 BERT 모델들은 사전 학습에 사용한 말뭉치의 특성에 따라 이후 전이 학습에서의 성능 차이가 발생한다. 본 연구에서는 소셜미디어에서 나타나는 구어체와 신조어, 특수문자, 이모지 등 일반 사용자들의 문장에 보다 유연하게 대응할 수 있는 한국어 뉴스 댓글 데이터를 통해 학습한 KcBERT를 소개한다. 본 모델은 최소한의 데이터 정제 이후 BERT WordPiece 토크나이저를 학습하고, BERT Base 모델과 BERT Large 모델을 모두 학습하였다. 또한, 학습된 모델을 HuggingFace Model Hub에 공개하였다. KcBERT를 기반으로 전이 학습을 통해 한국어 데이터셋에 적용한 성능을 비교한 결과, 한국어 영화 리뷰 코퍼스(NSMC)에서 최고 성능의 스코어를 얻을 수 있었으며, 여타 데이터셋에서는 기존 한국어 BERT 모델과 비슷한 수준의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.55-60
• /
• 2018

기계학습 기반인 관계추출 모델을 설계할 때 다량의 학습데이터를 빠르게 얻기 위해 원격지도학습 방식으로 데이터를 수집한다. 이러한 데이터는 잘못 분류되어 학습데이터로 사용되기 때문에 모델의 성능에 부정적인 영향을 끼칠 수 있다. 본 논문에서는 이러한 문제를 강화학습 접근법을 사용해 해결하고자 한다. 본 논문에서 제안하는 모델은 오 분류된 데이터로부터 좋은 품질의 데이터를 찾는 문장선택기와 선택된 문장들을 가지고 학습이 되어 관계를 추출하는 관계추출기로 구성된다. 문장선택기는 지도학습데이터 없이 관계추출기로부터 피드백을 받아 학습이 진행된다. 이러한 방식은 기존의 관계추출 모델보다 좋은 성능을 보여주었고 결과적으로 원격지도학습데이터의 단점을 해결한 방법임을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2014.10a
• /
• pp.206-210
• /
• 2014

음성언어처리 기술의 발전과 외국어로서의 한국어 교육에 대한 관심이 커지면서 컴퓨터를 활용한 언어교육 (CALL) 기반의 한국어 학습 시스템에 대한 연구가 활발히 진행되고 있다. 학습자의 모국어와 학습언어의 대조 분석은 양 언어의 유사점과 차이점을 찾아내어 학습자들이 무엇을 학습해야 하고, 학습자들이 보이는 오류가 어떤 것인지 판단할 수 있는 중요한 자료를 제공한다. 본 논문에서는 중국인 학습자를 위한 컴퓨터 기반 한국어 학습 시스템 개발을 위해서 선행연구의 대조분석과 실험 결과를 정리하고, 이를 토대로 중국어 학습자들이 보일 수 있는 분절음 발음 변이 양상을 예측한다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.364-366
• /
• 2018

Visual Question Answering(VQA)은 주어진 이미지와 질문에 대해 알맞은 정답을 찾는 기술이다. VQA는 어린이 학습, 인공지능 비서 등 여러 분야에 활용할 수 있는 중요한 기술이다. 그러나 관련된 한국어 데이터를 확보하기 힘든 이유로 한국어를 이용한 연구는 이루어지지 못하고 있다. 본 논문에서는 기존 영어 VQA 데이터를 한글로 번역하여 한국어 VQA 데이터로 사용하며, 이미지 정보와 질문 정보를 적절히 조절할 수 있는 Gate를 한국어 VQA에 적용한다. 실험 결과, 본 논문에서 제안한 모델이 영어 및 한국어 VQA 데이터에서 다른 모델보다 더 좋은 성능을 보였다.

• Communications of Mathematical Education
• /
• v.13 no.2
• /
• pp.625-639
• /
• 2002

본 연구에서는 LOGO를 개발한 Papert의 철학에 따라 아동이 자유롭게 학습할 수 있는 Microworld를 통해 수학을 새로운 관점에서 접근하고, 아동에 맞게 수학을 재구성하여 제공한다는 적극적인 교육적 배려에서 정규교육과정(교실), 특기적성, 자기 주도 학습 등 다양한 학습 환경에 가능한 컴퓨터 창의력수학 프로그램을 개발하고자 한다. 많은 관심에 비해 창의력 교육이 구체적으로 학습과 관련되어 있지 않고, 체계적인 교육과정을 따라 이루어지지 않고 있으며, 컴퓨터 교육 역시 한글 워드나 Excel과 같은 기능 위주의 학습으로 컴퓨터 학습에서 기대하는 알고리즘 학습은 소홀히 다루는 문제점이 있다. 이러한 창의력 교육과 컴퓨터 교육에 대한 문제점에 주목하여 학교 교과과정과 연계된 컴퓨터 알고리즘 학습과 수학 학습이 함께 가능한 컴퓨터를 통한 수학적 창의력 향상 프로그램을 개발하고자 한다. 이에 학교 교과과정에 연계하여 컴퓨터 알고리즘 학습과 수학적 창의력 향상에 적합한 매체로 LOGO 마이크로월드를 택하고, 이를 이용한 컴퓨터 창의력 수학 프로그램이 가지는 특징을 살펴본다. 이렇게 개발된 프로그램은 검증을 위해 봄학기 초등학교에서 실험연구가 계획되어 있다.

• Annual Conference on Human and Language Technology
• /
• 2013.10a
• /
• pp.70-73
• /
• 2013

자연어처리에서는 많은 모듈들이 파이프라인 방식으로 연결되어 사용되나, 이 경우 앞 단계의 오류가 뒷 단계에 누적되는 문제와 앞 단계에서 뒷 단계의 정보를 사용하지 못한다는 단점이 있다. 본 논문에서는 파이프라인 방식의 문제를 해결하기 위해 사용되는 일반적인 결합 학습 방법을 확장하여, 두 작업이 동시에 태깅된 학습 데이터뿐만 아니라 한 작업만 태깅된 학습데이터도 동시에 학습에 사용할 수 있는 결합 학습 모델을 Latent Structural SVM을 확장하여 제안한다. 실험 결과, 기존의 한국어 띄어쓰기와 품사 태깅 결합 모델의 품사 태깅 성능이 96.99%였으나, 본 논문에서 제안하는 결합 학습 모델을 이용하여 대용량의 한국어 띄어쓰기 학습데이터를 추가로 학습한 결과 품사 태깅 성능이 97.20%까지 향상 되었다.

• Annual Conference on Human and Language Technology
• /
• 2011.10a
• /
• pp.21-24
• /
• 2011

오늘날 정보통신기술의 발달로 스마트폰을 활용한 스마트러닝의 관심이 높아지고 있다. 하지만 부정적인 시각도 높아 긍정적인 학습효과를 제시하기 위해 많은 연구가 시도되고 있지만 대부분의 기존 연구에서는 이론적인 학습효과만을 제시하고 있어 긍정적인 학습효과를 증명하기에는 많은 부족함이 있다. 따라서 본 연구에서는 뇌파를 이용한 과학적인 근거를 제시하기 위하여 Mindset 장비를 이용하여 학습자의 Attention과 Meditation에 관한 뇌파를 분석하였다. 실험은 스마트폰을 활용한 학습과 기존의 종이를 활용한 학습으로 두 집단 간의 뇌파를 비교 분석 하였다. 실험 결과 스마트폰을 활용한 집단이 기존의 종이를 활용한 집단 보다 Meditation 뇌파가 지속적으로 높게 나타났으며 학습 시간이 지남에 따라 스마트폰을 활용한 집단의 Attention 뇌파가 높게 나타나 스마트폰을 활용한 학습이 학습자를 더욱 집중하게 만든다고 볼 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.265-271
• /
• 2019

본 논문은 어휘가 비슷한 문장들을 효과적으로 분류하는 BERT 기반 유사 문장 분류기의 학습 자료 구성 방법을 제안한다. 기존의 유사 문장 분류기는 문장의 의미와 상관 없이 각 문장에서 출현한 어휘의 유사도를 기준으로 분류하였다. 이는 학습 자료 내의 유사 문장 쌍들이 유사하지 않은 문장 쌍들보다 어휘 유사도가 높기 때문이다. 따라서, 본 논문은 어휘 유사도가 높은 유사 의미 문장 쌍들과 어휘 유사도가 높지 않은 의미 문장 쌍들을 학습 자료에 추가하여 BERT 유사 문장 분류기를 학습하여 전체 분류 성능을 크게 향상시켰다. 이는 문장의 의미를 결정짓는 단어들과 그렇지 않은 단어들을 유사 문장 분류기가 학습하였기 때문이다. 제안하는 학습 데이터 구축 방법을 기반으로 학습된 BERT 유사 문장 분류기들의 학습된 self-attention weight들을 비교 분석하여 BERT 내부에서 어떤 변화가 발생하였는지 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.32-36
• /
• 2020

문장의 의미를 잘 임베딩하는 문장 인코더를 만들기 위해 비지도 학습과 지도 학습 기반의 여러 방법이 연구되고 있다. 지도 학습 방식은 충분한 양의 정답을 구축하는데 어려움이 있다는 한계가 있다. 반면 지금까지의 비지도 학습은 단일 형식의 말뭉치에 한정해서 입력된 현재 문장의 다음 문장을 생성 또는 예측하는 형식으로 문제를 정의하였다. 본 논문에서는 위키피디아, 뉴스, 지식 백과 등 문서 형태의 말뭉치에 더해 지식인이나 검색 클릭 로그와 같은 구성이 다양한 이종의 대량 말뭉치를 활용하는 자기 지도 학습 방법을 제안한다. 각 형태의 말뭉치에 적합한 자기 지도 학습 문제를 설계하고 학습한 경우 KorSTS 데이셋의 비지도 모델 성능 평가에서 기준 모델 대비 7점 가량의 성능 향상이 있었다.