• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.470-472
• /
• 2022

최근 글로벌 OTT 서비스에서 한국드라마가 세계적 인기를 얻음에 따라 드라마 콘텐츠의 가치가 높아지고 있다. 드라마 대본은 드라마 제작에 있어서 핵심이 되는 데이터로, 특히 대사에는 인물의 특성이 잘 나타나 있다. 본 논문에서는 KoBERT 모델을 활용해 드라마 대사에서 인물의 특성 중 하나인 성별을 구분하고 실험 결과를 제시한다. KoBERT 모델로 대사의 성별을 분류한 뒤, 콘텐츠 분석과 인공지능 창작 측면에서의 활용 가능성에 대해 논의한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.562-564
• /
• 2022

통신 기술의 발전으로 일반인들도 다양한 자료들을 인터넷에서 손쉽게 찾아볼 수 있는 시대가 도래하였다. 개인이 접근할 수 있는 정보량이 기하급수적으로 많아 짐에 따라, 이를 효율적으로 요약, 정리하여 보여주는 서비스들의 필요성이 높아지기 시작했다. 본 논문에서는, 자연어 처리 모델인 BART를 40GB 이상의 한국어 텍스트로 미리 학습된 한국어 언어 모델 KoBART를 사용한 한국어 논문 요약 모델을 제안하고, KoBART와 KoBERT 모델의 한국어 논문 요약 성능을 비교한다.

• 한국컴퓨터정보학회논문지
• /
• 제27권11호
• /
• pp.39-46
• /
• 2022

본 논문에서는 UD Korean Kaist v2.3 코퍼스를 이용하여 범용 품사 태깅, 표제어추출 그리고 의존 구문분석을 동시에 예측할 수 있는 보편적 다중 작업 모델을 제안하였다. 제안 모델은 사전학습 언어모델인 다국어 BERT (Multilingual BERT)와 한국어 BERT (KR-BERT와 KoBERT)을 대상으로 추가학습 (fine-tuning)을 수행하여 BERT 모델의 자가-집중 (self-attention) 기법과 그래프 기반 Biaffine attention 기법을 적용하여 제안 모델의 성능을 비교 분석하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.340-345
• /
• 2021

최근 많은 연구들이 BERT를 활용하여, 주어진 문맥에서 언어학/문법적으로 적절하지 않은 단어를 인지하고 찾아내는 성과를 보고하였다. 하지만 일반적으로 딥러닝 관점에서 NLL기법(Negative log-likelihood)은 주어진 문맥에서 언어 변칙에 대한 정확한 성격을 규명하기에는 어려움이 있다고 지적되고 있다. 이러한 한계를 해결하기 위하여, Li et al.(2021)은 트랜스포머 언어모델의 은닉층별 밀도 추정(density estimation)을 통한 가우시안 확률 분포를 활용하는 가우시안 혼합 모델(Gaussian Mixture Model)을 적용하였다. 그들은 트랜스포머 언어모델이 언어 변칙 예문들의 종류에 따라 상이한 메커니즘을 사용하여 처리한다는 점을 보고하였다. 이 선행 연구를 받아들여 본 연구에서는 한국어 기반 언어모델인 KoBERT나 KR-BERT도 과연 한국어의 상이한 유형의 언어 변칙 예문들을 다른 방식으로 처리할 수 있는지를 규명하고자 한다. 이를 위해, 본 연구에서는 한국어 형태통사적 그리고 의미적 변칙 예문들을 구성하였고, 이 예문들을 바탕으로 한국어 기반 모델들의 성능을 놀라움-갭(surprisal gap) 점수를 계산하여 평가하였다. 본 논문에서는 한국어 기반 모델들도 의미적 변칙 예문을 처리할 때보다 형태통사적 변칙 예문을 처리할 때 상대적으로 보다 더 높은 놀라움-갭 점수를 보여주고 있음을 발견하였다. 즉, 상이한 종류의 언어 변칙 예문들을 처리하기 위하여 다른 메커니즘을 활용하고 있음을 보였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.367-368
• /
• 2023

최근 챗봇 시스템은 급격한 발전과 함께 사용자와 자연스러운 대화를 할 수 있는 인공지능 기술의 필요성이 대두되고 있다. 기존의 챗봇 시스템은 대화 상황을 충분히 이해하지 못하거나, 학습된 데이터를 벗어나는 문장에 대한 일관성 있는 응답을 제공하지 못하는 한계가 있다. 본 논문에서는 GPT-3와 KoBERT를 활용하여 사용자의 감정 상태를 파악하고 해당 감정을 고려한 일관성 있는 대화를 제공하는 감정 분석 기반 챗봇 시스템을 제안한다. 이를 바탕으로 긍정적인 대화를 이어 나가는데 초점을 두어 자연스러운 대화가 가능할 것으로 기대된다.

• 지식경영연구
• /
• 제22권3호
• /
• pp.91-106
• /
• 2021

최근 딥러닝 기술이 빠르게 발전함에 따라 국가 R&D 분야의 방대한 텍스트 문서를 다양한 관점에서 분석하기 위한 수요가 급증하고 있다. 특히 대용량의 말뭉치에 대해 사전학습을 수행한 BERT(Bidirectional Encoder Representations from Transformers) 언어모델의 활용에 대한 관심이 높아지고 있다. 하지만 국가 R&D와 같이 고도로 전문화된 분야에서 높은 빈도로 사용되는 전문어는 기본 BERT에서 충분히 학습이 이루어지지 않은 경우가 많으며, 이는 BERT를 통한 전문 분야 문서 이해의 한계로 지적되고 있다. 따라서 본 연구에서는 최근 활발하게 연구되고 있는 추가 사전학습을 활용하여, 기본 BERT에 국가 R&D 분야 지식을 전이한 R&D KoBERT 언어모델을 구축하는 방안을 제시한다. 또한 제안 모델의 성능 평가를 위해 보건의료, 정보통신 분야의 과제 약 116,000건을 대상으로 분류 분석을 수행한 결과, 제안 모델이 순수한 KoBERT 모델에 비해 정확도 측면에서 더 높은 성능을 나타내는 것을 확인하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.501-502
• /
• 2022

최근 작성한 일기를 SNS에 올려 평범한 사람들이 음악, 음식, 사건 등 소소한 일상을 남기고 우울증 투병기를 공유하여 힘을 얻기도 하는 등 누가 시키지 않아도 일기를 작성하고 간직하는 사람들이 증가하고 있다. 이러한 변화로 일기는 하루의 일상을 기록하는 목적을 넘어 어떤 감정을 느꼈는지 알아차리고 자아를 성찰 및 탐구하는 단계로 발전하고 있다. 그러나 스스로 일기의 키워드를 분석하고 감정이 어떠한지 정확하게 아는 것은 어렵다. 이에 따라 본 논문에서는 제시한 문제를 해결하기 위한 방법으로 KoBERT와 KoNLPy를 활용한 키워드 및 감정분석 일기 서비스를 제안하였다. 본 연구의 키워드 및 감정분석 일기 서비스는 사용자가 무의식적으로 표현하는 텍스트 기반의 일기에서 자주 반복되는 키워드와 감정을 제공하여 자신의 감정상태를 쉽게 인지하고 되돌아볼 수 있도록 제작하였다.

• 정보처리학회 논문지
• /
• 제13권3호
• /
• pp.148-155
• /
• 2024

자연어 처리 분야에서 반어 및 비꼼 탐지의 중요성이 커지고 있음에도 불구하고, 한국어에 관한 연구는 다른 언어들에 비해 상대적으로 많이 부족한 편이다. 본 연구는 한국어 텍스트에서의 반어 탐지를 위해 다양한 모델을 실험하는 것을 목적으로 한다. 본 연구는 BERT기반 모델인 KoBERT와 ChatGPT를 사용하여 반어 탐지 실험을 수행하였다. KoBERT의 경우, 감성 데이터를 추가 학습하는 두 가지 방법(전이 학습, 멀티태스크 학습)을 적용하였다. 또한 ChatGPT의 경우, Few-Shot Learning기법을 적용하여 프롬프트에 입력되는 예시 문장의 개수를 증가시켜 실험하였다. 실험을 수행한 결과, 감성 데이터를 추가학습한 전이 학습 모델과 멀티태스크 학습 모델이 감성 데이터를 추가 학습하지 않은 기본 모델보다 우수한 성능을 보였다. 한편, ChatGPT는 KoBERT에 비해 현저히 낮은 성능을 나타내었으며, 입력 예시 문장의 개수를 증가시켜도 뚜렷한 성능 향상이 이루어지지 않았다. 종합적으로, 본 연구는 KoBERT를 기반으로 한 모델이 ChatGPT보다 반어 탐지에 더 적합하다는 결론을 도출했으며, 감성 데이터의 추가학습이 반어 탐지 성능 향상에 기여할 수 있는 가능성을 제시하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권3호
• /
• pp.133-140
• /
• 2022

우리는 유학생이 작성한 한국어 쓰기 답안지의 점수 구간을 예측하는 문제에서 세 개의 딥러닝 기반 한국어 언어모델의 예측 성능을 조사한다. 이를 위해 총 304편의 답안지로 구성된 실험 데이터 세트를 구축하였는데, 답안지의 주제는 직업 선택의 기준('직업'), 행복한 삶의 조건('행복'), 돈과 행복('경제'), 성공의 정의('성공')로 다양하다. 이들 답안지는 네 개의 점수 구간으로 구분되어 평어 레이블(A, B, C, D)이 매겨졌고, 총 11건의 점수 구간 예측 실험이 시행되었다. 구체적으로는 5개의 '직업' 답안지 점수 구간(평어) 예측 실험, 5개의 '행복' 답안지 점수 구간 예측 실험, 1개의 혼합 답안지 점수 구간 예측 실험이 시행되었다. 이들 실험에서 세 개의 딥러닝 기반 한국어 언어모델(KoBERT, KcBERT, KR-BERT)이 다양한 훈련 데이터로 미세조정되었다. 또 두 개의 전통적인 확률적 기계학습 분류기(나이브 베이즈와 로지스틱 회귀)도 그 성능이 분석되었다. 실험 결과 딥러닝 기반 한국어 언어모델이 전통적인 기계학습 분류기보다 우수한 성능을 보였으며, 특히 KR-BERT는 전반적인 평균 예측 정확도가 55.83%로 가장 우수한 성능을 보였다. 그 다음은 KcBERT(55.77%)였고 KoBERT(54.91%)가 뒤를 이었다. 나이브 베이즈와 로지스틱 회귀 분류기의 성능은 각각 52.52%와 50.28%였다. 학습된 분류기 모두 훈련 데이터의 부족과 데이터 분포의 불균형 때문에 예측 성능이 별로 높지 않았고, 분류기의 어휘가 글쓰기 답안지의 오류를 제대로 포착하지 못하는 한계가 있었다. 이 두 가지 한계를 극복하면 분류기의 성능이 향상될 것으로 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.1014-1015
• /
• 2023

많은 장애아 부모들은 양육에 대한 스트레스, 미래에 대한 걱정으로 심리적으로 상당한 중압감을 느낀다. 이에 비해 매년 증가하는 장애인 수에 비해 장애아 부모 및 가족의 심리적·정신적 문제를 해결하기 위한 프로그램이 부족하다.[1] 이를 해결하고자 본 논문에서는 감정분석 소통 플랫폼을 제안한다. 제안하는 플랫폼은 KoBERT 모델을 fine-tunning 하여 사용자의 일기 속 감정을 분석하여 장애아를 둔 부모 및 가족 간의 소통을 돕는다. 성능평가는 제안하는 플랫폼의 주요 기능인 KoBERT 기반 감정분석의 성능을 확인하기위해 텍스트 분류 모델로 널리 사용되고 있는 LSTM, Bi-LSTM, GRU 모델 별 성능지표들과 비교 분석한다. 성능 평가결과 KoBERT 의 정확도가 다른 분류군의 정확도보다 평균 31.4% 높은 성능을 보였고, 이 외의 지표에서도 비교적 높은 성능을 기록했다.