• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.614-615
• /
• 2018

본 연구는 심층학습 기법을 활용하여 양극 데이터에 대해 학습된 모델로부터 예측된 결과를 바탕으로 언어 장애 여부를 판단하고, 이를 바탕으로 효율적인 언어 치료를 수행할 수 있는 방법론을 제시한다. 발화자의 개별 발화에 대해 데이터화를 하여 합성곱 신경망 모델(CNN)을 학습한다. 이를 이용하여 발화자의 연령 집단을 예측하고 결과를 분석하여 발화자의 언어 연령 및 장애 여부를 판단을 할 수 있다.

• 한국산업정보학회논문지
• /
• 제29권3호
• /
• pp.51-65
• /
• 2024

스마트 그리드에서 전력 시스템을 효과적으로 운영하기 위해서는 전력 수요량을 정확히 예측하는 것이 중요하다. 최근 기계학습 기술의 발달로, 인공지능 기반의 전력 수요량 예측 모델이 활발히 연구되고 있다. 하지만, 기존 모델들은 모든 입력변수를 수치화하여 입력하기 때문에, 이러한 수치들 사이의 의미론적 관계를 반영하지 못해 예측 모델의 정확도가 하락할 수 있다. 본 논문은 입력 데이터에 대하여 거대언어모델을 통해 추출한 특징을 이용하여 단기 전력 수요량을 예측하는 기법을 제안한다. 먼저, 입력변수를 문장 형식의 프롬프트로 변환한다. 이후, 가중치가 동결된 거대언어모델을 이용하여 프롬프트에 대한 특징을 나타내는 임베딩 벡터를 도출하고, 이를 입력으로 받은 모델을 학습하여 예측을 수행한다. 실험 결과, 제안 기법은 수치형 데이터에 기반한 예측 모델에 비해 높은 성능을 보였고, 프롬프트에 대한 거대언어모델의 주의집중 가중치를 시각화함으로써 예측에 있어 주요한 영향을 미친 정보를 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.633-637
• /
• 2023

암시적 비윤리 표현은 명시적 비윤리 표현과 달리 학습 데이터 선별이 어려울 뿐만 아니라 추가 생산 패턴 예측이 까다롭다. 고로 암시적 비윤리 표현에 대한 언어 모델의 감지 능력을 기르기 위해서는 모델의 취약성을 발견하는 연구가 반드시 선행되어야 한다. 본 논문에서는 암시적 비윤리 표현에 대한 표기 변경과 긍정 요소 삽입이라는 두 가지 변형을 통해 모델의 예측 변화를 유도하였다. 그 결과 모델이 야민정음과 외계어를 사용한 언어 변형에 취약하다는 사실을 발견하였다. 이에 더해 이모티콘이 텍스트와 함께 사용되는 경우 텍스트 자체보다 이모티콘의 효과가 더 크다는 사실을 밝혀내었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.170-175
• /
• 2022

일반적으로 대규모 언어 모델들은 다량의 데이터를 오랜시간 사전학습하면서 레이블을 예측하기 위한 성능을 높여왔다. 최근 언어 모델의 레이블 예측에 대한 정확도가 높아지면서, 언어 모델이 왜 해당 결정을 내렸는지 이해하기 위한 신뢰도 높은 Natural Language Explanation(NLE) 을 생성하는 것이 시간이 지남에 따라 주요 요소로 자리잡고 있다. 본 논문에서는 높은 레이블 정확도를 유지하면서 동시에 언어 모델의 예측에 대한 신뢰도 높은 explanation 을 생성하는 참신한 자연어 추론 시스템을 제시한 Natural-language Inference over Label-specific Explanations(NILE)[1] 을 소개하고 한국어 데이터셋을 이용해 NILE 과 NLE 를 활용하지 않는 일반적인 자연어 추론 태스크의 성능을 비교한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.509-512
• /
• 2024

자연어 처리 기술은 인간 언어의 이해와 처리에서 큰 진전을 이루었으나, 학습 데이터에 내재한 성별 편향이 모델의 예측 정확도와 신뢰성을 저하하는 주요한 문제로 남아 있다. 특히 성별 예측에서 이러한 편향은 더욱 두드러진다. 제로샷 분류 기법은 기존에 학습되지 않은 새로운 클래스를 효과적으로 예측할 수 있는 기술로, 학습 데이터의 제한적인 의존성을 극복하고 다양한 언어 및 데이터 제한 상황에서도 효율적으로 작동한다. 본 논문은 성별 클래스 확장과 데이터 구조 개선을 통해 성별 편향을 최소화한 새로운 데이터셋을 구축하고, 이를 제로샷 분류 기법을 통해 학습시켜 성별 편향성이 완화된 새로운 성별 예측 모델을 제안한다. 이 연구는 다양한 언어로 구성된 자연어 데이터를 추가 학습하여 성별 예측에 최적화된 모델을 개발하고, 제한된 데이터 환경에서도 모델의 유연성과 범용성을 입증한다.

• 스마트미디어저널
• /
• 제12권6호
• /
• pp.35-40
• /
• 2023

본 연구는 대화형 추천 시스템인 다중 목표 대화형 추천 시스템(MG-CRS)에서 사용되는 다양한 사전 학습된 언어 모델들을 고찰하고, 각 언어모델의 성능을 비교하고 분석한다. 특히, 언어 모델의 크기가 다중 목표 대화형 추천 시스템의 성능에 어떤 영향을 미치는지에 대해 살펴본다. BERT, GPT2, 그리고 BART의 세 종류의 언어모델을 대상으로 하여, 대표적인 다중 목표 대화형 추천 시스템 데이터셋인 DuRecDial 2.0에서 '타입 예측'과 '토픽 예측'의 정확도를 측정하고 비교한다. 실험 결과, 타입 예측에서는 모든 모델이 뛰어난 성능을 보였지만, 토픽예측에서는 모델 간에 혹은 사이즈에 따라 성능 차이가 관찰되었다. 이러한 결과를 바탕으로 다중 목표 대화형 추천 시스템의 성능 향상을 위한 방향을 제시한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.482-485
• /
• 2021

최근 지식 그래프를 확장하기 위해 많은 연구가 진행되고 있다. 지식 그래프를 확장하기 위해서는 relation을 기준으로 entity의 방향성을 고려하는 것이 매우 중요하다. 지식 그래프를 확장하기 위한 대표적인 연구인 관계 추출은 문장과 2개의 entity가 주어졌을 때 relation을 예측한다. 최근 사전학습 언어모델을 적용하여 관계 추출에서 높은 성능을 보이고 있지만, entity에 대한 방향성을 고려하여 relation을 예측하는지 알 수 없다. 본 논문에서는 관계 추출에서 entity의 방향성을 고려하여 relation을 예측하는지 실험하기 위해 문장 수준의 Adversarial Attack과 단어 수준의 Sequence Labeling을 적용하였다. 또한 관계 추출에서 문장에 대한 이해를 높이기 위해 BERT모델을 적용하여 실험을 진행하였다. 실험 결과 관계 추출에서 entity에 대한 방향성을 고려하지 않음을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2010년도 제22회 한글 및 한국어 정보처리 학술대회
• /
• pp.143-146
• /
• 2010

뇌-컴퓨터 인터페이스는 뇌에서 발생하는 생체신호를 통하여 컴퓨터나 외부기기를 직접 제어할 수 있는 기술이다. 자발적으로 언어를 생성하지 못하는 환자들을 위하여 뇌-컴퓨터 인터페이스를 이용하여 한국어를 자유롭게 입력할 수 있는 인터페이스에 대한 연구가 필요하다. 본 연구는 의사소통을 위한 뇌-컴퓨터 인터페이스에서 낮은 정보전달률을 개선하기 위해서 음절 n-gram과 어절 n-gram 모델을 이용하여 언어 예측 모델을 구현하였다. 또한 실제 이를 이용한 뇌 컴퓨터 한국어 입력기를 설계하였다, 이는 기존의 뇌-컴퓨터 인터페이스 연구에서 특징 추출이나 기계학습 방법의 성능향상을 위한 연구와는 차별적인 방법이다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2004년도 제16회 한글.언어.인지 한술대회
• /
• pp.191-199
• /
• 2004

본 논문에서는 텍스트에 나타난 감정상태를 인지하는 모델을 제안하고, 이러한 모델을 활용하여 현재문장에서 나타난 감정 및 이후에 나타나게 될 감정상태들을 예측하는 시스템에 대하여 다룬다. 사용자의 감정을 인지하고 이에 대한 자연스러운 메시지, 행동 등을 통해 인간과 상호작용 할 수 있는 컴퓨터시스템을 구현하기 위해서는 현재의 감정상태뿐만 아니라 사용자 개개인의 정보 및 시스템과 상호작용하고 있는 상황의 정보 등을 통해 이후에 사용자가 느낄 수 있는 감정을 예측할 수 있는 감정모델이 요구된다. 본 논문에서는 파악된 이전의 감정상태 및 실제 감정과 표현된 감정간의 관계, 그리고 감정에 영향을 미친 주변대상의 특징 및 감정경험자의 목표와 행동이 반영된 상태-전이형태의 감정모델인 감정망(Emotion Network)을 제안한다. 감정망은 각 감정을 나타내는 상태(state)와 연결된 상태들 간의 전이(transition), 그리고 전이가 발생하기 위한 조건(condition)으로 구성된다. 본 논문에서는 텍스트 형태의 상담예시에 감정망을 활용하여 문헌의 감정어휘에 의해 직접적으로 표출되지 않는 감정을 예측할 수 있음을 보인다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.14-18
• /
• 2023

본 연구는 한국어 음성-텍스트 데이터에서 보편적으로 나타난 휴지의 실현 양상을 분석하고, 이를 토대로 데이터셋을 선별해 보편적이고 규격화된 한국어 휴지 예측을 위한 모델을 제안하였다. 이를 위해 전문적인 발성 훈련을 받은 성우 등의 발화가 녹음된 음성-텍스트 데이터셋을 수집하고 MFA와 같은 음소 정렬기를 사용해 휴지를 라벨링하는 등의 전처리를 하고, 다양한 화자의 발화에서 공통적으로 나타난 휴지를 선별해 학습데이터셋을 구축하였다. 구축된 데이터셋을 바탕으로 LLM 중 하나인 KULLM 모델을 미세 조정하고 제안한 모델의 휴지 예측 성능을 평가하였다.