• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.638-643
• /
• 2023

문서 기반 대화 시스템은 크게 질문으로부터 문서를 검색하는 과정과 응답 텍스트를 생성하는 과정으로 나뉜다. 이러한 대화 시스템의 응답 생성 과정에 디코더 기반 LLM을 사용하기 위해서 사전 학습된 LLM을 미세 조정한다면 많은 메모리, 연산 자원이 소모된다. 본 연구에서는 SVD에 기반한 LLM의 경량화를 시도한다. 사전 학습된 polyglot-ko 모델의 행렬을 SVD로 분해한 뒤, full-fine-tuning 해보고, LoRA를 붙여서 미세 조정 해본 뒤, 원본 모델을 미세 조정한 것과 점수를 비교하고, 정성평가를 수행하여 경량화된 모델의 응답 생성 성능을 평가한다. 문서 기반 대화를 위한 한국어 대화 데이터셋인 KoDoc2Dial에 대하여 평가한다.

• The Transactions of the Korea Information Processing Society
• /
• v.1 no.2
• /
• pp.272-278
• /
• 1994

The paper proposes a test pattern generator and a signature analyzer for pseudoexhaustive testing of the combinational circuit part within a sequential circuit when performing built-in self test of the circuit. The test pattern generator can scan in the seed test pattern and generate exhaustive test patterns. The signature analyzer can perform the analysis of the circuit response and scan out the result. Such test pattern generator and signature analyzer have been developed using SRL(shift register latch) and LFSR(linear feedback shift register).

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.29-34
• /
• 2017

챗봇 혹은 대화 시스템은 특정 질문이나 발화에 대해 적절한 응답을 해주는 시스템으로 자연어처리 분야에서 활발히 연구되고 있는 주제 중 하나이다. 최근에는 대화 모델 학습에 딥러닝 방식의 시퀀스-투-시퀀스 프레임워크가 많이 이용되고 있다. 하지만 해당 방식을 적용한 모델의 경우 학습 데이터에 나타나지 않은 다양한 형태의 질의문에 대해 응답을 잘 못해주는 문제가 있다. 이 논문에서는 이러한 문제점을 해결하기 위하여 디노이징 응답 생성 모델을 제안한다. 제안하는 방법은 다양한 형태의 노이즈가 임의로 가미된 질의문을 모델 학습 시에 경험시킴으로써 강건한 응답 생성이 가능한 모델을 얻을 수 있게 한다. 제안하는 방법의 우수성을 보이기 위해 9만 건의 질의-응답 쌍으로 구성된 한국어 대화 데이터에 대해 실험을 수행하였다. 실험 결과 제안하는 방법이 비교 모델에 비해 정량 평가인 ROUGE 점수와 사람이 직접 평가한 정성 평가 모두에서 더 우수한 결과를 보이는 것을 확인할 수 있었다.

• 한국어정보학회:학술대회논문집
• /
• 2017.10a
• /
• pp.29-34
• /
• 2017

챗봇 혹은 대화 시스템은 특정 질문이나 발화에 대해 적절한 응답을 해주는 시스템으로 자연어처리 분야에서 활발히 연구되고 있는 주제 중 하나이다. 최근에는 대화 모델 학습에 딥러닝 방식의 시퀀스-투-시퀀스 프레임워크가 많이 이용되고 있다. 하지만 해당 방식을 적용한 모델의 경우 학습 데이터에 나타나지 않은 다양한 형태의 질의문에 대해 응답을 잘 못해주는 문제가 있다. 이 논문에서는 이러한 문제점을 해결하기 위하여 디노이징 응답 생성 모델을 제안한다. 제안하는 방법은 다양한 형태의 노이즈가 임의로 가미된 질의문을 모델 학습 시에 경험시킴으로써 강건한 응답 생성이 가능한 모델을 얻을 수 있게 한다. 제안하는 방법의 우수성을 보이기 위해 9만 건의 질의-응답 쌍으로 구성된 한국어 대화 데이터에 대해 실험을 수행하였다. 실험 결과 제안하는 방법이 비교 모델에 비해 정량 평가인 ROUGE 점수와 사람이 직접 평가한 정성 평가 모두에서 더 우수한 결과를 보이는 것을 확인할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.141-146
• /
• 2018

최근 대화 모델 학습에는 시퀀스-투-시퀀스 모델이 널리 활용되고 있다. 하지만 기본적인 시퀀스-투-시퀀스 모델로 학습한 대화 모델은 I don't know 문제와 사오정 문제를 내포한다. I don't know 문제는 입력 발화에 대해 안전하고 무미건조한 단편적인 대답을 많이 생성하는 문제이다. 사오정 문제는 입력 발화에 대해 적절한 응답을 생성했지만 입력 발화와 동일한 의미를 지니지만 어순, 어미 등의 변화가 있는 발화에는 적절한 응답을 생성하지 못하는 문제이다. 이전 연구에서 디노이징 메커니즘을 활용하여 각각의 문제를 완화하는 대화 모델들을 학습할 수 있음을 보였으나 하나의 모델에서 두 문제를 동시에 해결하지는 못하였다. 본 논문에서는 디노이징 메커니즘을 활용하여 각각의 문제에 강점을 지닌 디코더들을 학습하고 응답 생성 시 입력 발화에 따라 두 디코더를 적절하게 반영하여 언급한 문제 모두에 대해 강건한 응답을 생성할 수 있는 모델을 제안한다. 제안하는 방법의 우수성을 보이기 위해 9만 건의 한국어 대화 데이터로 실험을 수행하였다. 실험 결과 단일 문제를 해결하는 모델들과 비교하여 ROUGE F1 점수와 사람이 평가한 정성 평가에서 성능 향상을 보였다.

• The Transactions of the Korea Information Processing Society
• /
• v.7 no.8S
• /
• pp.2713-2721
• /
• 2000

이 논문에서는 Web 사이트를 설계할 때 응답시간과 관련해서 고려되어야 할 요수 중[10,15,16], 인터넷 연결 회선의 대역폭 결정에 참조될 수 있는 자료를 제시한다. 이를 위해 다양한 환경에서 Web 세션 도착율에 따른 응답시간과 회선 이용율의 변화를 관찰하고, 이를 통해 특정 대역폭의 회선에 대해 Web 서비스가 한계 응답시간 내에 보장될 수 있는 Web 세션 도착율의 임계치를 구한다. [15,16]. 이 논문에서는 데이터 수집을 위해 실험 네트워크를 구성하고, 자체적으로 구현한 패킷 생성기를 이용하여 세션 도착율의 변화에 따른 Web 트래픽을 시뮬레이션한다. 응답시간은 패킷 생성기가 생성한 각각의 HTTP(Hyper-Text Transfer Protocol)요청 패킷이 전송되는 시점부터 HTTP응답 메시지가 도착하는 시점까지의 경과된 시간으로 구하고, 회선 이용율은 SNMP(Simple Network Management Protocol)를 이용해 자체 구현한 데이터 수집기로 구한다[3]. 이 실험의 결과는, Web 사이트를 설계할 때 네트워크 전문가가 아니더라도 인터넷 연결 회선의 대역폭 결정 문제를 해결하는데 쉽고 유용하게 참조될 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2014.04a
• /
• pp.526-528
• /
• 2014

본 논문은 다차원 문항반응이론 모델에 기반하여 시뮬레이션을 위한 피험자들의 문항 응답 데이터를 생성하는 알고리즘을 개발하는 것이 목적으로 하였다. 본 알고리즘은 시험지를 구성하고 있는 문항들의 모수를 읽고, 각각의 차원에 대해 피험자들의 능력 수준을 나타내는 정규 분포 확률 변수를 생성한다. 본 알고리즘은 다차원 문항반응이론 모델에 기반하여 피험자들이 각 문항에 대해 정답으로 응답할 확률을 계산한다. 피험자들의 문항 응답을 결정하는 균일 분포 난수와 비교한다. 만약 확률이 난수보다 크면 피험자는 올바른 답을 한 것으로 보고 그렇지 않을 경우 틀리게 답할 것으로 한다. 본 프로그램은 피험자 수, 문항 수를 조절할 수 있다. 본 알고리즘을 통해 교육 측정 분야에서 다차원 문항반응 이론을 이용하여 학습자들의 문항 응답 데이터를 이용한 시뮬레이션 연구에 기여할 수 있을 것으로 기대한다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.109-114
• /
• 2022

질의 생성 모델은 스마트 스피커, 챗봇, QA 시스템, 기계 독해 등 다양한 서비스에 사용되고 있다. 모델을 다양한 서비스에 잘 적용하기 위해서는 사용자들의 실제 질의 특성을 반영한 자연스러운 질의를 만드는 것이 중요하다. 본 논문에서는 사용자 질의 특성을 반영한 간결하고 자연스러운 질의 자동 생성 모델을 소개한다. 제안 모델은 topic 키워드를 통해 모델에게 생성 자유도를 주었으며, 키워드형 질의→자연어 질의→응답으로 연결되는 chain-of-thought 형태의 다중 출력 구조를 통해 인과관계를 고려한 결과를 만들도록 했다. 최종적으로 MRC 필터링과 일관성 필터링을 통해 고품질 질의를 선별했다. 베이스라인 모델과 비교해 제안 모델은 질의의 유효성을 크게 높일 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.618-621
• /
• 2023

최근 거대언어모델(LLM)이 기계 번역 및 기계 독해를 포함한 다양한 문제들에서 높은 성능을 보이고 있다. 특히 프롬프트 기반의 대규모 언어 모델은 사고사슬 방식으로 적절한 프롬프팅을 통해 원하는 형식의 답변을 생성할 수 있으며 자연어 추론 단계에서도 높은 정확도를 보여주고 있다. 그러나 근본적으로 LLM의 매개변수에 질문에 관련된 지식이 없거나 최신 정보로 업데이트 되지 않은 경우 추론이 어렵다. 이를 해결하기 위해, 본 연구는 검색문서와 생성모델의 상호작용을 통해 답변하는 한국어 질의응답 모델을 제안한다. 검색이 어려운 경우 생성형 모델을 통해 질문과 관련된 문장을 생성하며, 이는 다시 검색모델과 추론 과정에서 활용된다. 추가로 "판단불가"라는 프롬프팅을 통해 모델이 답변할 수 없는 경우를 스스로 판단하게 한다. 본 연구결과에서 GPT3를 활용한 사고사슬 모델이 63.4의 F1 점수를 보여주며 생성형 모델과 검색모델의 융합이 적절한 프롬프팅을 통해 오픈-도메인 질의응답에서 성능의 향상을 보여준다.

• Annual Conference on Human and Language Technology
• /
• 2004.10d
• /
• pp.181-188
• /
• 2004

대다수의 개방영역 자연어 질의응답 시스템은 답을 선택할 수 있는 개념영역을 미리 정의하고 있기 때문에 시스템이 준비하지 못한 범주의 개념을 묻는 질의문에 대해서는 올바른 응답을 생성하지 못하거나 예외 처리 방식으로 응답을 생성해 낸다. 본 논문에서는 전형적인 범주에 속하지 않는 명사 개념에 관한 질의문에 대해 범용적으로 대응할 수 있는 개방영역 자연어 질의응답 시스템을 제안한다. 제안하는 시스템은 상위 개념 명사구(Hypernym)에 포함되는 하위 개념의 명사구(Hyponym)들을 추출할 수 있는 일반적인 패턴들을 그 신뢰도와 함께 가지고 있다. 따라서 질의문이 임의의 명사구 개념을 요청할 때 정답의 후보들을 동적으로 생성되는 가상의 is-a 의미관계 사전으로부터 신뢰 순위로 정렬하여 추출해 낼 수가 있다. 제안하는 시스템은 "What 명사구 동사구" 형태의 질의문들 중에서 개체명 인식기나 시소러스를 이용하여 정답 후보를 손쉽게 생성할 수 있는 질의문을 배제한 실험용 질의문 집합을 이용한 실험에서 42%의 재현율을 보였다.