• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.75-79
• /
• 2023

문서에서 테이블은 중요한 정보들을 축약하여 모아 놓은 정보 집합체라고 할 수 있다. 이러한 테이블을 대상으로 질의응답하는 테이블 질의응답 기술이 연구되고 있으며, 이 중 언어모델을 이용한 연구가 좋은 결과를 보이고 있다. 본 연구에서는 최근 주목받고 있는 생성형 언어모델 기술을 테이블 질의응답에 적용하여 언어모델과 프롬프트의 변경에 따른 결과를 살펴보고, 단답형 정답과 생성형 결과의 특성에 적합한 평가방법으로 측정해 보았다. 자체 개발한 EXAONE 1.7B 모델의 경우 KorWiki 데이터셋에 대해 적용하여 EM 92.49, F1 94.81의 결과를 얻었으며, 이를 통해 작은 크기의 모델을 파인튜닝하여 GPT-4와 같은 초거대 모델보다 좋은 성능을 보일 수 있음을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.618-621
• /
• 2023

최근 거대언어모델(LLM)이 기계 번역 및 기계 독해를 포함한 다양한 문제들에서 높은 성능을 보이고 있다. 특히 프롬프트 기반의 대규모 언어 모델은 사고사슬 방식으로 적절한 프롬프팅을 통해 원하는 형식의 답변을 생성할 수 있으며 자연어 추론 단계에서도 높은 정확도를 보여주고 있다. 그러나 근본적으로 LLM의 매개변수에 질문에 관련된 지식이 없거나 최신 정보로 업데이트 되지 않은 경우 추론이 어렵다. 이를 해결하기 위해, 본 연구는 검색문서와 생성모델의 상호작용을 통해 답변하는 한국어 질의응답 모델을 제안한다. 검색이 어려운 경우 생성형 모델을 통해 질문과 관련된 문장을 생성하며, 이는 다시 검색모델과 추론 과정에서 활용된다. 추가로 "판단불가"라는 프롬프팅을 통해 모델이 답변할 수 없는 경우를 스스로 판단하게 한다. 본 연구결과에서 GPT3를 활용한 사고사슬 모델이 63.4의 F1 점수를 보여주며 생성형 모델과 검색모델의 융합이 적절한 프롬프팅을 통해 오픈-도메인 질의응답에서 성능의 향상을 보여준다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.409-414
• /
• 2023

최근 지식 기반 대화 생성에 많은 연구자가 초점을 맞추고 있다. 특히, 특정 도메인에서의 작업 지향형 대화 시스템을 구축하는 것은 다양한 도전 과제가 있으며, 이 중 하나는 거대 언어 모델이 입력과 관련된 지식을 활용하여 응답을 생성하는 데 있다. 하지만 현재 거대 언어 모델은 작업 지향형 대화에서 단순히 정보를 열거하는 방식으로 응답을 생성하는 경향이 있다. 이 논문에서는 전문 지식과 대화 정책 예측 모델을 결합한 프롬프트를 제시하고 작업 지향형 대화에서 사용자의 최근 입력에 대한 정보 제공 및 일상 대화를 지원하는 가능성을 탐구한다. 이러한 새로운 접근법은 모델 파인튜닝에 비해 비용 측면에서 효율적이며, 향후 대화 생성 분야에서 발전 가능성을 제시한다.

• 한국문헌정보학회지
• /
• 제57권3호
• /
• pp.303-323
• /
• 2023

본 연구의 목적은 ChatGPT와 같은 생성형 AI 시대를 맞아 이와 같은 언어모델에 대해 소개하고, 이를 활용한 도서관의 데이터 리터러시 교육 구성요소를 고민하고 방향을 제시하고자 하는 연구이다. 이를 위해 다음과 같은 세 가지 연구 문제를 제시하였다. 먼저 ChatGPT 유사 언어모델의 기술적 특징을 살펴보고, 이후 생성형 인공지능 기술 기반 서비스 플랫폼을 활용하여 적합한, 정확한 정보를 유용하게 활용하기 위한 이용자의 데이터 리터러시 역량 교육의 필요성을 주창하였다. 마지막으로 ChatGPT 시대 도서관 데이터 리터러시 교육을 위해 데이터에 대한 이해, 데이터 생성, 데이터 수집, 데이터 검증, 데이터 관리, 데이터 이용 및 공유, 데이터 윤리와 같은 7개 구성항목을 포함한 데이터 리터러시 교육 구성안을 제안하였다. 결론적으로 ChatGPT와 같은 생성형 인공지능 기술이 이용자의 정보 활용에 많은 영향을 미치게 될 것이라 예상되는 만큼 도서관은 이러한 기술의 장단점, 문제점 등에 대해 한발 먼저 고민하고 이를 통해 도서관의 정보서비스를 한층 개선할 수 있는 토대로 삼아야 할 것을 강조하며 마무리했다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.171-176
• /
• 2023

최근 등장한 대규모 데이터로 사전학습된 자연어 생성 모델들은 대화 능력 및 코드 생성 태스크등에서 인상적인 성능을 보여주고 있어, 본 논문에서는 대형 언어 모델 (LLM)의 한국어 질문을 SQL 쿼리 (Text-to-SQL) 변환하는 성능을 평가하고자 한다. 먼저, 영어 Text-to-SQL 벤치마크 데이터셋을 활용하여 영어 질의문을 한국어 질의문으로 번역하여 한국어 Text-to-SQL 데이터셋으로 만들었다. 대형 생성형 모델 (GPT-3 davinci, GPT-3 turbo) 의 few-shot 세팅에서 성능 평가를 진행하며, fine-tuning 없이도 대형 언어 모델들의 경쟁력있는 한국어 Text-to-SQL 변환 성능을 확인한다. 또한, 에러 분석을 수행하여 한국어 문장을 데이터베이스 쿼리문으로 변환하는 과정에서 발생하는 다양한 문제와 프롬프트 기법을 활용한 가능한 해결책을 제시한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.571-576
• /
• 2023

본 연구에서는 인권의 측면에서 AI 모델이 향상된 답변을 제시할 수 있는 방안을 모색하기 위해서 AI가 인권의 문제를 고민하는 전문가와 자신의 문제를 해결하고자 하는 사용자 사이에서 어느 정도로 도움을 줄 수 있는가를 정량적, 정성적으로 검증했다. 구체적으로는 국가인권위원회의 결정례와 상담사례를 분석한 후 이를 바탕으로 좀 더 나은 답변은 무엇인지에 대해 고찰하기 위해서 인권과 관련된 질의 응답 세트를 만든다. 질의 응답 세트는 인권 코퍼스를 학습한 모델과 그렇지 않은 모델의 생성 결과를 바탕으로 한다. 또한 생성된 질의 응답 세트를 바탕으로 설문을 실시하여 전문적인 내용을 담은 문장에 대한 선호도를 분석한다. 본 논문은 대화형 생성 모델이 인권과 관련된 주제에 대해서도 선호되는 답변을 제시할 수 있는가에 대한 하나의 대안이 될 수 있을 것이다.

• 한국컴퓨터정보학회논문지
• /
• 제29권7호
• /
• pp.81-88
• /
• 2024

생성형 AI 시장의 급속한 성장과 국내 기업과 기관의 큰 관심에도 불구하고, 부정확한 정보제공과 정보유출의 우려가 생성형 AI 도입을 저해하는 주된 요인으로 나타났다. 이를 개선하기 위해 본 논문에서는 검색-증강 생성(Retrieval-Augmented Generation, RAG) 구조 기반의 질의응답시스템을 설계·구현하였다. 제안 방법은 한국어 문장 임베딩을 사용해 지식 데이터베이스를 구축하고, 최적화된 검색으로 질문 관련 정보를 찾아 생성형 언어 모델에게 제공된다. 또한, 이용자가 지식 데이터 베이스를 직접 관리하여 변경되는 업무 정보를 효율적으로 업데이트하도록 하고, 시스템이 폐쇄망에서 동작할 수 있도록 설계하여 기업의 기밀 정보의 유출 가능성을 낮추었다. 국내 기업 등 조직에서 생성형 AI를 도입하고 활용하고자 할 때 본 연구가 유용한 참고자료가 되길 기대한다.

• 한국정보전자통신기술학회논문지
• /
• 제16권5호
• /
• pp.279-291
• /
• 2023

최근 몇 년 동안 언어 모델 기반의 생성형 인공지능 기술은 눈에 띄게 발전하고 있다. 특히, 요약, 코드 작성과 같은 다양한 분야에서 활용 가능성이 증가하고 있어 큰 관심을 받고 있다. 이러한 관심의 반영으로, 생성형 인공지능 관련 특허 출원이 급격히 증가하는 추세를 보인다. 이러한 동향을 파악하고 이에 따른 전략을 수립하기 위해 미래 예측이 핵심적이다. 예측을 통해 해당 기술 분야의 미래 동향을 정확히 파악하여 더 효과적인 전략을 수립할 수 있다. 본 논문에서는 언어 모델 기반 생성형 인공지능 발전 방향을 확인하기 위해 현재까지 출원된 특허들을 분석하였다. 특히, 각 국가에서의 연구 및 발명 활동을 깊게 살펴보았으며, 연도별 및 세부 기술별 출원 동향을 중점적으로 분석하였다. 이러한 분석을 통해 핵심 특허들이 포함하고 있는 세부 기술을 이해하고, 향후 생성형 인공지능의 기술 개발 트렌드를 예측해 보고자 하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.9-13
• /
• 2023

본 논문에서는 대규모 언어모델의 검색 기반 답변 생성능력을 평가하는 새로운 한국어 벤치마크, KFREB(Korean Fictional Retrieval Evaluation Benchmark)를 제안한다. KFREB는 모델이 사전학습 되지 않은 허구의 정보를 바탕으로 검색 기반 답변 생성 능력을 평가함으로써, 기존의 대규모 언어모델이 사전학습에서 보았던 사실을 반영하여 생성하는 답변이 실제 검색 기반 답변 시스템에서의 능력을 제대로 평가할 수 없다는 문제를 해결하고자 한다. 제안된 KFREB는 검색기반 대규모 언어모델의 실제 서비스 케이스를 고려하여 장문 문서, 두 개의 정답을 포함한 골드 문서, 한 개의 골드 문서와 유사 방해 문서 키워드 유무, 그리고 문서 간 상호 참조를 요구하는 상호참조 멀티홉 리즈닝 경우 등에 대한 평가 케이스를 제공하며, 이를 통해 대규모 언어모델의 적절한 선택과 실제 서비스 활용에 대한 인사이트를 제공할 수 있을 것이다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.431-436
• /
• 2022

이 연구는 MBTI의 심리 기능지표 조합인 ST, SF, NT, NF의 유형별 특징을 반영한 마케팅 문체 프레임워크를 정의하고 모델 학습을 통해 성격유형별 맞춤화 된 광고 메시지로 생성하는 것을 목적으로 한다. 활용되는 광고 메시지 자동 생성 기술은 BART 모델에 성격유형을 Prefix로 포함한 광고문을 학습시켜 성격유형에 따라 맞춤형 광고 메시지를 생성하는 방식이다. 학습된 모델은 Prefix 조작만으로 MBTI 성격유형별 문체 특징을 갖춘 광고 메시지로 변환되는 것을 실험을 통해 확인할 수 있었다. 본 연구는 성격유형의 특징을 문체 프레임워크로써 정의하고 이에 기반한 모델 학습을 통해 성격유형별 특징을 반영한 광고 메시지를 재현해 낼 수 있다는 점에서 의의가 있다. 또한 성격유형과 연관 feature를 함께 학습하여 유형별 문체 특징과 소구점을 포함한 광고 메시지를 생성했다는 기술적 가치가 있다. 이 연구 결과를 기반으로 차후 타겟 고객층의 성격유형과 광고 도메인을 고려한 효과적인 광고 콘텐츠를 생성해 내는 모델을 개발하여 타겟 마케팅 분야는 물론이고 지역별 또는 언어별 문체 간 차이를 구조화하거나 재현해야 하는 문제에서 기반이 되는 연구로 활용될 수 있을 것으로 기대된다.