• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.295-300
• /
• 2023

대화 데이터와 같은 데이터는 사람이 수작업으로 작성해야 하기 때문에 데이터셋 구축에 시간과 비용이 크게 발생한다. 현재 대두되고 있는 Large Language Model은 이러한 대화 생성에서 보다 자연스러운 대화 생성이 가능하다는 이점이 존재한다. 이번 연구에서는 LLM을 통해 사람이 만든 적은 양의 데이터셋을 Fine-tuning 하여 위키백과 문서로부터 데이터셋을 만들어내고, 이를 통해 문서 검색 모델의 성능을 향상시켰다. 그 결과 학습 데이터와 같은 문서집합에서 MRR 3.7%p, 위키백과 전체에서 MRR 4.5%p의 성능 향상을 확인했다.

• 한국BIM학회 논문집
• /
• 제14권3호
• /
• pp.22-30
• /
• 2024

Recently, LLM (Large Language Model), a rapidly developing generative AI technology, is receiving much attention in the smart construction field. This study proposes a methodology for implementing an knowledge expert system by linking BIM (Building Information Modeling), which supports data hub functions in the smart construction domain with LLM. In order to effectively utilize LLM in a BIM expert system, excessive model learning costs, BIM big data processing, and hallucination problems must be solved. This study proposes an LLM-based BIM expert system architecture that considers these problems. This study focuses on the RAG (Retrieval-Augmented Generation) document generation method and search algorithm for effective BIM data retrieval, with the goal of implementing an LLM-based BIM expert system within a small GPU resource. For performance comparison and analysis, a prototype of the designed system is developed, and implications to be considered when developing an LLM-based BIM expert system are derived.

• 지능정보연구
• /
• 제29권4호
• /
• pp.129-164
• /
• 2023

최근 생성형 AI 기술의 발전으로 인해 대형 언어 모델(Large Language Model, LLM)의 활용 및 도입이 확대되고 있는 상황에서 기존 연구들은 기업내부 데이터의 활용에 대한 실제 적용사례나 구현방법을 찾아보기 힘들다. 이에 따라 본 연구에서는 가장 많이 이용되고 있는 LangChain 프레임워크를 이용한 LLM 애플리케이션 아키텍처를 활용하여 생성형 AI 서비스를 구현하는 방법을 제시한다. 이를 위해 LLM의 활용을 중심으로, 정보 부족 문제를 극복하는 다양한 방법을 검토하고 구체적인 해결책을 제시하였다. 이를 위해 파인튜닝이나 직접 문서 정보를 활용하는 방법을 분석하며, 이러한 문제를 해결하기 위한 RAG 모델을 활용한 정보 저장 및 검색 방법에 대해 주요단계에 대해 자세하게 살펴본다. 특히, RAG 모델을 활용하여 정보를 벡터저장소에 저장하고 검색하기 위한 방법으로 유사문맥 추천 및 QA시스템을 활용하였다. 또한 구체적인 작동 방식과 주요한 구현 단계 및 사례를 구현소스 및 사용자 인터페이스까지 제시하여 생성형 AI 기술에 대한 이해를 높였다. 이를 통해 LLM을 활용한 기업내 서비스 구현에 적극적으로 활용할 수 있도록 하는데 의미와 가치가 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.690-693
• /
• 2023

언어 모델의 파라미터 수의 지속적인 증가로 100B 단위의 거대 언어모델 LLM(Large Language Model)을 구성 할 정도로 언어 모델의 크기는 증가 해 왔다. 이런 모델의 크기와 함께 성장한 다양한 Task의 작업 성능의 향상과 함께, 발전에는 환각(Hallucination) 및 윤리적 문제도 함께 떠오르고 있다. 이러한 문제 중 특히 환각 문제는 모델이 존재하지도 않는 정보를 실제 정보마냥 생성한다. 이러한 잘못된 정보 생성은 훌륭한 성능의 LLM에 신뢰성 문제를 야기한다. 환각 문제는 정보 검색을 통하여 입력 혹은 내부 표상을 증강하면 증상이 완화 되고 추가적으로 성능이 향상된다. 본 논문에서는 한국어 질의 응답에서 검색 증강을 통하여 모델의 개선점을 확인한다.

• 정보관리학회지
• /
• 제40권3호
• /
• pp.77-98
• /
• 2023

본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.

• 지식경영연구
• /
• 제25권2호
• /
• pp.1-18
• /
• 2024

거대언어모델(LLM)에 대한 수요와 활용 사례가 증가함에 따라 사용자의 민감정보가 LLM 사용 과정 중에 입력 및 유출되는 위험성 또한 증가하고 있다. 일반적으로 LLM 환각 문제의 해결을 위한 도구로 알려진 지식그래프는, LLM과는 별개로 구축되어 사용자의 민감정보를 별도로 보관 및 관리할 수 있으므로, 민감정보의 유출 가능성을 최소화하는 하나의 방법이 될 수 있다. 따라서 본 연구는 사용자로부터 입력된 자연어 기반의 질문을 LLM을 통해 지식그래프 유형에 맞는 쿼리문으로 변환하고 이를 이용하여 쿼리 실행과 결과 추출을 진행하는 지식그래프 기반 챗봇을 제시한다. 또한 본 연구에서 개발된 지식그래프 기반 챗봇의 기능적 유효성 판단을 위하여, 기존 지식그래프에 대한 이해도와 적응력, 새로운 개체 클라스 생성 능력, 그리고 지식그래프 콘텐츠에 대한 LLM의 접근 가능성 여부를 판단하는 성능 테스트를 수행한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.14-18
• /
• 2023

본 연구는 한국어 음성-텍스트 데이터에서 보편적으로 나타난 휴지의 실현 양상을 분석하고, 이를 토대로 데이터셋을 선별해 보편적이고 규격화된 한국어 휴지 예측을 위한 모델을 제안하였다. 이를 위해 전문적인 발성 훈련을 받은 성우 등의 발화가 녹음된 음성-텍스트 데이터셋을 수집하고 MFA와 같은 음소 정렬기를 사용해 휴지를 라벨링하는 등의 전처리를 하고, 다양한 화자의 발화에서 공통적으로 나타난 휴지를 선별해 학습데이터셋을 구축하였다. 구축된 데이터셋을 바탕으로 LLM 중 하나인 KULLM 모델을 미세 조정하고 제안한 모델의 휴지 예측 성능을 평가하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2024년도 제69차 동계학술대회논문집 32권1호
• /
• pp.321-324
• /
• 2024

본 논문에서는 LLM(Large Language Models) 기반의 STT 결합 챗봇 시스템을 제안한다. 제조업 공장에서 안전 교육의 부족과 외국인 근로자의 증가는 안전을 중시하는 작업 환경에서 새로운 도전과제로 부상하고 있다. 이에 본 연구는 언어 모델과 음성 인식(Speech-to-Text, STT) 기술을 활용한 혁신적인 챗봇 시스템을 통해 이러한 문제를 해결하고자 한다. 제안된 시스템은 작업자들이 장비 사용 매뉴얼 및 안전 지침을 쉽게 접근하도록 지원하며, 비상 상황에서 신속하고 정확한 대응을 가능하게 한다. 연구 과정에서 LLM은 작업자의 의도를 파악하고, STT 기술은 음성 명령을 효과적으로 처리한다. 실험 결과, 이 시스템은 작업자의 업무 효율성을 증대시키고 언어 장벽을 해소하는데 효과적임이 확인되었다. 본 연구는 제조업 현장에서 작업자의 안전과 업무 효율성 향상에 기여할 것으로 기대된다.

• 한국산업정보학회논문지
• /
• 제28권5호
• /
• pp.31-39
• /
• 2023

최근 자연어 처리(NLP) 기술, 특히 ChatGPT를 비롯한 거대 언어 모델(LLM)의 발전으로 특정 전문지식에 대한 질의응답(QA) 시스템의 연구개발이 활발하다. 본 논문에서는 거대언어모델과 문서검색 알고리즘을 활용하여 한국원자력연구원(KAERI)의 규정 등 다양한 문서를 이해하고 사용자의 질문에 답변하는 시스템의 동작 원리에 대해서 설명한다. 먼저, 다수의 문서를 검색과 분석이 용이하도록 전처리하고, 문서의 내용을 언어모델에서 처리할 수 있는 길이의 단락으로 나눈다. 각 단락의 내용을 임베딩 모델을 활용하여 벡터로 변환하여 데이터베이스에 저장하고, 사용자의 질문에서 추출한 벡터와 비교하여 질문의 내용과 가장 관련이 있는 내용들을 추출한다. 추출된 단락과 질문을 언어 생성 모델의 입력으로 사용하여 답변을 생성한다. 본 시스템을 내부 규정과 관련된 다양한 질문으로 테스트해본 결과 복잡한 규정에 대하여 질문의 의도를 이해하고, 사용자에게 빠르고 정확하게 답변을 제공할 수 있음을 확인하였다.

• 한국전자통신학회논문지
• /
• 제19권1호
• /
• pp.119-126
• /
• 2024

건물 정보 모델(BIM: Building Information Model)은 관련 기업의 개별화된 프로젝트와 학습 데이터양 부족으로 인해 인공지능(AI: Artificial Intelligence) 기반 BIM 애플리케이션 개발이 쉽지 않다. 본 연구에서는 데이터가 제한적인 상황에서 BIM의 강구조물 부재 중량비를 예측하기 위해 사전 학습이 된 대형 언어 모델을 기반으로 신경망을 학습하는 방법을 제시하고 실험하였다. 제안된 모델은 대형 언어 모델을 활용하여 BIM에 내재하는 데이터 부족 문제를 극복할 수 있어 데이터의 양이 부족한 상황에서도 성공적인 학습이 가능하며 대형 언어 모델과 연계된 신경망을 활용하여 자연어와 더불어 숫자 데이터까지 처리할 수 있다. 실험 결과는 제안된 대형 언어 모델 기반 신경망이 기존 소형 언어 모델 기반보다 높은 정확도를 보였다. 이를 통해, 대형 언어 모델이 BIM에 효과적으로 적용될 수 있음이 확인되었으며, 향후 건물 사고 예방 및 건설 비용의 효율적인 관리가 기대된다.