• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.25-30
• /
• 2023

초거대 언어모델은 과연 수수께끼 문제에 재치있는 답변을 할 수 있을까? 최근 초거대 언어모델(Large language model, LLM)은 강력한 성능 및 유저 만족도를 보이며 세계의 이목을 집중시키고 있다. 여러 태스크들에 대한 정량 평가를 넘어서 최근에는 LLM의 창의력 및 고도화된 언어능력을 평가하는 연구들이 등장하고 있다. 본 논문에서는 이러한 연구 흐름에 따라 LLM의 재치에 관해 고찰해본다. 이때 재치를 평가하기 위한 태스크로 이를 요구하는 말놀이인 수수께끼를 활용한다. 본 논문은 LLM이 수수께끼를 잘 수행하는지를 모델 추론을 통해 평가하며, 모델 추론 시 활용되는 프롬프트들의 성격에 따른 성능 변화를 관찰한다. 또한 수수께끼의 종류에 따른 모델의 능력을 비교 분석하며 LLM의 추론 결과에 대한 오류 분석을 수행한다. 본 논문은 실험을 통해 GPT-4가 가장 높은 성능을 보이며, 설명글이나 데이터 예시를 추가할 시 성능을 한층 더 향상시킬 수 있음을 확인한다. 또한 단어 기반보다는 특성 기반의 수수께끼에 더욱 강력한 성능을 보이며, 오류 유형 분석을 통해 LLM이 환각(hallucination) 문제와 창의력을 동시에 가지고 있다고 분석한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.465-466
• /
• 2021

본 논문에서는 강의평가 시스템을 이용하여 주된 이용자인 학생들에게 수업에 앞서 강의에 대한 전반적인 학습 분위기와 강의를 들었던 학생들의 평점을 제안한다. 이 시스템은 강의평가를 효율적으로 보여주어 수강 신청의 접근성을 최대화하고, 각 강의의 안내와 정보를 취득하는 데 도움을 준다. 또한, 이 시스템은 네 가지의 평점을 부여하여 이를 바탕으로 종합적인 평점을 할당한다. 이때 강의평가에 대한 평가를 곁들이면서, 평점을 제시하여 강의평가를 보려는 다른 이들에게 뚜렷한 정보력과 어떤 강의가 좋은지 잘 보여준다. 본 논문에서는 동적 웹 페이지를 사용하여 가시성이 뛰어난 강의평가 시스템을 제공하는 면에서 우수함을 보인다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.07a
• /
• pp.415-416
• /
• 2019

이 연구의 목적은 기존 CT 검사 도구를 확인하여 한계를 파악하고, CT 기반 역량의 의미를 밝히고 이를 통해 올바른 CT 검사도구 개발의 방향을 제시하는 것이다. 그래서 이 연구로 CT 기반 스킬을 통해 CT 역량을 검사할 수 있는 방법을 제시하였다. 이 연구의 결론으로 CT 역량을 검사하는 것은 CT 기반 역량을 검사하는 것으로 CT 기반 하드스킬을 밝혀내어 이를 평가 요소로 적용한다면, 기존 검사도구의 한계를 극복하는 묘책이 될 것으로 판단되었다. 이 연구의 후속으로 CT 기반의 하드 스킬을 찾아 CT 기반 역량을 명확히 규명하고, 이를 바탕으로 검사도구를 개발하여 검증하고자 한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2012.01a
• /
• pp.187-188
• /
• 2012

전반적인 경기 침체에도 불구하고 게임산업은 급속하게 성장하고 있다. 매년 새로운 게임이 계속 쏟아져 나오지만 시장에서 성공하는 게임은 드물다. 이는 게임의 핵심적 요소인 재미요소를 제대로 구현하지 못했기 때문이다. 이에 따라 본 논문에서는 온라인 게임의 재미요소를 평가할 수 있는 평가모델을 제안한다. 이 평가모델은 재미요소를 게임연출, 사운드, 조작성, 그래픽, UI, 기획성, 기술성 등 7개의 영역으로 구분하였다. 각 영역별로 세부 평가항목을 제시하고, 이를 기반으로 설문을 개발하였다. 실험결과 논문에서 제안한 평가영역으로 게임의 재미요소를 수치화할 수 있으며, 여러 게임의 재미요소 정도를 비교하는 것이 가능함을 입증하였다. 본 논문에서 제안한 평가영역을 기반으로 해당 게임의 특성에 맞게 항목을 조절하여 게임의 재미요소 평가에 활용할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2009.11a
• /
• pp.417-418
• /
• 2009

웹이 대중화되면서, 사용자 계층도 어린이, 노인, 장애인 등으로 다양해졌다. 인지적, 신체적 특징에 상관없이 모든 사람에게 동등한 웹 기회를 제공하고 있는가를 나타내는 지표가 웹 접근성이다. 웹 사이트들이 특정 수준의 웹 접근성을 준수하도록 유도하기 위해 W3C(World Wide Web Consourtium)의 WAI(Web Accessiability Initiative)는 웹 콘텐츠 접근성 가이드라인 WCAG (Web Content Accessibility Guideliens)를 개발하였다. 현재, WCAG2.0까지 발표된 가이드라인은, 4개의 원칙(Principle), 12개의 지침(Guideline), 그리고 61개의 성공기준(Success Criteria)으로 구성 되어 있다. 평가자들은 WCAG2.0에서 제시하는 성공 기준에 맞춰, 웹 사이트가 웹 접근성을 어느 수준으로 준수하고 있는지 평가한다. 하지만, WCAG2.0을 기준으로 웹 사이트를 평가할 경우, 성공기준의 준수여부는 평가가 가능하지만, 특정 사용자 집단의 특성을 반영한, 우선순위가 포함되지 않아, 특정 사용자 집단을 위한 개선 사항을 도출하는데 어려움이 있다. 이에, 본 논문에서는 이러한 점을 고려하여 WCAG2.0 기반의, 특정 사용 집단을 위한 웹 접근성 평가 모델을 제안한다. 사용자 특성에 따라 성공지침들의 중요도가 달라 질 수 있으므로, AHP 기법을 활용하여 성공지침들의 상대적 중요도를 평가하고, 우선순위화 하였다. 평가 모델의 효용성을 입증하기 위해, 특정 사용집단으로 노인 집단을 선정하여, 웹 접근성 평가 모델을 개발하였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.12 no.9
• /
• pp.1711-1716
• /
• 2008

The recent change of educational evaluation puts particular emphasis on performance assessments which can appraise learning processes as well as learning results. The performance assessment is not only helpful for the improvement of teaching and learning methods, but also for making the learning activities significant to learners themselves. In this paper we propose and implement a system to support the internet-based and essay-typed performance assessment, in which student's performance can properly be evaluated. Teachers can be relieved from the burden of testing and provided with convenient methods of evaluation. We analyze the performance of the implemented system by evaluating practical usages of selected instructors and students group.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.11a
• /
• pp.1272-1275
• /
• 2011

네이버, 다음, 구글 등의 웹 상에서 제공하는 지도 서비스와 KML, GML, GeoRSS와 같은 기술들을 이용하여 하나의 위치 정보로 통합한 지리정보를 사용자에게 제공해 줄 수 있는 연구들은 현재까지 활발히 진행되어 왔다. 그러나 이러한 연구들은 위치 정보만 통하여 줄 뿐 의미 정보까지 통합하여 사용자들에게 다양한 정보들을 제공해주지 못한다. 이 논문에서는 KML, GML, GeoRSS 등으로 표현된 풍부한 지리정보들을 통합하여 웹 기반 지도 서비스에 제공해주는 시스템을 제안한다. 또한 지리정보들의 스키마 통합을 위해 어댑터 기반 의미 처리 방법과 정적/동적 의미 관리 기반 접근 방법을 혼합한 하이브리드 스키마 매칭(Hybrid Schema Matching, HSM) 방법을 제안하고, 제안 시스템의 평가를 위해 스키마 매칭을 위한 4가지 접근 방법과 비교 평가를 수행한다. 평가의 결과로 제안 시스템은 의미 해석에 대한 신뢰성이 보장되고 시스템 구축 비용과 데이터 통합 비용이 상대적으로 낮다는 특징을 지닌다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.01a
• /
• pp.5-6
• /
• 2019

Edge Computing에서 발생하는 데이터 분석에 대한 알고리즘의 성능 평가나 검증은 필수적이다. 이러한 평가 및 검증을 위해서는 비교 가능한 데이터가 필요하다. 본 논문에서는 Edge Computing에서 발생하는 데이터에 대한 분석 결과 및 Computing Resource에 대한 성능평가를 위해 Cloud 기반의 빅 데이터 분석시스템을 구축한다. Edge Computing 비교분석 빅 데이터 시스템은 실제 IoT 노드에서 Edge Computing을 수행할 때와 유사한 환경을 Cloud 상에 구축하고 연구되는 Edge Computing 알고리즘을 Data Analysis Cluster Container에 탑재해 분석을 시행한다. 그리고 분석 결과와 Computing Resource 사용률 데이터를 기존 IoT 노드 Edge Computing 데이터와 비교하여 개선점을 도출하는 것이 본 논문의 목표이다.

• Proceedings of the KIEE Conference
• /
• 2003.10b
• /
• pp.265-267
• /
• 2003

무인자동운전으로 운행되는 경량전철시스템을 시험선에 구축함에 무선통신을 기반으로 하는 신호 제어시스템의 시험평가내용을 정의하였다. 특히 자동열차제어를 담당하는 장치의 시험평가를 길이있게 다루었다. ATO컴퓨터의 시험평가에는 정차시험 및 역구내용주행시험으로 구분하여 시험종류 및 방법을 기술하였다. CBTC역컴퓨터에 대해서는 시스템구축에서부터 안전성 가용률평가까지의 시험절차 및 이에 필요한 평가설비구성을 논하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2011.01a
• /
• pp.141-144
• /
• 2011

본 논문에서는 학습자들의 학습능력 향상을 위해 구성주의 능력기반 교수학습 설계 모형을 제안한다. 구성주의 능력기반 교수학습 설계 모형에서는 과거 내용 전달 위주의 교수설계와는 차별화된 방법을 적용한다. 본 모형에서는 먼저, 학습자들이 갖추어야 할 학습능력을 규명한다. 이후 규명된 학습능력을 일정 기간 이후 평가할 평가 방법을 결정한다. 학습능력과 그 능력을 평가할 수 있는 방법을 결정한 이후 실제 수업을 진행한다. 본 모형의 주요 특징은 세 가지이다. 첫째, 단순히 내용 전달 위주의 교수설계 방법이 아닌 학습자들에게 실질적인 학습능력을 형성시켜주는 교수학습설계 전략이다. 둘째, 학습자들이 형성해야 할 학습능력을 기초능력과 핵심능력으로 나누어 단계적으로 제시한다. 셋째, 학습자들의 학습능력을 향상시켜줄 수 있는 방안을 구성주의적 차원에서 제시한다.