• Proceedings of the Korean Society of Computer Information Conference
• /
• 2024.01a
• /
• pp.479-480
• /
• 2024

본 논문에서는 원자력 안전조치 용어를 미세조정(fine tuning) 알고리즘을 활용해 추가 학습한 공개 거대 언어모델(Large Language Model, LLM)이 안전조치 관련 질문에 대해 답변한 결과를 정성적으로 평가하였다. 평가 결과, 학습 데이터 범위 내 질문에 대해 학습 모델은 기반 모델 답변에 추가 학습 데이터를 활용한 낮은 수준의 추론을 수행한 답변을 출력하였다. 평가 결과를 통해 추가 학습 개선 방향을 도출하였으며 저비용 전문 분야 언어 모델 구축에 활용할 수 있을 것으로 보인다.

• Proceedings of The KACE
• /
• 2017.08a
• /
• pp.131-134
• /
• 2017

이 연구에서 엔트리 명령 블록을 이용하여 보편적 프로그래밍 언어를 개발하고 검증하였다. 그래서 이 연구를 통해 블록형 프로그래밍 언어의 접근 수월성을 이용하여 절차적 사고력 향상을 위한 아이디어를 제공하고자 하였다. 새로운 프로그래밍 언어를 만들어 알고리즘을 적용하여 함수화된 사칙연산 프로그램을 만들면서, 다양한 알고리즘을 적용하면 엔트리에서 제시하는 모든 명령 블록을 만들 수 있음을 증명하였다. 이 연구를 통해 1)프로그래밍 언어에 포함된 다양한 기능의 명령어들도 함수화되어 있음을 증명하고 재생산 가능함을 경험할 수 있는 아이디어를 제공하고, 2)초보 프로그래머들이 프로그래밍 언어 개발에 대한 흥미와 관심을 갖게 되는 방안을 제시하며, 3)알고리즘을 경험하면서 절차적 사고력을 향상시킬 수 있는 다른 방향의 SW 교수 학습 방법과, 4)프로그래밍 언어를 미시적으로 탐구하면서 SW 교육 관점을 다양화하는 방법을 제시하였다. 이 연구에서 제시한 방안으로 학생들이 절차적 사고력 향상과 프로그래밍 언어의 다양성 인식, 프로그램을 심층적으로 분석하는 태도 등의 SW 교육에 대한 긍정적 변화를 기대한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.07a
• /
• pp.183-184
• /
• 2016

본 논문에서는 2015 개정 교육과정에서 강조하고 있는 SW 교육의 교육용 프로그래밍 언어(EPL)에 대한 현직 초등 교사들의 실태와 요구를 분석하였다. 현직 초등 교사들이 대부분 이수한 교대의 교육과정에는 교육용 프로그래밍 언어 교육에 관한 내용은 대다수 없는 것으로 파악되었다. 또한 현장에서 실시되고 있는 교육용 프로그래밍 언어에 관한 연수는 양적으로도 연수의 수가 부족할 뿐만 아니라 질적으로도 개선이 필요한 것으로 분석되었다. 교육용 프로그래밍 언어에 대한 현직 교사의 사례들에서도 교육용 프로그래밍 언어에 대한 교사교육에 관한 다양한 요구가 분석되었다. 이를 통하여 교육용 프로그래밍 언어에 대한 초등 교사교육의 필요성과 방향에 대하여 제언하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.1022-1025
• /
• 2013

소프트웨어 개발자는 예전과 같이 PC 나 서버에서만 동작하는 소프트웨어만 만들어야 하는 것이 아니고, 스마트폰, 스마트패드, 스마트 TV, 스마트워치 등 개발해야 하는 플랫폼의 종류가 기하급수적으로 늘고 있다. 그러나 비용문제, 과열된 스타트업 시장으로 인한 채용문제로, 개발 초기 시 클라이언트, 네트워크, 데이터베이스에 숙련된 개발자를 충분히 보유하고 시작하는 경우는 드물다. 본 논문은 HTML 서비스, 실시간 네트워킹, 데이터베이스 CRUD를 지원하는 초보자도 사용하기 쉬운 새로운 언어를 소개한다. 우리는 언어 요구사항, 언어 산출물의 정의를 통하여 언어의 설계 및 구현을 한다. 실제로 실시간 네트워크 서버를 우리의 언어로 제작한 사례 연구를 통하여 우리의 언어가 우수하고 개발자의 노력대비 결과가 좋음을 보인다. 추후 이 언어를 활용하여 게임, 채팅 어플리케이션, 실시간 모니터링 등 특정 도메인에 맞는 어플리케이션을 개발자가 쉽게 작성할 수 있을 것이다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.61-65
• /
• 2023

최근, 대부분의 태스크가 초거대 언어 모델로 통합되고 있을 정도로 많은 관심 및 연구되고 있다. 초거대 언어 모델을 효과적으로 활용하기 위해서는 모델의 능력에 대한 분석이 선행되어야 하나, 한국어에 대한 분석 및 탐색은 상대적으로 부족하다. 본 논문에서는 한국어 맞춤법 교정 태스크를 통해 초거대 언어 모델의 능력을 탐색한다. 맞춤법 교정 태스크는 문장의 구조 및 문법을 이해하는 능력이 필요하며, 사용자의 만족도에 영향을 미칠 수 있는 중요한 태스크이다. 우리는 맞춤법 세부 유형에 따른 ChatGPT의 제로샷 및 퓨샷성능을 평가하여 초거대 언어 모델의 성능 분석을 수행한다. 실험 결과 제로샷의 경우 문장부호 오류의 성능이 가장 우수했으며, 수사 오류의 성능이 가장 낮았다. 또한, 예제를 더 많이 제공할수록 전체적인 모델의 성능이 향상되었으나, 제로샷의 경우보다 오류 유형 간의 성능 차이가 커지는 것을 관찰할 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06a
• /
• pp.131-133
• /
• 2012

본 연구에서는 컴퓨터의 개념을 학부 신입생 교육과정에서 쉽게 이해할 수 있도록 ARM 명령어 집합의 부분 집합을 정의하고, 어셈블리 언어 코드를 입력받아 실행하는 가상 머신을 설계하고 구현하였다. 기존 교육 과정의 컴퓨터 구조 과목에서 다루는 어셈블리 언어는 실제의 머신을 기반으로 하기 때문에 개념을 학습하는데 있어서 불필요하게 복잡하다는 단점이 있다. 하지만 본 연구에서는 교육에 필요한 내용만을 포함한 가상 머신을 새롭게 정의함으로써 좀 더 우아한 방법으로 컴퓨터의 개념을 이해할 수 있도록 하였다. 특히 어셈블리 언어 학습을 통해서 컴퓨터 구조와 고급 언어 간의 상호작용을 이해하는데 도움이 될 수 있다. 제안한 가상 머신은 자바로 구현하였으며, 스캐너 및 파서를 구현하기 위해서 오픈소스 컴파일러-컴파일러 시스템을 사용하였다. 해당 가상 머신은 공과대학 학부 신입생을 위한 실습 프로그램으로 사용되었으며 컴퓨터 개념의 이해를 돕는데 유의미한 기여를 하였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.485-490
• /
• 2022

데이터 증강기법은 추가적인 데이터 구축 혹은 수집 행위 없이 원본 데이터셋의 양과 다양성을 증가시키는 방법이다. 데이터 증강기법은 규칙 기반부터 모델 기반 방법으로 발전하였으며, 최근에는 Masked Language Modeling (MLM)을 응용한 모델 기반 데이터 증강 연구가 활발히 진행되고 있다. 그러나 기존의 MLM 기반 데이터 증강 방법은 임의 대체 방식을 사용하여 문장 내 의미 변화 가능성이 큰 주요 토큰을 고려하지 않았으며 증강에 따른 레이블 교정방법이 제시되지 않았다는 한계점이 존재한다. 이러한 문제를 완화하기 위하여, 본 논문은 레이블을 고려할 수 있는 Re-labeling module이 추가된 MLM 기반 한국어 데이터 증강 방법론을 제안한다. 제안하는 방법론을 KLUE-STS 및 KLUE-NLI 평가셋을 활용하여 검증한 결과, 기존 MLM 방법론 대비 약 89% 적은 데이터 양으로도 baseline 성능을 1.22% 향상시킬 수 있었다. 또한 Gate Function 적용 여부 실험으로 제안 방법 Re-labeling module의 구조적 타당성을 검증하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.514-517
• /
• 2023

본 연구는 인 컨택스트 러닝 (In-Context Learning)을 오디오-언어 작업에 적용하기 위한 멀티모달 (Multi-Modal) 딥러닝 모델을 다룬다. 해당 모델을 통해 학습 단계에서 오디오와 텍스트의 소통 가능한 형태의 표현 (Representation)을 학습하고 여러가지 오디오-텍스트 작업을 수행할 수 있는 멀티모달 딥러닝 모델을 개발하는 것이 본 연구의 목적이다. 모델은 오디오 인코더와 언어 인코더가 연결된 구조를 가지고 있으며, 언어 모델은 6.7B, 30B 의 파라미터 수를 가진 자동회귀 (Autoregressive) 대형 언어 모델 (Large Language Model)을 사용한다 오디오 인코더는 자기지도학습 (Self-Supervised Learning)을 기반으로 사전학습 된 오디오 특징 추출 모델이다. 언어모델이 상대적으로 대용량이기 언어모델의 파라미터를 고정하고 오디오 인코더의 파라미터만 업데이트하는 프로즌 (Frozen) 방법으로 학습한다. 학습을 위한 과제는 음성인식 (Automatic Speech Recognition)과 요약 (Abstractive Summarization) 이다. 학습을 마친 후 질의응답 (Question Answering) 작업으로 테스트를 진행했다. 그 결과, 정답 문장을 생성하기 위해서는 추가적인 학습이 필요한 것으로 보였으나, 음성인식으로 사전학습 한 모델의 경우 정답과 유사한 키워드를 사용하는 문법적으로 올바른 문장을 생성함을 확인했다.

• 전기의세계
• /
• v.30 no.7
• /
• pp.414-421
• /
• 1981

본고의 내용은 다음과 같다. 1. 언어의 특성 2. 단절 언어의 인식 3. 연속 언어의 인식 4. 응용

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.482-485
• /
• 2021

최근 지식 그래프를 확장하기 위해 많은 연구가 진행되고 있다. 지식 그래프를 확장하기 위해서는 relation을 기준으로 entity의 방향성을 고려하는 것이 매우 중요하다. 지식 그래프를 확장하기 위한 대표적인 연구인 관계 추출은 문장과 2개의 entity가 주어졌을 때 relation을 예측한다. 최근 사전학습 언어모델을 적용하여 관계 추출에서 높은 성능을 보이고 있지만, entity에 대한 방향성을 고려하여 relation을 예측하는지 알 수 없다. 본 논문에서는 관계 추출에서 entity의 방향성을 고려하여 relation을 예측하는지 실험하기 위해 문장 수준의 Adversarial Attack과 단어 수준의 Sequence Labeling을 적용하였다. 또한 관계 추출에서 문장에 대한 이해를 높이기 위해 BERT모델을 적용하여 실험을 진행하였다. 실험 결과 관계 추출에서 entity에 대한 방향성을 고려하지 않음을 확인하였다.