• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.396-401
• /
• 2021

초거대 언어모델를 활용한 퓨샷(few shot) 학습법은 여러 자연어 처리 문제에서 좋은 성능을 보였다. 하지만 데이터를 활용한 추가 학습으로 문제를 추론하는 것이 아니라, 이산적인 공간에서 퓨샷 구성을 통해 문제를 정의하는 방식은 성능 향상에 한계가 존재한다. 이를 해결하기 위해 초거대 언어모델의 모수 전체가 아닌 일부를 추가 학습하거나 다른 신경망을 덧붙여 연속적인 공간에서 추론하는 P-tuning과 같은 데이터 기반 추가 학습 방법들이 등장하였다. 본 논문에서는 문맥에 따른 질의 정규화 문제를 대화형 음성 검색 서비스에 맞게 직접 정의하였고, 초거대 언어모델을 P-tuning으로 추가 학습한 경우 퓨샷 학습법 대비 정확도가 상승함을 보였다.

• 전기전자학회논문지
• /
• 제27권4호
• /
• pp.537-547
• /
• 2023

퓨삿학습(few-shot learning)은 사전에 확보한 관련 지식과 소규모의 학습데이터를 이용하여 학습데이터의 부족으로 인한 어려움을 해결할 수 있는 가능성을 제시해주어 최근 많은 주목을 받고 있다. 본 논문에서는 퓨삿학습의 개념과 주요 접근방법을 빠르게 파악할 수 있도록 데이터 증강, 임베딩과 측도학습, 메타학습의 세 관점에서 최신연구동향을 설명한다. 또한 퓨샷학습을 적용하려는 연구자들에게 도움을 제공할 수 있도록 주요 벤치마크 데이터셋에 대하여 간략하게 소개하였다. 퓨삿학습은 이미지 분석과 자연어 처리 등 다양한 분야에서 활용되고 있으나, 본 논문은 이미지 처리를 위한 퓨삿학습의 접근법에 집중하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.447-451
• /
• 2022

본 논문에서는 사용자가 대화 텍스트 방식의 입력을 주었을 때 이를 키워드 중심으로 변환하여 이미지를 생성해내는 방식을 제안한다. 대화 텍스트란 채팅 등에서 주로 사용하는 형식의 구어체를 말하며 이러한 텍스트 형식은 텍스트 기반 이미지 생성 모델이 적절한 아웃풋 이미지를 생성하기 어렵게 만든다. 이를 해결하기 위해 대화 텍스트를 키워드 중심 텍스트로 바꾸어 텍스트 기반 이미지 생성 모델의 입력으로 변환하는 과정이 이미지 생성의 질을 높이는 좋은 방안이 될 수 있는데 이러한 태스크에 적합한 학습 데이터는 충분하지 않다. 본 논문에서는 이러한 문제를 다루기 위한 하나의 방안으로 사전학습된 초대형 언어모델인 KoGPT 모델을 활용하며, 퓨샷 러닝을 통해 적은 양의 직접 제작한 데이터만을 학습시켜 대화 텍스트 기반의 이미지 생성을 구현하는 방법을 제안한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권12호
• /
• pp.499-508
• /
• 2022

딥러닝을 이용한 한글 생성 모델에 대한 연구가 많이 진행되었으며, 최근에는 한글 1벌을 생성하기 위하여 입력되는 글자 수를 얼마나 최소화할 수 있는지(Few-Shot Learning)에 대하여 연구되고 있다. 본 논문은 28개 글자를 사용하는 CKFont (이하 CKFont1) 모델을 분석하고 개선하여 14개 글자만을 사용하는 CKFont2 모델을 제안한다. CKFont2 모델은 28글자로 51개 한글 구성요소를 추출하여 모든 한글을 생성하는 CKFont1 모델을, 24개의 구성요소(자음 14개와 모음 10개)를 포함한 14개의 글자만을 이용하여 모든 한글을 생성하는 모델로 성능을 개선하였으며, 이는 현재 알려진 모델로서는 최소한의 글자를 사용한다. 한글의 기본 자/모음으로부터 쌍자음(5), 복자음(11)/복모음(11) 등 27개를 딥러닝으로 학습하여 생성하고, 생성된 27개 구성요소를 24개의 기본 자/모음과 합한 51개 구성요소로부터 모든 한글을 자동 생성한다. zi2zi, CKFont1, MX-Font 모델 생성 결과와 비교 분석하여 성능의 우수성을 입증하였으며, 구조가 간결하고 시간과 자원이 절약되는 효율적인 모델로 한자나 태국어, 일본어에도 확장 적용이 가능하다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.419-422
• /
• 2023

자연어 추론은 전제 문장과 가설 문장의 관계를 함의, 중립, 모순으로 분류하는 자연어 처리 태스크이다. 최근 여러 자연어 처리 태스크에서 딥러닝 모델을 이용하는 방법이 우수한 성능을 보이고 있지만, 이는 미세 조정과정에 드는 비용이 많다는 점과 모델 출력의 근거, 과정을 사람이 이해하기 어려운 한계가 있다. 이러한 이유로 최근에는 소량의 입력, 출력 예시를 포함한 프롬프트를 이용한 방법론과 모델 출력에 대한 근거를 생성, 활용하는 방법에 관한 많은 연구가 진행되고 있다. 본 논문에서는 퓨샷 학습 환경의 한국어 자연어 추론 태스크를 위한 세 가지 프롬프트 방법과 이들을 조합하여 적용하는 방법을 제안한다. 이를 통해 '해석 가능성'과 자연어 추론 성능을 모두 향상시킬 수 있음을 보인다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.664-671
• /
• 2023

최근 다양한 거대 언어모델(Large Language Model)들이 개발되면서 프롬프트 엔지니어링의 대한 다양한 연구가 진행되고 있다. 본 논문에서는 퓨삿 학습 환경에서 개체명 인식의 성능을 높이기 위해서 제안된 템플릿이 필요 없는 프롬프트 튜닝(Template-free Prompt Tuning) 방법을 이용하고, 이 방법에서 사용된 라벨 단어 집합 생성 방법에 Maximal Marginal Relevance 알고리즘을 적용하여 해당 개체명에 대해 보다 다양하고 구체적인 라벨 단어 집합을 생성하도록 개선하였다. 실험 결과, 'LOC' 타입을 제외한 나머지 개체명 타입에서 'PER' 타입은 0.60%p, 'ORG' 타입은 4.98%p, 'MISC' 타입은 1.38%p 성능이 향상되었고, 전체 개체명 인식 성능은 1.26%p 향상되었다. 이를 통해 본 논문에서 제안한 라벨 단어 집합 생성 기법이 개체명 인식 성능 향상에 도움이 됨을 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권7호
• /
• pp.271-278
• /
• 2021

현재 사이버 공격이 더욱 지능화됨에 따라 기존의 침입 탐지 시스템(Intrusion Detection System)은 저장된 패턴에서 벗어난 지능형 공격을 탐지하기 어렵다. 이를 해결하려는 방법으로, 데이터 학습을 통해 지능형 공격의 패턴을 분석하는 딥러닝(Deep Learning) 기반의 침입 탐지 시스템 모델이 등장했다. 침입 탐지 시스템은 설치 위치에 따라 호스트 기반과 네트워크 기반으로 구분된다. 호스트 기반 침입 탐지 시스템은 네트워크 기반 침입 탐지 시스템과 달리 시스템 내부와 외부를 전체적으로 관찰해야 하는 단점이 있다. 하지만 네트워크 기반 침입 탐지 시스템에서 탐지할 수 없는 침입을 탐지할 수 있는 장점이 있다. 따라서, 본 연구에서는 호스트 기반의 침입 탐지 시스템에 관한 연구를 수행했다. 호스트 기반의 침입 탐지 시스템 모델의 성능을 평가하고 개선하기 위해서 2018년에 공개된 호스트 기반 LID-DS(Leipzig Intrusion Detection-Data Set)를 사용했다. 해당 데이터 세트를 통한 모델의 성능 평가에 있어서 각 데이터에 대한 유사성을 확인하여 정상 데이터인지 비정상 데이터인지 식별하기 위해 1차원 벡터 데이터를 3차원 이미지 데이터로 변환하여 재구성했다. 또한, 딥러닝 모델은 새로운 사이버 공격 방법이 발견될 때마다 학습을 다시 해야 한다는 단점이 있다. 즉, 데이터의 양이 많을수록 학습하는 시간이 오래 걸리기 때문에 효율적이지 못하다. 이를 해결하기 위해 본 논문에서는 적은 양의 데이터를 학습하여 우수한 성능을 보이는 Few-Shot Learning 기법을 사용하기 위해 Siamese-CNN(Siamese Convolutional Neural Network)을 제안한다. Siamese-CNN은 이미지로 변환한 각 사이버 공격의 샘플에 대한 유사성 점수에 의해 같은 유형의 공격인지 아닌지 판단한다. 정확성은 Few-Shot Learning 기법을 사용하여 정확성을 계산했으며, Siamese-CNN의 성능을 확인하기 위해 Vanilla-CNN(Vanilla Convolutional Neural Network)과 Siamese-CNN의 성능을 비교했다. Accuracy, Precision, Recall 및 F1-Score 지표를 측정한 결과, Vanilla-CNN 모델보다 본 연구에서 제안한 Siamese-CNN 모델의 Recall이 약 6% 증가한 것을 확인했다.