• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2002.12a
• /
• pp.199-202
• /
• 2002

신경회로망을 동적 정보처리에 응용하기 위해서는 비대칭 결합 신경회로망에서 생성되는 동적 상태천이에 관한 직관적 이해가 필요하다. 자기결합을 갖고 결합하중치가 비대칭인 순환결합형 신경회로망은 복수 개의 리미트사이클이 기억 가능하다는 것이 알려져 있다. 현재까지 이산시간 모델의 네트워크에 대한 상태천이 해석은 상세하게 이루어져 왔다. 그러나 연속시간 모델에 대한 해석은 네트워크 규모의 증가에 따른 급격한 계산량의 증가 때문에 연구가 그다지 활발하게 이루어지지 않고 있다. 본 논문에서는 각 뉴런이 최근접 뉴런에만 이진화된 결합하중 +1 및 -1로 연결된 연속시간모델 순환결합형 신경회로망의 동적인 상태천이 특성을 해석하여 이산시간 모델에서 기억 가능한 리미트사이클과의 차이점을 분석한다. 또한 연속시간 네트워크 모델에 카오스 신호를 인가하여 리미트사이클간의 천이를 제어할 수 있는 가능성을 분석하여 동적정보처리에 네트워크를 응용할 수 있는 가능성을 검토한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10a
• /
• pp.163-165
• /
• 2003

도메인 지식은 텍스트의 포맷과 의미 정보를 이용하여 웹에 존재하는 텍스트의 다양한 의미를 이해할 수 있도록 도와준다. 그러나 도메인 지식은 텍스트에 데이터의 의미를 표현하는 레이블이 존재하지 알을 경우에 텍스트 인식을 제대로 수행할 수 없기 때문에 무용지물이 되고 만다. 이러한 문제를 해결하기 위해 본 논문에서는 레이블이 존재하지 않는 텍스트의 의미를 효과적으로 추론할 수 있는 엔티티 인식 모델을 제안한다 엔티티 인식 모델은 베이지언 모델과 컨텍스트 정보를 결합한 방법으로서, 구조 분석을 수행한 HTML 문서의 텍스트 토큰에 대해서 어떤 엔티티에 속할 것인가를 결정하는 기능을 수행한다. 실험 결과 본 모델을 사용할 경우 기존에는 레이블이 없어서 인식되지 않았던 텍스트들을 효과적으로 인식하는 것을 확인할 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10a
• /
• pp.487-489
• /
• 2001

현재 임베디드 시스템을 위한 객체지향 개발 방법론이 많이 제시되고 있지만, 이들 방법론에서 요구사항 분석 모델은 하드웨어와 소프트웨어를 포함하는 임베디드 시스템의 특징을 반영하지 못하고 있다. 즉, 개발하고자 하는 시스템의 경계를 명확히 하지 못하고 있다. 본 논문에서 제시하고 있는 중첩된 구조의 유즈케이스 모델에서는 하드웨어를 포함한 시스템 경계와 소프트웨어 시스템 경계를 나누고 이와 관련된 모델링 요소들-액터와 유즈케이스-을 명확히 구분한다. 명확한 시스템 경계는 시스템의 환경을 포함한 시스템을 이해하는 데 도움을 주며, 하드웨어 측면의 개발이 소프트웨어 측면의 개발에 선행하는 일반적인 임베디드 시스템 개발 과정에 적합하고, 이후 분석 과정과도 자연스럽게 연결된다. 또한 제시된 유즈케이스 모델을 이용한 모델링 절차를 제시하며, 모델의 구성요소를 효율적으로 추출할 수 있는 방법을 제시 한다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.588-591
• /
• 2022

최근 자연어 이해 및 생성에 있어서 사전학습 기반의 언어 모델이 널리 사용되고 있다. BERT, roBERTa 등의 모델이 있으며, 마스크 언어 모델링을 주요 과제로 하여 사전 학습을 한다. 하지만 MLM은 문법적인 정보를 활용하지 못하는 단점이 있다. 단 순히 무작위로 마스크를 씌우고 맞추기 때문이다. 따라서 본 연구에서는 입력 문장의 문법적 정보를 활용하는 방법을 소개하고, 이를 기반으로 사후 학습을 하여 그 효과를 확인해 본다. 공개된 사전학습 모델과 사후학습 모델을 한국어를 위한 벤치마크 데이터셋 KLUE에 대하여 조정학습하고 그 결과를 살펴본다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.172-175
• /
• 2021

4차 산업혁명이 시작된 이래로 다양한 산업 분야에서 AI가 활용되고 있고, 그 중에서도 컴퓨터 비전 분야에서 딥러닝 기술이 각광받고 있다. 하지만 딥러닝 기술은 높은 전문 지식이 요구되어 관련 지식이 없는 일반인들은 활용하기 어렵다. 본 논문에서는 AI 관련 배경지식이 없는 사용자들도 UI를 통해 쉽게 이미지 분류 모델을 학습시킬 수 있는 노 코드 플랫폼에 관하여 기술하고, django 프레임워크를 이용해 웹 개발과 딥러닝 모델 학습을 통합 개발을 위한 아키텍처와 방향성을 제시하고자 한다. 사용자가 웹서버에 업로드한 이미지들을 웹 인터페이스를 통해 라벨링 하여 학습 데이터를 생성한 후, 이 데이터를 사용하여 모델을 학습시킨다. CNN 모델에 데이터를 학습시키는 과정과 생성된 모델 기반으로 이미지 예측하는 모듈을 통해 전문지식이 없는 사용자가 딥러닝 기술에 대해 쉽게 이해하고 이용하는 것을 기대할 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.161-164
• /
• 2019

본 논문은 BERT 모델을 이용하여 동형이의어의 단어 표현(Word Representation) 차이에 대한 실험을 한다. BERT 모델은 Transformer 모델의 인코더 부분을 사용하여 양방향을 고려한 단어 예측과 문장 수준의 이해를 얻을 수 있는 모델이다. 실험은 동형이의어에 해당되는 단어의 임베딩으로 군집화를 수행하고 이를 Purity와 NMI 점수로 계산하였다. 또한 각 단어 임베딩 사이를 코사인거리(Cosine Distance)로 계산하고 t-SNE를 통해 계층에 따른 변화를 시각화하였다. 군집된 결과는 모델의 중간 계층에서 점수가 가장 높았으며, 코사인거리는 8계층까지는 증가하고 11계층에서 급격히 값이 변하는 것을 확인할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.501-506
• /
• 2020

질의 난이도 분석 문제는 자연어 질의문을 답변할 때 어려움의 정도를 측정하는 문제이다. 질의 난이도 분석 문제는 문서 독해, 의학 시험, 비디오 질의 등과 같은 다양한 데이터셋에서 연구되어 왔다. 본 논문에서는 질의문과 질의문에 응답하기 위한 정보들 간의 관계를 파악하는 것으로 질의 난이도 분석 문제를 접근하여 이를 BERT와 Dual Multi-head Attention을 사용하여 모델링 하였다. 본 논문에서 제안하는 모델의 우수성을 증명하기 위하여 최근 자연언어이해 부분에서 높은 성능을 보여주는 기 학습 언어 모델과 이전 연구의 질의 난이도 분석 모델과의 성능을 비교하였고, 제안 모델은 대표적인 비디오 질의 응답 데이터셋인 DramaQA의 Memory Complexity에서 99.76%, Logical Complexity에서는 89.47%의 정확도로 가장 높은 질의 난이도 분석 성능을 보여주었다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.137-138
• /
• 2022

소스 코드 식별자의 이름을 잘 정하는 것은 소프트웨어 엔지니어링에서 중요한 문제로 다루어지고 있다. 프로그램 엔티티의 의미있고 간결한 이름은 코드 이해도에 중요한 역할을 하며, 소프트웨어 유지보수 관리 비용을 줄이는 데에 큰 효과가 있다. 이러한 코드 식별자 중 평균적으로 가장 복잡한 식별자는 '메소드 이름'으로 알려져 있다. 본 논문에서는 메소드 내용과 일관성 있는 적절한 메소드 이름 생성을 자연어 처리 태스크 중 하나인 '추상적 텍스트 요약'으로 치환하여 수행하는 트랜스포머 기반의 인코더-디코더 모델을 제안한다. 제안하는 모델은 Github 오픈소스를 크롤링한 Java 데이터셋에서 기존 최신 메소드 이름 생성 모델보다 약 50% 이상의 성능향상을 보였다. 이를 통해 적절한 메소드 작명에 필요한 비용 절감 달성 및 다양한 소스 코드 관련 태스크를 언어 모델의 성능을 활용하여 해결하는 데 도움이 될 것으로 기대된다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.425-431
• /
• 2023

음성 어시스턴트 시스템에서 발화의 의도를 분류하고 새로운 의도를 탐지하는 것은 매우 중요한 작업이다. 끊임없이 인입되는 새로운 발화로 인해 기존에 학습된 모델의 의도 분류 성능은 시간이 지남에 따라 점차 낮아진다. 기존 연구들에서 새로운 의도 발견을 위해 제안되었던 클러스터링 방법은 최적의 클러스터 수 결정과 명명에 어려움이 있다. 이러한 제한 사항을 보완하기 위해, 본 연구에서는 대규모 언어 모델 기반의 효과적인 의도 발견 방법을 제안한다. 이 방법은 기존 의도 분류기로 판단하기 어려운 발화에 새로운 의도 레이블을 할당하는 방법이다. 새롭게 인입되는 OOD(Out-of-Domain) 발화 내에서 오분류를 찾아 기존에 정의된 의도를 탐지하고, 새로운 의도를 발견하는 효율적인 프롬프팅 방법도 분석한다. 이를 액티브 러닝 전략과 결합할 경우, 분류 가능한 의도의 개수를 지속 증가시면서도 모델의 성능 하락을 방지할 수 있고, 동시에 새로운 의도 발견을 자동화 할 수 있다.

• The KIPS Transactions:PartD
• /
• v.12D no.1 s.97
• /
• pp.81-90
• /
• 2005

Given a model and a property, model checking determines whether the model satisfies the property. In case the model does not satisfy the property model checking gives a counterexample which explains where the violation occurs. Since counterexamples are useful for model debugging as well as model understanding, counterexample generation is one of the indispensable components in the model checking tool. This paper presents efficient counterexample generation techniques when a safety property is falsified. These techniques are used to solve Push Push games which consist of 50 games. As a result, all the games are solved with the proposed techniques. However, with the original NuSMV, 42 games are solved but 8 failed. In addition, we obtain $86{\%}$ time improvement and $62{\%}$ space improvement compared to the original NuSMV in solving the game.