• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.639-641
• /
• 2018

고전적으로 이용되던 디렉터리 분류로는 원하는 정보를 빠르게 찾기 어려워지면서, 키워드 기반 검색 시스템이 정보 처리의 중심이 되고 있다. 본 논문에서는 개인용 컴퓨터에서의 빠른 자료 검색을 위한 키워드 기반 정보검색 시스템을 제안한다. 시스템에서는 동적 색인을 통하여 기존 시스템들보다 빠른 시간 내에 검색 결과를 제공한다. 내용 기반 검색과 다양한 포맷에 대한 문서 검색 기능을 포함하여 사용자에게 편리한 환경을 제공할 뿐만 아니라, 한글 문장이 포함된 문서에 대해서 원활한 검색을 제공하고자 한다. 성능 비교 검증을 수행한 결과 기존 시스템에 비해 보다 빠른 시간 내에 많은 문서를 탐지할 수 있음을 확인하였다.

• The Journal of Society for e-Business Studies
• /
• v.25 no.1
• /
• pp.203-214
• /
• 2020

It is necessary to classify technical documents such as patents, R&D project reports in order to understand the trends of technology convergence and interdisciplinary joint research, technology development and so on. Text mining techniques have been mainly used to classify these technical documents. However, in the case of classifying technical documents by text mining algorithms, there is a disadvantage that the features representing technical documents must be directly extracted. In this study, we propose a BERT-based document classification model to automatically extract document features from text information of national R&D projects and to classify them. Then, we verify the applicability and performance of the proposed model for classifying documents.

• Annual Conference on Human and Language Technology
• /
• 2008.10a
• /
• pp.189-194
• /
• 2008

본 논문에서는 토픽 시그너처(Topic Signature)와 n-gram을 이용한 댓글 분류 시스템을 개발한다. 토픽 시그너처는 문서요약이나 문서분류에서 자질 선택을 위한 방법으로 많이 사용되어지며, n-gram은 모든 언어에 적용 가능한 장점이 있다. 악성댓글은 대체로 문장 길이가 짧고 유행어나 변형어의 출현 빈도가 높으며 비정형화된 특징이 있다. 따라서 우리는 댓글을 n-gram으로 나누어 자질로 선택한다. 분류를 위해 베이지안(Bayesian)모델을 사용하였다. 본 논문에서는 한글과 영어 댓글에 대한 판별 실험을 통하여 구현한 시스템이 복잡한 전처리 과정이 필요한 기존에 제안된 방법들보다 더 나은 성능을 보이며, 언어에 관계없이 적용 가능하다는 것을 실험 결과를 통해 확인할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.394-398
• /
• 2020

산업/직업분류 자동코딩시스템은 고용조사 등을 함에 있어 사업체 정보, 업무, 직급, 부서명 등 사용자의 다양한 입력을 표준 산업/직업분류에 맞춰 코드 정보를 제공해주는 시스템이다. 입력 데이터로부터 비지도학습 기반의 색인어 추출 모델을 학습하고, 부분단어 임베딩이 적용된 색인어 임베딩 모델을 통해 입력 벡터를 추출 후, 출력 분류 코드를 인코딩하여 지도학습 모델에서 학습하는 방법을 적용하였다. 기존 시스템의 분류 결과 데이터를 통해 대, 중, 소, 세분류에서 높은 정확도의 모델을 구축할 수 있으며, 기계학습 기술의 적용이 가능한 시스템임을 알 수 있다.

• Journal of KIISE:Software and Applications
• /
• v.32 no.7
• /
• pp.636-649
• /
• 2005

Field-associated Terms itself have field Information. So, they determine field of document just like when human being perceives field. In case of Korean, we organized and experimented them by collecting approximately IS,999 document banks that are classified into 180 fields. We obtained high precision of extraction that 88,782 single field-associated terms are contracted into 8,405 ones thus recording compression rate as approximately 9$\%$ and recall as above 0.77 (average 0.85), precision as above 0.90 (average 0.94). By applying established field-associated terms to initial determination for document classification and comparing it with filed determination by human being, we got correct answers above approximately 90$\%$. We can use results of research as fundamental research for initial stage and apply it document retrieval between multilingual environment thus utilizing it as fundamental research for multilingual information retrieval.

• Annual Conference on Human and Language Technology
• /
• 2002.10e
• /
• pp.129-136
• /
• 2002

고성능의 질의응답 시스템을 구현하기 위해서는 사용자의 질의 유형의 난이도에 관계없이 의도를 파악할 수 있는 질의유형 분류기가 필요하다. 본 논문에서는 문서 범주화 기법을 이용한 질의 유형 분류기를 제안한다. 본 논문에서 제안하는 질의 유형 분류기의 분류 과정은 다음과 같다. 우선, 사용자 질의에 포함된 어휘, 품사, 의미표지와 같은 다양한 정보를 이용하여 사용자 질의로부터 자질들을 추출한다. 이 과정에서 질의의 구문 특성을 반영하기 위해서 슬라이딩 윈도 기법을 이용한다. 또한, 다량의 자질들 중에서 유용한 것들만을 선택하기 위해서 카이 제곱 통계량을 이용한다. 추출된 자질들은 벡터 공간 모델로 표현되고, 문서 범주화 기법 중 하나인 지지 벡터 기계(support vector machine, SVM)는 이 정보들을 이용하여 질의 유형을 분류한다. 본 논문에서 제안하는 시스템은 질의 유형 분류 문제에지지 벡터 기계를 이용한 자동문서 범주화 기법을 도입하여 86.4%의 높은 분류 정확도를 보였다. 또한 질의 유형 분류기를 통계적 방법으로 구축함으로써 lexico-syntactic 패턴과 같은 규칙을 기술하는 수작업을 배제할 수 있으며, 응용 영역의 변화에 대해서도 안정적인 처리와 빠른 이식성을 보장한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.76-81
• /
• 2020

법률 전문 지식이 없는 사람들이 법률 정보 검색을 성공적으로 하기 위해서는 일반 용어를 검색하더라도 전문 용어가 사용된 법령정보가 검색되어야 한다. 하지만 현 판례 검색 시스템은 사용자 선호도 검색이 불가능하며, 일반 용어를 사용하여 검색하면 사용자가 원하는 전문 자료를 도출하는 데 어려움이 있다. 이에 본 논문에서는 일반용어가 사용된 질의문과 전문용어가 사용된 판례를 자동으로 연결해 주고자 하였다. 질의문과 연관된 판례를 자동으로 연결해 주기 위해 전문용어가 사용된 전문가 답변을 바탕으로 문서분류에 높은 성능을 보이는 Doc2Vec을 이용한다. Doc2Vec 문서 임베딩 기법을 이용하여 전문용어가 사용된 전문가 답변과 유사한 답변을 제안하여 비슷한 주제의 답변들끼리 분류하였다. 또한 전문가 답변과 유사도가 높은 판례를 제안하여 질의문에 해당하는 판례를 자동으로 연결하였다.

• Annual Conference on Human and Language Technology
• /
• 2006.10e
• /
• pp.98-106
• /
• 2006

문서분류기의 개발에 있어 교사학습기법을 이용할 경우 많은 양의 사람에 의한 범주 부착 말뭉치가 필요하다. 그러나 이의 구축은 많은 시간과 노력을 필요로 한다. 최근 이러한 범주 부착 말뭉치 대신 원시말뭉치와 범주마다 약간의 씨앗 정보를 이용하여 학습을 수행하여 문서분류기를 개발하는 방법론이 제시되었다. 본 논문에서는 이 방법론 하에서 다른 연구에서의 결과보다 좋은 성능을 나타내는 비교사 학습 기법을 소개한다. 본 논문에서 제시하는 기법의 특징은 씨앗 단어에서 출발하여 평균상호정보를 이용하여 다른 대표단어 및 그들의 가중치를 학습한 다음, 정보검색에서 많이 사용하는 기술을 이용하여 그 가중치를 갱신하는 것이다. 그리고 이 과정을 반복 수행하여 최종적으로 높은 성능의 시스템을 개발할 수 있음을 제시하였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.501-504
• /
• 2021

최근 언어 모델은 분류, 기계 독해, 생성 등의 태스크에서 성공적인 결과를 보여주고 있다. 본 논문에서는 최근 많은 관심을 받고 있는 인코더-디코더 구조의 언어 모델인 BART, T5 그리고 PALM을 위키피디아 한국어 데이터 집합으로 사전 학습한 후 기계 독해와 문서 생성 요약 태스크에 대하여 미세 조정을 하고 성능 비교를 한다.

• Annual Conference on Human and Language Technology
• /
• 1996.10a
• /
• pp.338-345
• /
• 1996

일본어 특허 문서를 번역하기 위해 개발이 시작된 COBALT-J/K(COllocation - BAsed Language Translator from Japanese to Korea)는 현재 그 번역 대상을 모든 일본어 문서로 확장해 곧, 상용 시스템으로 전환을 바라보고 있다. 이런 시점에서 일반 문서를 대상으로 하는 범용 기계 번역 시스템의 관점에서 시스템을 평가하여 문제점을 찾고, COBALT-J/K가 우선적으로 해결하고자 한 문제들이 올바르게 해결되었는지를 살피고자 한다. 이를 위한 평가 방법으로 문형별로 분류된 다수의 일본어 문장에 대하여 실제 번역을 하여 한국어 번역문과 일본어 원문을 비교하는 방식으로 분석하였으며, 현재 시판되고 있는 J-Seoul에 대해서도 같은 방법으로 실험한 결과를 얻은 후, 이 결과는 평가의 보조 자료로 삼았다.