• Annual Conference of KIPS
• /
• 2001.10a
• /
• pp.547-550
• /
• 2001

웹상에 공유되어진 문서의 내용을 대표하는 색인어 추출은 정보 검색 시스템의 질을 좌우한다. 한국어의 자유로운 복합명사나 띄어쓰기 규약, 사전 미등록 어휘 등으로 색인어 추출시 질의어와 색인어 사이의 형태상의 불일치(Syntactic Term Mismatch)가 발생하여 검색성능을 저하시키는 경우가 많다. 따라서 본 논문에서는 사전을 통한 형태소 해석을 통해 단위명사(Unit Noun)로 색인어를 추출하고 사전 미등륵어는 N-gram 기반 색인 방법을 이용하여 질의어와 색인어 사이의 부분 일치된 문서도 추출될 수 있는 방법을 제안하였으며, 색인어와 질의어 사이의 유사도 계산을 통해 문서의 우선순위를 정함으로써 색인기의 성능을 높이는 방법을 제안한다.

• Annual Conference of KIPS
• /
• 2007.05a
• /
• pp.703-706
• /
• 2007

보다 효과적인 색인어 추출 및 색인어 가중치 결정을 위하여 문서의 내용뿐 아니라 구조를 이용하여 색인을 추출하는 연구가 이루어지고 있는데, 대부분의 연구들이 XML 태그의 중요도가 아닌, 문맥상의 단락에 대한 중요도를 계산하는게 일반적이다. 이러한 기존 연구들은 대부분이 객관적인 실험을 통해서 중요도를 입증하기보다는 상식적인 관점에서 단순한 수치로 중요도를 결정하고 있다. 본 논문에서는 웹 문서 관리를 위한 표준으로 자리잡아가고 있는 XML 문서의 태그 정보를 이용한 자동색인을 위하여, 논문을 구성하는 주요 태그를 중요도에 따라 분류하고, 낮은 태그에서 추출된 용어 가중치를 계산하고, 그 가중치로 높은 가중치의 태그에서 추출된 용어의 가중치를 갱신해 가면서 최종 가중치를 계산하는 방법을 제안한다. 보다 객관적인 가중치 결정을 위하여 사용자가 중요하게 생각하는 태그를 실험해 보고 그에 따라 중요도를 분류하여 가중치 계산에 반영한다. 그리고 기존 태그 중요도 결정 방법을 적용하여 계산된 색인어 가중치를 이용한 검색성능과 비교함으로써 본 논문에서 제안한 방법을 적용하여 계산된 색인어 가중치의 효과를 검증한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04b
• /
• pp.613-615
• /
• 2002

최근 디지털 이미지 사용이 급속도로 증가함에 있어 자동적인 이미지 데이터 색인과 검색에 관한 연구가 증가하고 있는 추세이나 특정한 분야에 속하지 않은 일반 이미지를 대상으로 하는 연구는 아직까지 만족스럽지 못한 실정이다. 내용기반 이미지 검색은 대량의 일반 이미지 집합에서 사용자가 원하는 이미지를 효율적으로 찾아내는 시스템이며 이에 본 논문에서는 이미지의 색상과 형태의 특징 정보들을 추출하여 자동으로 색인하고 검색하는 새로운 시스템을 제안하였다. 특징 추출은 인간의 이미지 인식 과정에 기반하여 전체적인 정보와 세부적인 정보로 구분하여 수행하는 새로운 기법을 사용하였고 추출된 특징 정보들은 전역 칼라, 부분 영역 칼라, 전역 형태, 부분 영역 형태 정보로 구분되어 데이터베이스에 저장하였으며 유사도 검색 시에는 사용자가 검색 목적에 알맞은 가중치를 적용하여 이미지를 검색하도록 하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.122-124
• /
• 2000

이 논문에서는 보다 효과적이고 편리한 서비스를 제공할 수 잇는 전자상거래를 위한 다중 에이전트 기반의 확장된 비교 쇼핑 시스템을 제안한다. 이 시스템은 웹 크로울링(web crawling)을 통해 비교 쇼핑 시스템의 대상이 되는 웹사이트들의 페이지 추출 정보를 입수한다. 각 쇼핑 사이트에서는 정보 추출을 위한 중심이 되는 랩퍼(wraper) 기술은 먼저 정보가 있는 페이지를 가려내고, 정보가 있다고 판명되는 페이지들에서 상품 정보의 위치 즉, 반복되는 패턴(pattern)을 추출하여 필요한 상품 기술 단위 정보를 뽑아내는 학습 알고리즘이며, 각 사이트에 맞게 만들어진 랩퍼 에이전트(wrapper agent)에 대해 유효성을 검사하는 방법론을 제시한다. 또한, 학습 시 필요한 지식(knowledge)으로서의 디렉토리(directory) 구성은 미리 만들어진 표준 카테고리(category)와 용어(terminology) 존재하에 제한적이나마 새로운 디렉토리 요소에 대해 자동으로 확장할 수 있는 방법론을 제안한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.280-283
• /
• 2020

논문 초록은 논문의 내용을 요약해 제시함으로써 독자들의 연구결과물에 대한 빠른 검색과 이해를 도모한다. 초록의 구성은 대부분 전형적인 경우가 많기 때문에, 초록의 구조를 자동 분석하여 색인해두면 유사구조 초록을 검색하거나 생성하는 등의 연구효율화에 기여할 수 있다. 허세훈 외 (2019)는 초록 자동구조화를 위한 말뭉치 SPA2019 및 기계학습기반의 자동구조화 방법을 제시하였다. 본 연구는, 기존 SPA2019 의 구조화 오류를 바로잡고, SPA2019 에서 추출한 1,346 개의 초록데이터와 2,385 개의 초록데이터를 추가한 SPA2020 말뭉치를 새로이 소개한다. 또한, 다양한 선학습 기반 트랜스포머들을 활용하여 초록 자동구조화를 수행하였으며, 그 결과 BERT-0.86%, RoBERTa-0.86%, ALBERT-0.84%, XLNet-0.86%, DistilBERT-0.85% 등의 자동구조화 성능을 보임을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.154-156
• /
• 1999

문서 분류는 미리 정의된 두 개 또는 그 이상의 클래스에 새로 생성되는 객체들을 할당하는 방법이다. 문서의 자동 분류에 대한 연구는 오래 전부터 연구되어 왔지만 한국어에 대한 적용 및 연구는 다른 분야에 비해 아직까지 활발히 이루어지지 않고 있다. 본 논문에서는 문서를 자동으로 분류하기 위해 문서의 주제어에 가중치를 부여하고, 부족한 문서의 특징을 보충하기 위하여 말뭉치로부터 주제어들과의 상호정보에 의해 추출된 단어를 사용하여 문서를 표현한 후, 가중치를 부여한 문서의 주제어에 베이지안 분류자를 사용하여 문서분류를 수행한다. 실험은 한국어 정보검색 실험용 데이터 집합인 KTset95 문서 4,414개 중 1,300개의 문서를 학습 집합으로, 1,000개의 문서를 분류에 대한 검증 집합으로 사용하였다. 실험 결과, 순수 베이지안 확률을 사용한 기존의 방법보다 실험 집합과 검증 집합에서 각각 1.92%, 4.3% 향상된 분류 정확도를 얻었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.377-379
• /
• 2003

본 논문은 문서검 색을 위한 온톨러지(Ontology)의 반자동 구축방안을 제시한다. 이를 위하여 우리는 다른 단어들과 특히 많은 관련이 있는 단어를 허브 단어(hub word)라고 정의하며 경제분야에 특정적인 온톨러지의 구축을 위하여 TREC 문서집합의 Wall Street Journal 문서들을 분석하였다. 문서집합 내의 모든 단어들의 tf, idf 값를 이용하여 허브 단어를 결정짓고 이렇게 선택된 허브 단어들을 중심으로 온톨러지를 구축하였다. 우리는 허브 단어와 다른 단어들간의 관계를 문서로부터 자동으로 추출하고 그 정보를 이용하여 온톨러지를 확장해나간다. 제안된 온톨러지는 전통적인 문서 검색의 인덱스 파일과 같은 역할을 하게 되며, 간단한 역파일(inverted file) 구조보다 더 많은 의미정보(semantic information)를 제공할 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.355-357
• /
• 2001

사건, 사고 관련 기사의 요약은 단순히 원문이 무엇을 말하는 가를 지시하는 것보다 가능한 요지를 판독하면서 필요한 정보를 누락시키지 않고 표현할 수 있는 것이 바람직하다. 이를 위하여 본 논문에서는 사건, 사고 관련 기사의 자동 요약문 생성을 위한 중간 개념 표현 방법을 제안한다. 단락 자동 구분을 통한 중요 문장 추출을 거쳐 각 단락의 중심문장을 파악하고, 단락내의 정보들을 의미 파악된 중심 문장에 추가, 병합하여 단락의 내용을 대표하는 Paragraph Representation Structure(PRS)를 생성한다. 이들은 통합과정을 거쳐 하나의 Unified Representation Structure(URS)로 만들어지며, 이것은 중간 개념 표현으로 다국어 자동 요약문 생성을 위한 기반이 될 수 있다. 본 연구에 이용한 코퍼스는 비행기, 선박, 차량, 열차 사고와 화제 폭발 및 사건 관련 신문 기사를 대상으로 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.321-323
• /
• 2000

국어 사전은 자연 언어 처리에서 필요로 하는 많은 정보를 구조적으로 포함하고 있으므로, 사전으로부터 다양한 언어 지식을 자동으로 획득할 수 있는 방법이 필요하다. 본 연구는 이러한 자동 지식 획득을 위한 기본적인 도구로서 국어 사전의 뜻풀이말 파서를 구현하는 것을 목적으로 한다. 이를 위해서 우선 국어 사전의 뜻풀이말을 대상으로 일정한 수준의 구문 부착 말뭉치를 구축하고, 이 말뭉치로부터 통계적인 방법에 기반하여 문법 규칙과 확률을 자동으로 추출한다. 본 연구는 이를 응용한 확률적 차트 파서를 구현하는 것이다. 그 결과 고려대 태거보다 11.61%의 정확률 향상을 보였는데, 이로써 구문 구조 정보가 품사 태깅에도 유용함을 알 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10a
• /
• pp.109-111
• /
• 2003

본 논문에서는 질의응답 시스템에서 질의에 포함된 언어 정보와 검색 대상 문장 사이의 의미 연관성을 참조하여 정확한 결과를 추출 가능하도록 하는 온톨로지의 자동 구축 방법을 제시한다. 검색 대상 문장은 웹에서의 활용과 표준화를 위하여 단어 태그, 품사 정보 및 파싱 구조를 갖는 XML 문서로 변환하고, 이 구조를 이용한 연관성 분석을 위해 의미망을 갖는 온톨로지를 자동으로 생성할 수 있도록 하였다. 온톨로지에서 의미 연관성을 결정하는데 중요하게 활용되는 개념으로써는 동사의 행위, 명사절 그룹 매치, 복합명사 선별, 고유명사 매치, 품사 태깅 등이 있다. 제안한 방법의 성능은 NIST TREC-10의 질의 응답문을 사용해서 단어 패턴 매치 방법과 비교 분석하였으며, 본 논문에서 제안한 방식이 재현율과 정확율 측면에서 우수한 성능을 나타냄을 입증하였다.