DOI QR코드

DOI QR Code

Document Summarization Using Mutual Recommendation with LSA and Sense Analysis

LSA를 이용한 문장 상호 추천과 문장 성향 분석을 통한 문서 요약

  • 이동욱 (성균관대학교 컴퓨터공학과) ;
  • 백서현 (성균관대학교 컴퓨터공학과) ;
  • 박민지 (경희대학교 컴퓨터공학과) ;
  • 박진희 (성균관대학교 컴퓨터공학과) ;
  • 정혜욱 (성균관대학교 컴퓨터공학과) ;
  • 이지형 (성균관대학교 컴퓨터공학과)
  • Received : 2012.04.20
  • Accepted : 2012.09.30
  • Published : 2012.10.25

Abstract

In this paper, we describe a new summarizing method based on a graph-based and a sense-based analysis. In the graph-based analysis, we convert sentences in a document into word vectors and calculate the similarity between each sentence using LSA. We reflect this similarity of sentences and the rarity scores of words in sentences to define weights of edges in the graph. Meanwhile, in the sense-based analysis, in order to determine the sense of words, subjectivity or objectivity, we built a database which is extended from the golden standards using Wordnet. We calculate the subjectivity of sentences from the sense of words, and select more subjective sentences. Lastly, we combine the results of these two methods. We evaluate the performance of the proposed method using classification games, which are usually used to measure the performances of summarization methods. We compare our method with the MS-Word auto-summarization, and verify the effectiveness of ours.

본 논문에서는 그래프기반 문장랭킹 방식인 문장 상호 추천과 문장의 주관, 객관 성향을 이용하는 문장 성향 분석을 혼합한 새로운 요약문 추출 방법에 대해서 기술한다. 문장 상호 추천에서는 문장을 단어벡터로 변환한 후에 LSA를 이용하여 문장과 문장 사이의 유사도 점수를 계산하였다. 이렇게 얻어진 유사도와 각 단어의 희귀도(Rarity Score)를 기반으로 문장과 문장 사이의 연결 강도를 정의하여, 그래프 기반 문장 랭킹 방식을 적용 하였다. 한편, 문장성향 분석에서는 주관, 객관 성향을 결정하기 위해서 기존의 Golden Standard 단어 성향 분류를 기반으로 워드넷을 확장하여 데이터베이스를 구축하였다. 이를 통해 각 단어들의 성향을 판단하고 단어들의 평균 성향을 문장의 전체 성향에 반영하여, 주관적 성향을 띄는 문장들을 선택하였다. 최종적으로 문장 상호 추천 결과와 문장 성향 분석 결과를 혼합하여 주어진 문서로부터 요약문을 추출하였다. 요약문 추출 기능의 객관적인 성능 평가를 위하여 추출된 요약문 토대로 한 분류게임을 실시하였고, 그 결과를 MS-Word에 포함된 문서 요약 기능과 비교함으로써, 제안한 모델의 효과성을 확인하였다.

Keywords

References

  1. R. Mihalcea, "Graph-based Ranking Algorithms for Sentence Extraction, Applied to Text Summarization," In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics, 2004.
  2. Jade Goldsteiny, Summarizing Text Documents: Sentence Selection and Evaluation Metrics, Language Technologies Institute Carnegie Mellon University, 1999.
  3. Scott Deerwester, "Indexing by Latent Semantic Analysis," Journal of the American Society for Information Science, 1990.
  4. G. A. Miller, "WordNet: An online lexical database," Int. J . Lexicograph, 1990.
  5. Word frequency list based on Project Gutenberg available at : http://en.wiktionary.org/wiki/Wiktionary:Frequency_lists, 2012.
  6. F. Su, K. Markert, From Words to Senses: A case Study of Subjectivity Recognition, School of Computing University of Leeds, 2008.
  7. 김영택 외, 자연언어처리, 생능출판사, 2003.

Cited by

  1. A Study on Plagiarism Detection and Document Classification Using Association Analysis vol.23, pp.3, 2014, https://doi.org/10.5859/KAIS.2014.23.3.127