• 제목/요약/키워드: 한글문서

검색결과 625건 처리시간 0.019초

ISO 14651에 의한 한글 ordering의 문제점과 그 해결 방안 (Some Problems on the Ordering of Hangout by ISO 14651 and a Proposal for their Resolutions)

  • 김종휘;김경석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
    • /
    • pp.187-189
    • /
    • 2001
  • 문자열 간추리기(string ordering)에 관한 국제 표준인 ISO 14651의 내용 중 공통틀표(CTT)의 한글 관련 규정은, 첫 가끝 조합형과 완성형 어느 쪽으로도 부호화가 가능한 한글 문서의 특성을 무시하여 이들을 분리하여 기술함으로써 두 부호값 체계에 대한 상호 연관성과 통일성을 잃고 있다. 또한 ordering에 필수적인 UCS 완성형 글자마디의 무게값(weight)을 할당하지 않음으로써 형식적 완결성과 내용적 명료성을 잃고 있다. 이에 따라 본 논문은 CTT의 규정을 한글 문서의 부호화 방법에 따라 유형별로 검토하여 그 문제점을 지적하고, 이와 관련하여 어떤 한글 문서이든 이를 일관성 있게 ordering할 수 있도록 하는 \"CTT 한글 부분의 개정 방안\"을 제안함으로써 한글 ordering과 관련된 현 CTT 상의 여러 문제점들을 해결하고자 하였다.해결하고자 하였다.

  • PDF

한글 말뭉치를 이용한 한글 표절 탐색 모델 개발 (Developing of Text Plagiarism Detection Model using Korean Corpus Data)

  • 류창건;김형준;조환규
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권2호
    • /
    • pp.231-235
    • /
    • 2008
  • 최근 들어 각종 창작물에 대한 표절 사건이 빈번하게 발생하고 있다. 특히 문서들 간의 표절은 현재 많은 이슈가 되고 있다. 영어에 관한 표절연구는 서양에서 오래전부터 이뤄져 왔지만 한글은 구조적인 어려움으로 인해 아직 많은 연구가 이뤄지지 않고 있다. 한글은 영어와 구조적인 특징이 많이 다르기 때문에 영어기반의 탐색 기법을 한글 문서에 적용하기는 어렵다. 본 논문에서는 한글의 특성에 맞는 새로운 표절 탐색 기법을 소개하고 한글 말뭉치를 이용하여 그 성능을 실험해본다. 제안된 기법은 "k-mer"와 "지역정렬" 방법을 기반으로, 문서들 간의 표절구간을 매우 빠르고 정확하게 찾아낸다. 또한 우리는 천만어절 이상의 크기를 가진 한글 말뭉치를 이용하여 표절이 일어나지 않은 일반적인 문서에서 우연히 나타나게 될 유사 확률에 관한 모형을 만들었다. 시스템을 이용하여 성능을 측정해 본 결과, 표절 문서를 매우 정확하게 찾는 것을 알 수 있었다.

SGML 한글문서의 논리적 구조에 근거한 색인기법에 관한 연구 (A Study of Automatic Indexing Technique based on Logical Structure of SGML Hangul Document)

  • 유석종
    • 정보관리학회지
    • /
    • 제12권2호
    • /
    • pp.85-101
    • /
    • 1995
  • 기존 색인 시스템은 전자문서에 대하여 전문색인 (full-text indexing) 방법만을 지원하며, 문서의 논리적 구조를 검색 방법으로 적절하게 활용하지 못하고 있다. 대부분의 전자문서는 특정 시스템에 의존적인 형식으로 되어 있으며, 문서의 물리적 형태만을 나타내고 논리적 구조에 대한 정보는 포함하고 있지 않다. 이에 반해 1986년에 ISO에서 문서교환에 대한 표준방식으로 제정한 SGML (Standard Generalized Markup Language)은 문서의 논리적 구조에 대한 정보를 포함하고 있다. 본 논문에서는 기존의 전문색인 시스템의 단점을 보완하고 표준문서형식을 사용하기 위해 SGML 문서에서의 색인 시스템을 설계 구현하고자 한다. 기존 색인 시스템에서는 문서 전체에 대하여 색인이 이루어지는데 비하여 본 시스템에서는 SGML 문서의 구성요소인 엘리먼트에 기반하여 색인 영역을 지정할 수 있게 하엿다. 따라서 문서의 논리적 구조를 반영한 다양한 검색기법에 응용될 수 있다. 또한 본 시스템에서는 SGML 한글문서에 대하여 자동색인이 가능하다.

  • PDF

한글 구조특성과 지역정렬 알고리즘을 사용한 표절 판정 시스템의 개발 (Plagiarised Reports Detection System using Characteristcs of Korean Language and Local alignment Algorithm)

  • 전명재;박상돈;박웅;허진영;조환규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.727-729
    • /
    • 2004
  • 최근 논문의 표절 및 저작권과 관련하여 여러 가지 사건들이 일어나 많은 관심과 우려를 불러일으키고 있다. 특히 인터넷 통신의 발달 및 워드프로세서의 기능 향상으로 인해 일선 교육현장에서의 표절에 간한 문제는 더욱 커지고 있다. 하지만 문서의 표절 여부를 가려내는 작업은 쉬운 일이 아니다. 과제로 제출되는 일반 문서의 경우 본문의 내용이나 문서의 개수를 고려해 볼 때 사람이 직접 표절 여부를 검사하는 것은 매우 힘든 작업이다. 그리고 어간, 어미의 변형이 쉽게 일어날 수 있는 한글의 경우에는 영어에서처럼 어절 단위로 두 문서를 비교하여 표절여부를 판정하는 기존의 방법은 적합하지가 않다 본 논문에서는 한글로 작성된 텍스트 문서의 표절 여부를 효과적으로 검출해 내기 위한 새로운 방법들을 제시하고 있다. 그리고 실제로 수집된 다양한 문서 데이터 집합들에 대해 각각의 방법들을 테스트해 보고 실제 데이터에서 가장 효율적인 방범이 어떤 깃인지 제시한다

  • PDF

한글 문서의 단어 동시 출현 정보에 개선된 TextRank를 적용한 키워드 자동 추출 기법 (Keyword Automatic Extraction Scheme with Enhanced TextRank using Word Co-Occurrence in Korean Document)

  • 송광호;민지홍;김유성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.62-66
    • /
    • 2016
  • 문서의 의미 기반 처리를 위해서 문서의 내용을 대표하는 키워드를 추출하는 것은 정확성과 효율성 측면에서 매우 중요한 과정이다. 그러나 단일문서로부터 키워드를 추출해 내는 기존의 연구들은 정확도가 낮거나 한정된 분야에 대해서만 검증을 수행하여 결과를 신뢰하기 어려운 문제가 있었다. 따라서 본 연구에서는 정확하면서도 다양한 분야의 텍스트에 적용 가능한 키워드 추출 방법을 제시하고자 단어의 동시출현정보와 그래프 모델을 바탕으로 TextRank 알고리즘을 변형한 새로운 형태의 알고리즘을 동시에 적용하는 키워드 추출 기법을 제안하였다. 제안한 기법을 활용하여 성능평가를 진행한 결과 기존의 연구들보다 향상된 정확도를 얻을 수 있음을 확인하였다.

  • PDF

요약화일 기법을 이용한 한글 문서 검색 시스템의 설계 (Design of Hangul Document Retrieval System Using Signature File Methods)

  • 이정기;김철완;장재우
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1993년도 제5회 한글 및 한국어정보처리 학술대회
    • /
    • pp.47-57
    • /
    • 1993
  • 현재 국내에서 한국형 정보 검색 시스템의 중요성을 인식하고, 이를 국내 기술로 구축하려는 여러 시도들이 진행중에 있다. 이 가운데 정보 검색 시스템 구축에 기반이 되는 정보 저장 하부 구조로서, 한글 문서를 위한 효율적인 문서 검색 기법에 대한 연구는 필수적이다. 본 논문에서는 이를 위해 파일 기법을 이용한 한글 문서 검색 기법을 설계한다. 아울러, 제안된 기법을 토대로 실제 시스템을 구현하여 성능을 분석하였다.

  • PDF

정보검색 기법을 이용한 부분 문서 재사용 고속 탐색 (High Speed Local Text Reuse Detection using IR Approach)

  • 배원식;조명래;차정원
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2008년도 제20회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.63-68
    • /
    • 2008
  • 인터넷의 발달로 지식의 재사용이 폭발적으로 증가하였다. 이는 지식의 확산이라는 측면에서는 바람직하지만 지식의 도용이라는 문제점을 안고 있다. 따라서 문서의 전부나 일부분을 재사용한 것인지를 판단하고자하는 요구가 증가하고 있다. 본 논문에서는 정보검색 기술을 이용하여 문서에서 부분 문서 재사용 및 표절을 탐색하는 방법을 제안한다. 본 논문에서는 대용량 문서의 고속 탐색을 위해서 원본 문서와 대상 문서를 색인하여 검색에 이용한다. 또한 한글의 언어적 특성을 맞게 어순 변경 비교, 기능어 생략 비교, 갭(gap) 비교 등의 다양한 처리 조건을 제공하여 문서 재사용을 탐색할 수 있다. 실험을 통해서 기존의 시스템보다 정확하게 고속으로 문서 재사용 탐색이 가능함을 보였다. 특히 비교 문서가 증가하더라도 비교 시간이 급격하게 증가하지 않으며, 정보검색 기법을 사용하는 경우 취약하다고 알려져 있는 부분 문서 재사용 탐색에도 견고하며, 처리 조건에 따라 유연하게 문서 재사용 탐색이 가능하다.

  • PDF

조응구조의 지시사상 (mapping) 이론

  • 박영규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1990년도 제2회 한글 및 한국어정보처리 학술대회
    • /
    • pp.199-199
    • /
    • 1990
  • 입력된 문서 영상으로부터 분리 추출된 문자 영상을 올바르게 인식하는 것은 문서 인식에서 가장 핵심적인 부분이다. 스캐너를 통해 입력되고 분리된 실제의 문자 영상은 많은 문제점들을 가지고 있다. 한글의 경우 이 중 개별 문자 영상내의 각 자소간의 접촉은 올바른 인식을 저해하는 주요한 원인이다. 이런 접촉의 문제를 효율적으로 해결하기 위해 한글의 구조적 특성을 지닌 "방향 필터"를 정의하고, 이것을 이용하여 세선화된 문자 영상을 추적하면서 선소들을 뽑아낸다. 이렇게 하여 얻은 선소들과 선소들간의 지식을 조합하여 한글자소 획을 추출케 되고 결국에는 이런 획의 조합을 통해 문자 영상을 인식하는 방법을 제안한다.

  • PDF

다국어를 지원하는 XML 문서 검색 시스템: HyREX (HyREX: Universal XML Retrieval Engine for XML)

  • 한예지;채종대;김수희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.1713-1716
    • /
    • 2002
  • HyREX는 연구용 프로토타입 XML 하이퍼미디어 문서 검색시스템으로 다국어를 지원하고 있다. HyREX는 검색을 위한 효율적인 접근 경로들을 처리하는 물리적 계층 HyPath와 질의어를 처리하는 논리적 계층 XIRQL 그리고 사용자 인터페이스인 HyGate 계층으로 이루어져 있다. 이 연구에서는 영어와 독일어 등의 검색을 지원하는 기존의 HyREX 시스템을 한글 XML 문서 검색시스템으로 확장하기 위해 먼저 한글 데이터타입을 위한 클래스를 구현하였다. 앞으로 한글 XML 문서 검색에서 정확율과 재현율을 향상하기 위해 각 문서의 인덱스에 대해 $tf{\cdot}idf$ 공식을 이용하여 가중치를 부여하고 이를 개발하고자 한다.

  • PDF

단어의 의미와 순서를 고려하는 문서색인방법을 이용한 CNN 기반 한글문서분류 (Classification of Korean Documents Based on CNN Using Document Indexing Method based on Word Meaning and Order)

  • 김남훈;양형정
    • 한국컴퓨터교육학회 학술대회
    • /
    • 한국컴퓨터교육학회 2017년도 하계학술대회
    • /
    • pp.41-45
    • /
    • 2017
  • 본 논문에서는 컨볼루션 신경망 네트워크(CNN:Convolution Neural Network)을 기반으로 단어의 의미와 순서를 고려하는 문서 색인 방법을 이용하여 한글 문서 분류 방법을 제안한다. 먼저 문서를 형태소 분석하여 어절 단위로 분리 한 후, 불용어를 처리 하고, 문서의 단어 의미를 고려하는 문서 표현하고, 문서의 단어 순서까지 고려하여 CNN의 입력으로 사용하였다. 실험결과 CNN 분류기를 기반으로 본 논문에서 제안하는 문서 색인 방법은 TF-IDF를 이용하는 방법보다 4.2%, Word2vec만 단독으로 사용하는 것보다 1.4%의 성능 상승을 이루었다. 이러한 결과를 통해 본 논문에서 제안하는 방법이 문서범주화 데이터 셋에서 문서 분류 성능향상에 영향을 미친다는 것을 확인하였다.

  • PDF