• 제목/요약/키워드: 어절 유사도

검색결과 42건 처리시간 0.037초

한국어 텍스트 내 용어연관성 분석을 위한 기초 연구 (Preliminary Study on the Analysis of Term Associations in Korean Text)

  • 정영미;이재윤
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 1998년도 제5회 학술대회 논문집
    • /
    • pp.243-246
    • /
    • 1998
  • 텍스트 자동분석을 통해 얻어진 통계적인 용어연관성은 정보검색 및 언어 처리와 관련된 여러 분야에서 폭넓게 이용되고 있다. 용어연관성을 구하기 위한 연관계수는 여러 가지가 있지만 적용분야에 관계없이 유사계수 공식이나 상호정보량 공식이 주류를 차지하고 있다. 이런 공식들은 그 통계적 특성이 서로 다르기 때문에 알맞은 적용분야를 파악할 필요가 있다. 이 연구에서는 필요 연관계수 공식의 특성을 이론적으로 파악하였고, 실험으로 검증하기 위하여 240만 어절 분량의 실험용 한국어 신문기사 데이터베이스를 구축하였다.

  • PDF

한국어 어순재배치(scrambling) 문장의 신경언어학적 연구 (A Neurolinguistic Study of Korean Scrambling: An Event-related Potentials(EPR) based Study)

  • 황유미;이갑희;윤영도
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.29-34
    • /
    • 2012
  • 본 연구는 한국어 어순재배치(scrambling) 문장의 이해 과정에서 발생되는 대뇌 활동을 사건관련전위(event-related Potentials; ERPs) 이용하여 살펴보기 위하여 실시되었다. 네 개의 어절로 구성된 표준 어순 문장(일년만에 마님이 영감을 만났어요.)과 어순재배치 문장(일년만에 영감을 마님이 만났어요.)을 어절별로 제시하고 첫 번째 명사구(NP1), 두 번째 명사구(NP2), 동사(Verb)의 시작점(onset)에서 측정한 뇌파를 비교하였다. 뇌파의 분석은 대뇌 영역을 중심선(midline), 중앙(medial), 편측(lateral)로 나누어 전후 분포(anterior-posterior distribution)와 정중선(midline)의 열에 의해 좌우 반구(hemisphere)로 분리하여 분석하였다. 분석 결과 중심선 영역에서 표준 어순에 비해 뒤섞기 어순에서 300-500ms 시간 창(time window)에서 큰 부적 전위(negative potential)가 관찰되었으며 이는 어순재배치로 인한 N400효과로 해석되며 P600효과는 관찰되지 않았다. 특히 첫 번째 명사구에서 문장유형(표준 어순 vs. 어순재배치)의 차이가 가장 크게 관찰되었으며 두 번째 명사구에서는 중앙에서 문장유형과 반구(좌우반구)의 상호작용이 관찰되었고, 동사에서는 문장유형과 반구, 문장유형과 전극 위치의 전후 분포와의 상호작용이 관찰되었다. 본 연구 결과에서 관찰된 N400효과는 독일어와 일본어를 대상으로 한 어순재배치 연구 결과와 유사하며 한국어 어순재배치 문장에 관한 사건관련 전위를 고찰하였다는 점에서 의의가 있다.

  • PDF

텍스트 기준점 기반의 저작권 침해 판단 시스템 구현 (System Implement to Identify Copyright Infringement Based on the Text Reference Point)

  • 최경웅;박순철;양승원
    • 한국인터넷방송통신학회논문지
    • /
    • 제15권1호
    • /
    • pp.77-84
    • /
    • 2015
  • 기존 문서 저작물의 저작권 침해 판단 방법은 문서를 처음부터 끝까지 문장 단위로 자른 후, 문장 안에서 6어절 단위로 이동하면서 색인키를 생성하여 비교한다. 그러나 이 방법은 문서의 크기가 클 때 색인키가 대량으로 생산되어 표절 검사의 시간이 길어지는 단점이 있다. 이러한 단점을 제거하기 위하여, 본 논문에서 제안하는 방법은 일정한 크기의 윈도우를 문자 단위로 이동하면서 각 윈도우 내에 있는 가장 큰 어절을 선택하여 특징블록을 색인키로 정하는 것이다. 이 방법은 윈도우를 이동하는 과정에서 중복된 특징 블록을 제거하여 색인키의 수를 획기적으로 줄일 수 있다. 이를 적용한 시스템은, 상대적으로 적게 추출된 특징블록간 유사도를 비교함으로써, 두 문서 저작물사이에서 표절된 저작물의 침해 위치를 정확하고 빠르게 검색할 수 있다.

외국인 학습자를 위한 문맥 기반 실시간 국어 문장 교정 (Context Based Real-time Korean Writing Correction for Foreigners)

  • 박영근;김재민;이성동;이현아
    • 정보과학회 논문지
    • /
    • 제44권10호
    • /
    • pp.1087-1093
    • /
    • 2017
  • 외국인 유학생과 국내 체류 외국인 등 한국어를 학습하고자 하는 외국인이 지속적으로 증가함에 따라 외국인 한국어 학습자의 교육에 대한 관심이 높아지고 있다. 기존 맞춤법 검사기는 한국인의 사용에 중점을 두고 있어 외국인 한국어 학습자가 사용하기에는 다소 부적절하다. 본 논문에서는 한국어의 문맥 특성과 외국인의 작문 특성을 반영한 한국어 교정 방식을 제안한다. 제안하는 방식에서는 국어 문서에서 자주 사용되는 표현을 추천 교정으로 제시하기 위해 말뭉치를 활용한다. 말뭉치에서 추출된 어절 바이그램에 대한 음절 역색인을 사용하여 입력된 작문에 대한 교정 후보 집합을 얻고, 외국인의 작문 특성을 반영하는 편집거리 계산 방법을 사용하여 순위화된 추천 교정을 제시한다. 구현된 시스템에서는 사용성 향상을 위해 키보드 후킹에 기반한 사용자인터페이스를 제공하여 다른 응용프로그램에서의 입력과 동시에 문장 교정 결과를 얻을 수 있다. 외국인의 작문 환경에 대한 평가에서는 타 시스템에 비해 검출률을 약 45% 향상시켜, 제안된 시스템을 사용하는 경우 외국인 사용자가 스스로 작문 오류를 판단하고 수정할 수 있어 한국어 학습에 많은 도움이 될 것으로 기대된다.

집합 기반 POI 검색을 이용한 문장 유사도 측정 기법 (Sentence Similarity Measurement Method Using a Set-based POI Data Search)

  • 고은별;이종우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제20권12호
    • /
    • pp.711-716
    • /
    • 2014
  • 최근 논문 표절 논란과 지능형 텍스트 검색서비스에 대한 관심이 증가하면서 문장 유사도 측정의 필요성이 증가하고 있다. n-gram, 편집거리, LSA 등 기존의 다양한 방향으로 선행 연구가 있었지만 각 기법마다 장단점이 존재한다. 본 논문에서는 집합 기반 POI 검색 기법을 이용한 새로운 방향의 문장 유사도 측정 기법을 제안한다. 집합 기반 POI 검색 기법은 하드매칭에 비해 단어의 도치, 누락, 삽입, 변경에 현저한 성능 향상을 보인다. 이 기법을 이용하면 보다 정확하고 빠른 문장 유사도 측정이 가능하다. 제안하는 기법은 기존 집합 기반 POI 검색 기법의 데이터 로딩 알고리즘과 텍스트 검색 알고리즘을 변형하고 어절 연산 알고리즘을 추가하여 두 문장의 유사도를 백분율로 표현한다. 실험을 통해 본 논문에서 제시하는 기법이 정확도와 속도에서 n-gram과 기존 집합 기반 POI 검색 기법에 비해 우수함을 확인하였다.

단어 임베딩을 이용한 단위성 의존명사 분별 (Disambiguation of Counting Unit Noun using Word Embedding)

  • 이주상;옥철영
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.246-248
    • /
    • 2016
  • 단위성 의존명사는 수나 분량 따위를 나타내는 의존명사로 혼자 사용할 수 없으며 수사나 수관형사와 함께 사용하는 의존명사이다. 단위성 의존명사가 2가지 이상인 동형이의어의 경우 기존의 인접 어절을 이용한 동형이의어 분별 모델에서는 동형이의어 분별에 어려움이 있다. 본 논문에서는 단위성 의존명사 분별을 위해 단어 임베딩을 사용했으며 총 115,767개의 단어를 벡터로 표현하였으며 분별할 의존명사 주변에 등장한 명사들과의 유사도를 계산하여 단위성 의존명사를 분별하였다. 단어 임베딩을 이용한 단위성 의존명사 분별이 효과가 있음을 보았다.

  • PDF

단어 임베딩을 이용한 단위성 의존명사 분별 (Disambiguation of Counting Unit Noun using Word Embedding)

  • 이주상;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.246-248
    • /
    • 2016
  • 단위성 의존명사는 수나 분량 따위를 나타내는 의존명사로 혼자 사용할 수 없으며 수사나 수관형사와 함께 사용하는 의존명사이다. 단위성 의존명사가 2가지 이상인 동형이의어의 경우 기존의 인접 어절을 이용한 동형이의어 분별 모델에서는 동형이의어 분별에 어려움이 있다. 본 논문에서는 단위성 의존명사 분별을 위해 단어 임베딩을 사용했으며 총 115,767개의 단어를 벡터로 표현하였으며 분별할 의존명사 주변에 등장한 명사들과의 유사도를 계산하여 단위성 의존명사를 분별하였다. 단어 임베딩을 이용한 단위성 의존명사 분별이 효과가 있음을 보았다.

  • PDF

음성인식 후처리에서 음소 유사율을 이용한 오류보정에 관한 연구 (A Study on Error Correction Using Phoneme Similarity in Post-Processing of Speech Recognition)

  • 한동조;최기호
    • 한국ITS학회 논문지
    • /
    • 제6권3호
    • /
    • pp.77-86
    • /
    • 2007
  • 최근 텔레매틱스 단말기 등과 같이 음성인식을 인터페이스로 하는 음성기반 검색시스템들이 많이 개발되고 있다. 그러나 음성인식에는 여전히 많은 오류가 존재하며, 이에 오류보정에 대한 여러 가지 연구가 진행되고 있다. 본 논문에서는 한국어의 음소가 갖는 특징을 기반으로 음성인식 후처리에서의 오류보정을 제안하였다. 이를 위해 한국어 음소의 특징을 고려한 음소 유사율을 사용하였다. 음소 유사율은 훈련데이터를 모노폰으로 훈련시켜 한국어 음소 각각에 대하여 MFCC와 LPC 특징추출방법을 사용하여 특징추출을 수행하고, 바타차랴 거리 측정법을 사용하여 각 음소 사이의 유사율을 구하였다. 음소 유사율과 신뢰도를 이용하여 오류보정률을 구하였으며, 이를 사용하여 음성인식 과정에서 오류로 판명된 어절에 대하여 오류보정을 수행하고, 음절 복원과 형태소 분석을 재수행하는 과정을 거쳤다. 실험 결과 MFCC와 LPC 각각 7.5%와 5.3%의 인식 향상률을 보였다.

  • PDF

조건부 랜덤 필드를 이용한 특허 문서의 개체명 인식 (Named Entity Recognition for Patent Documents Based on Conditional Random Fields)

  • 이태석;신수미;강승식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권9호
    • /
    • pp.419-424
    • /
    • 2016
  • 특허 정보검색에서는 검색 정확도를 높이거나 유사 특허들을 검색하기 위한 목적으로 청구항 등 특허 기술 문서의 내용을 대표하는 개체명 인식이 필요하다. 본 연구에서는 특허 개체명을 자동으로 인식하기 위하여 기계 학습 기법에서 태깅 문제 해결에 매우 우수한 성능을 보이는 조건부 랜덤 필드 기법을 이용하는 특허 개체명 인식 방법을 제안하였다. 개체명 태깅이 되어 있는 특허 문서 말뭉치에서 66만 어절을 학습용 데이터로 사용하여 특허 개체명 시스템을 구축하고, 7만 어절을 평가용 데이터로 사용하여 성능 평가를 하였다. 실험 결과에 의하면 개체명 인식 정확도는 93.6%이고, 개체명 인식 성능을 수작업 태깅 결과와 비교하여 일치도를 평가했을 때 카파 계수는 0.67로 나타났다. 이 카파 계수값은 두 사람의 수작업 태깅 결과에 대한 카파 계수 0.6 보다 높은 것으로 특허 개체명 인식 시스템이 수작업 태깅을 대신하여 실용적으로 활용될 수 있음을 확인하였다.

TTS 시스템을 위한 휴지기간 모델링 (The Modeling of Pause Duration For Text-To-Speech Synthesis System)

  • 정지혜;이양희
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 2000년도 하계학술발표대회 논문집 제19권 1호
    • /
    • pp.83-86
    • /
    • 2000
  • 본 논문에서는 비정형 단위를 사용한 음성 합성 시스템의 합성음에 대한 자연성을 향상시키기 위한 휴지 구간 추출 및 휴지 지속시간 예측 모델을 제안한다. 제안된 휴지 지속시간 예측 모델은 트리 기반 모델링 기법 중 하나인 CART (Classification And Regression Trees)방법을 이용하였다. 이를 위해 남성 단일 화자가 발성한 6,220개의 어절경계 포함하는 총 400문장의 문 음성 데이터베이스를 구축하였고, 이 데이터베이스로부터 V-fold Cross-Validation 방법에 의해 최적의 트리를 결정하였다. 이 모델을 평가한 결과, 휴지 구간 추출 정확율은 $81\%$로 휴지 구간 존재 추출 정확율은 $83\%, 휴지 구간 비존재 추출 정확율은 $80\%이었고, 실 휴지지속시간과 예측 휴지지속시간과의 다중상관 계수는 0.84로, 오차 범위 20ms 이내에서 의 정 확율은 $88\%$ 이었다. 또한, 휴지지속시간을 예측하여 적용한 합성음을 청취 실험한 결과 자연 음성과 대체적으로 유사하게 나타났다.

  • PDF