• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2008년도 제20회 한글 및 한국어 정보처리 학술대회
• /
• pp.96-102
• /
• 2008

자연언어처리에서 어휘의 의미를 구분하는 것은 기계번역이나 정보검색과 같은 여러 응용 분야에서 매우 중요한 역할을 한다. 국내에서도 여러 어의 중의성 해소 시스템이 소개되었으나 대부분 시스템이 의미 부착 말뭉치를 이용한 감독 학습 방식을 기반으로 두고 있다. 본 논문은 한국어 어휘의미망을 이용한 비감독 어의 중의성 해소 시스템을 소개한다. 일반적으로 감독어의 중의성 해소 시스템은 비감독 어의 중의성 해소 시스템보다 성능은 좋으나 대규모의 의미 부착 말뭉치가 있어야 한다. 그러나 본 시스템은 한국어 어휘의미망과 의미 미부착 말뭉치에서 추출한 어휘 통계정보를 이용해, 의미 부착 말뭉치에서 추출한 의미별 통계 정보를 이용하는 감독 중의성 해소 방법과 같은 효과를 낸다. 본 시스템과 타 시스템의 성능 비교를 위해 'SENSEVAL-2' 평가 대회의 한국어 평가 데이터를 이용하였다. 실험 결과는 추출된 통계 정보를 바탕으로 우도비를 이용하였을 때 정확도 72.09%, 관계어 가중치를 추가로 이용하였을 때 정확도 77.02%로 감독 중의성 해소 시스템보다 높은 성능을 보였다.

• 한국콘텐츠학회논문지
• /
• 제9권2호
• /
• pp.18-26
• /
• 2009

규칙 정보와 통계 정보를 이용하는 복합적 품사 태깅은 통계를 기반으로 하는 방법의 견고함과 확장성을 가지고, 통계 정보에 벗어나는 언어현상들을 규칙 정보를 이용하여 해결함으로서 높은 정확도를 가질 수 있다. 하지만 기존의 연구는 규칙 정보의 제한적인 적용범위 때문에 통계 정보에 벗어나는 언어 현상을 처리할 수 없는 경우가 발생하게 된다. 본 논문에서는 이를 해결하기 위하여 어휘의 사전적 의미와 문맥적 관계를 반영할 수 있는 "어휘별 중의성 제거 규칙"을 제안한다. 어휘별 중의성 제거 규칙은 세종 말뭉치로 부터 말뭉치 데이터를 형태소 분석하여 상위 50%의 중의성 어휘에 대한 사전적 의미와 문맥적 관계를 고려한 품사 태깅 정보를 추출하고 이것을 규칙으로 만든 것이며, 현재까지 총 1,815개로 구성되어 있다. 어휘별 중의성 제거 규칙을 기존의 복합적 품사 태깅 시스템에 적용하여 품사 태깅의 정확도를 높일 수 있었다.

• 문화기술의 융합
• /
• 제7권3호
• /
• pp.433-438
• /
• 2021

본 연구는 자동화된 어휘 분석 프로그램인 TAALES를 활용하여 영어능력 수준과 어휘의 정교화 지표간의 관계를 살펴본다. 본 연구에서는 ICNALE 코퍼스에 포함된 한국인 대학생이 작성한 에세이 600개를 분석하였다. 본 연구에서는 영어 수준별로 어휘의 정교화 특성이 통계적으로 유의미하게 다르게 나타나는가를 살펴보기 위해 다변량 분산분석이 수행되었다. 다변량 분산분석 결과 어휘의 정교화 지표가 통계적으로 유의미한 것으로 나타났으며, 이는 상. 중. 하의 세 개의 집단에 따라 어휘의 정교화 지표의 평균벡터에 유의미한 차이가 있고 상. 중. 하의 세 집단은 어휘의 정교화 지표의 사용이 유의미하게 다르다는 것을 보여준다. 세 집단 간에 가장 큰 차이를 보인 어휘의 정교화 지표는 내용어의 빈도, 내용어의 친숙도, 기능어의 어휘 결정 반응 평균 시간, 상위어 동사, 기능어의 워드 네이밍 반응시간, 내용어의 어휘 습득 연령으로 나타났다.

• 한국통계학회:학술대회논문집
• /
• 한국통계학회 2001년도 추계학술발표회 논문집
• /
• pp.69-73
• /
• 2001

이 논문에서 문장특성을 파악하는 방법으로 주로 이용한 것은 특정문자의 출현율이다. 어떤 사람이나 그 글 속에는 자신의 개성이 들어있다. 문장의 길이를 비롯하여 문장의 구조나 어휘량, 유의어 중에서 선호하는 글자, 평서문이나 의문문의 사용, 품사의 사용, 문두나 문말에 오는 글자 등에서 각각의 개성이 드러난다. 그 중에서도 접속사나 조사, 접두어, 접미어 등 상대적으로 의미적인 요소보다는 형식적인 요소에 가까운 영역에서 문장의 특성이 두드러지는 것으로 보고되어 있다, 이런 특징을 이용하여 화랑세기의 저작자의 진위를 추론하고자 한다.

• 컴퓨터교육학회논문지
• /
• 제18권1호
• /
• pp.99-108
• /
• 2015

본 논문에서는 초등학교 교과서 말뭉치를 구축하고, 초등교과서에서 나타나는 어휘들에 대하여 통계분석을 실시하였다. 또한 초등 교과서가 일반생활에서 사용하는 어휘와 얼마나 유사한지를 살펴보기 위하여 스피어만 상관관계 분석을 실시하였다. 연구결과로 초등교과서의 말뭉치 구축 모습과 실제 예시를 보였고, 상관관계 분석을 통하여 초등교과서와 일반 말뭉치와의 상관관계를 수치적으로 보였다.

• 한국컴퓨터정보학회논문지
• /
• 제11권5호
• /
• pp.75-86
• /
• 2006

일반적으로 영어를 한국어로 번역할 때, 대부분의 영어 명사 어휘들은 해당 어휘가 사용되는 문맥에 따라 다양한 한국어 명사로 번역될 수 있다. 따라서 영어 원문이 갖는 의미를 손실 없이 번역문으로 전달하기 위해서는 문맥에 맞는 올바른 한국어 대역어를 선택할 수 있어야 한다. 본 논문에서는 동사구패턴, 공기 정보에 기반한 의미벡터, 공기 품사 정보 및 한국어 문맥 통계 정보 등의 다양한 지식을 사용하여 영어 명사 어휘의 대역어를 올바로 선택하는 방안을 제공한다. 동사구 패턴은 사전과 코퍼스를 사용하여 구축되었으며, 의미 벡터는 영어 어휘가 특정 한국어 어휘로 번역될 때 공기하는 정보들의 조건부 확률을 나타낸다. 한국어 문맥 통계 정보는 한국어 코퍼스로부터 추출된 N-그램 정보를 나타내며, 품사 공기 정보는 대역어 선택 모호성을 지니는 영어 어휘와 통계적으로 깊은 관련성을 지니는 품사를 나타낸다. 마지막으로 본 논문에서 제안한 대역어 선택 모호성 해소 방안을 평가하기 위한 실험을 수행하였으며, 실험 결과, 제안하는 방법이 기존의 방법보다 성능이 좋다는 것을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 춘계학술발표대회
• /
• pp.365-368
• /
• 2012

어의 중의성 해소는 자연어처리에서 중요한 역할을 한다. 감독 중의성 해소 방법은 비감독 중의성 해소 방법보다 높은 성능을 나타내지만, 구축비용이 큰 대규모 의미부착 말뭉치가 필요하다. 본 논문에서는 중국어 어휘의미망(HowNet)과 의미 미부착 말뭉치를 이용한 중국어 비감독 어의 중의성 해소 방법을 제안한다. 의미 미부착 말뭉치에서 통계정보를 추출하고, 중국어 어휘 의미망에서 중의성 어휘의 의미별 형제어를 추출하여 중의성 어휘의 주변 문맥에 나타나는 어휘와 카이제곱검정(${\chi}^2$-test)에 의한 독립성 검정을 통해 어휘 간 연관성을 판단하고 중의성 해소를 한다. 본 논문에서 제안한 중의성 해소방법의 성능을 SemEval-2007 평가데이터에서 측정한 결과 명사와 동사에서 각각 64.7%, 49.4%를 나타냈다. 이는 SemEval-2007 중국어 비감독 중의성 해소에서 가장 높은 성능을 나타낸 시스템보다 13.1%, 13.9% 높은 성능이다.

• 한국통신학회논문지
• /
• 제19권2호
• /
• pp.265-275
• /
• 1994

어휘중의성 해소는 음성 인식/생성, 정보 검색, 발뭉치 태킹 등 자연언어 처리에서 가장 기초가 되는 분야 중의 하나이다. 본 논문은 말뭉치로부터 추출된 통계정보를 이용하는 한국어 어휘중의성해소 기법에 대해 기술한다. 이 기법에서는 좀더 정밀한 중의성해소를 위해 품사태그 대신 형태소분석 결과에 해당하는 토큰태그를 사용하고 있다. 본 논문에서 제안한 어휘선택함수는 어미나 조사의 호응 관계등 한국어의 어휘적 특성을 잘 반영하기 때문에 상당히 높은 정확성을 보여준다. 그리고 활용분야에 적합하게 사용될 수 있도록 유일선택 방식과 다중선택 방식이라는 두가지 중의성해소 방식을 지원하고 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2010년도 추계학술발표대회
• /
• pp.693-696
• /
• 2010

자연언어처리에서 어의 중의성 해소(word sense disambiguation)는 어휘의 의미를 정확하게 파악하는 기술로 기계번역, 정보검색과 같은 여러 응용 분야에서 중요한 역할을 한다. 본 논문에서는 한국어 어휘의미망(Korlex)을 이용한 비감독 어의 중의성 해소 방법을 제안한다. 의미미부착 말뭉치에서 추출한 통계 정보와 한국어 어휘의미망의 관계어 정보를 이용함으로써 자료 부족문제를 완화하였다. 또한, 중의성 어휘와 공기어휘 간의 거리 가중치, 의미별 사용 정보 가중치를 사용하여 언어적인 특징을 고려하여 본 논문의 기반이 되는 PNUWSD 시스템보다 성능을 향상하였다. 본 논문에서 제안하는 어의 중의성 해소 방법의 평가를 위해 SENSEVAL-2 한국어 데이터를 이용하였다. 중의성 어휘의 의미별 관계어와 지역 문맥 내 공기어휘 간의 카이제곱을 이용하였을 때 68.1%의 정확도를 보였고, 중의성 어휘와 공기어휘 간의 거리 가중치와 의미별 사용 정보 가중치를 사용하였을 때 76.9% 정확도를 보여 기존의 방법보다 정확도를 향상하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.1362-1365
• /
• 2013

한국어 텍스트에 나타나는 오류어의 유형은 크게 단순 철자오류와 문맥 철자오류로 구분할 수 있다. 이중 문맥 철자오류는 문맥의 의미 통사적 관계를 고려해야만 해당 어휘의 오류 여부를 알 수 있는 오류로서 철자오류 중 교정 난도가 가장 높다. 문맥 철자오류의 유형은 발음 유상성에 따른 오류, 오타 오류, 문법 오류, 띄어쓰기 오류로 구분할 수 있다. 본 연구에서는 오타 오류에 의해 발생하는 문맥 철자오류를 어의 중의성 해소와 같은 문제로 보고 교정 어휘 쌍을 이용한 통계적 문맥 철자오류 교정 방법을 제안한다. 미리 생성한 교정 어휘 쌍을 대상으로 교정 어휘 쌍의 각 어휘와 주변 문맥 간 의미적 연관성을 통계적으로 측정하여 문맥 철자오류를 검색하고 교정한다. 제안한 방법을 적용한 결과 3개의 교정 어휘 쌍 모두 90%를 넘는 정확도를 보였다.