• 한국인지과학회:학술대회논문집
• /
• 한국인지과학회 2000년도 한글 및 한국어 정보처리
• /
• pp.245-251
• /
• 2000

지금까지의 정보검색 시스템은 소위 키워드 기반 정보검색 시스템으로서 색인이 단일 단어(single word) 즉 키워드의 집합으로 나타내어 진다. 그러나 이 방법은 문서의 내용을 정확히 표현하는 데 한계가 있다. 따라서 최근에는 단어 이상의 구문 단위인 구(phrase)를 이용하여 색인과 검색을 하도록 하는 시스템을 개발하고자 하는 추세에 있다. 따라서, 본 논문에서는 키워드보다는 의미를 좀더 잘 나타내고 일반적인 구보다는 정형화된 형태의 색인 단위인 키팩트를 색인어로 하는 정보검색시스템을 개발하고 이의 성능을 살펴보았다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.259-263
• /
• 2021

상호참조해결은 주어진 문서에서 상호참조해결 대상이 되는 멘션(mention)을 식별하고, 동일한 개체(entity)를 의미하는 멘션들을 찾아 그룹화하는 자연어처리 태스크이다. 최근 상호참조해결에서는 BERT를 이용하여 단어의 문맥 표현을 얻은 후, 멘션 탐지와 상호참조해결을 동시에 진행하는 end-to-end 모델이 주로 연구되었으나, 512 토큰 이상의 긴 문서를 처리하기 위해서는 512 토큰 이하로 문서를 분할하여 처리하기 때문에 길이가 긴 문서에 대해서는 상호참조해결 성능이 낮아지는 문제가 있다. 본 논문에서는 512 토큰 이상의 긴 문서를 위한 BERT 기반의 end-to-end 상호참조해결 모델을 제안한다. 본 모델은 긴 문서를 512 이하의 토큰으로 쪼개어 기존의 BERT에서 단어의 1차 문맥 표현을 얻은 후, 이들을 다시 연결하여 긴 문서의 Global Positional Encoding 또는 Embedding 값을 더한 후 Global BERT layer를 거쳐 단어의 최종 문맥 표현을 얻은 후, end-to-end 상호참조해결 모델을 적용한다. 실험 결과, 본 논문에서 제안한 모델이 기존 모델과 유사한 성능을 보이면서(테스트 셋에서 0.16% 성능 향상), GPU 메모리 사용량은 1.4배 감소하고 속도는 2.1배 향상되었다.

• 한국인터넷방송통신학회논문지
• /
• 제13권5호
• /
• pp.37-47
• /
• 2013

텍스트 마이닝은 비정형화된 텍스트를 분석하여 그 안에 내재된 패턴, 추세, 분포 등의 고급정보들을 추출하는 분야이다. 텍스트 마이닝은 기본적으로 비정형 데이터를 가정하므로 텍스트를 단순화된 모델로 표현하는 것이 필요하다. 현재까지 가장 많이 사용되고 있는 모델은 텍스트를 단순한 단어들의 집합으로 표현한 벡터공간 모델이다. 그러나 최근 들어 단어들의 의미적 관계까지 표현하기 위해 그래프를 이용한 텍스트 표현 모델을 많이 사용하고 있다. 본 논문에서는 텍스트 마이닝을 위한 기존의 연구 중에서 그래프에 기반한 텍스트 표현 모델의 방법들과 그들의 특징들을 기술한다. 또한 그래프 기반 텍스트 마이닝의 향후 발전방향에 대해서도 논한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
• /
• pp.194-196
• /
• 2017

기존의 단어 기반 접근법을 이용한 개체 연결은 단어의 변형, 신조어 등이 빈번하게 나타나는 비정형 문장에 대해서는 좋은 성능을 기대하기 어렵다. 본 논문에서는 문서 임베딩과 선형 변환을 이용하여 단어 기반 접근법의 단점을 해소하는 개체 연결을 제안한다. 문서 임베딩은 하나의 문서 전체를 벡터 공간에 표현하여 문서 간 의미적 유사도를 계산할 수 있다. 본 논문에서는 또한 비교적 정형 문장인 위키백과 문장과 비정형 문장인 소셜 미디어 문장 사이에 선형 변환을 수행하여 두 문형 사이의 표현 격차를 해소하였다. 제안하는 개체 연결 방법은 대표적인 소셜 미디어인 트위터 환경 문장에서 단어 기반 접근법과 비교하여 높은 성능 향상을 보였다.

• 융합신호처리학회논문지
• /
• 제1권1호
• /
• pp.32-41
• /
• 2000

본 논문에서는 언어장애인용 문장발생장치의 통신율을 증진시키기 위한 처리방안으로 신경망을 이용하여 문장발생장치에 통사예측을 적용하는 방법을 제안하고 유용성을 확인하였다. 각 단어들은 구문론과 의미론에 따른 정보벡터로 표현되었으며 언어처리는 전통적으로 사전을 포함하는 방법과는 다르게 상태공간에서 다양한 영역으로 분류되어 개념적으로 유사한 단어는 상태공간에서의 위치를 통하여 알게 된다. 사용자가 의미심볼을 누르면 의미심볼에 해당하는 단어는 상태공간에서의 위치를 찾아가며 입력에 따른 동사예측의 중복성을 막기 위하여 신경망을 이용하여 클래스화한 후 동사를 예측하였고 그 결과 제한된 공간 내에서 약 $20\%$ 통신율 증진을 가져올 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
• /
• pp.285-290
• /
• 2010

인터넷이 대중화됨에 따라 누구나 쉽게 자신의 의견을 온라인상에 표현할 수 있게 되었다. 그 결과 생각이나 느낌을 나타내는 의견 데이터들의 양이 급속도로 방대해졌으며, 이러한 데이터들을 이용한 여러 응용 사례들의 등장으로, 효율적인 검색 및 자동 분류 기술이 요구되고 있다. 이런 기술적 흐름에 맞추어 의견 데이터 분류에 관한 여러 연구들이 이루어져 왔다. 이러한 의견 분류에 대한 연구들을 살펴보면, 분류를 위해 자질(Feature)로서 사용한 단일어(Single word)가 아닌 2개 이상의 N-gram 단어, 어휘 구문 패턴 및 통사 구문 패턴 등을 사용한다. 특히, 패턴은 단일어나 N-gram 단어에 비해 유연하고, 언어학적으로 풍부한 정보를 표현할 수 있기 때문에 이를 주요 연구 주제로 사용되었다. 그럼에도 불구하고, 이러한 연구들은 주로 영어에 대한 연구들이었으며, 한국어에 패턴을 적용하여 주관성을 갖는 문장을 분류하거나, 극성을 분류하는 연구들은 아직 미비하다. 한국어의 특색으로 한국어는 용언의 활용이 발달되어 있어, 어미의 변화가 다양하며, 그 변화에 따라 의미가 미묘하게 변화한다. 그러나 기존 한국어에 대한 의견 분류 연구들은 단어의 핵심 의미만을 파악하기 위해 어미 부분을 제거하고 어간만을 취해서 처리하여 어미에 대한 의미변화를 고려하지 못하므로 분류 정확도가 영어권에 연구 결과에 비해 떨어진다. 그래서 본 연구는 영어에 적용된 패턴을 이용한 기존 방법들을 정리하고, 그 방법들 중에서 극성을 지닌 문장성분 패턴을 한국어에 적용하였다. 그리고 어미의 변화에 대한 패턴을 추출하여 이 변화가 의견 분류의 성능에 미치는 영향을 분석하였다.

• 한국콘텐츠학회논문지
• /
• 제16권8호
• /
• pp.180-191
• /
• 2016

본 연구는 국내 주요언론이 이념성향에 따라 보도 프레임을 달리할 것이라는 가정 하에 미국 대선 후보 주자였던 '버니 샌더스'를 대상으로 뉴스보도의 의미연결망을 분석하였다. 버니 샌더스라는 인물은 '미국'이라는 보수의 가치와 '불평등 해소'라는 진보의 가치를 동시에 지닌 인물이이서 언론의 이념적 차이가 잘 드러날 수 있는 대상이기도 하다. 보수언론과 진보언론의 빈도순위를 비교해 본 결과, 보수언론은 '사회주의자'와 '흑인'이라는 단어를, 진보언론은 '불평등'과 '문제'라는 단어를 많이 사용한 것으로 나타났다. 특히 보수언론과 진보언론은 '한국'이라는 동일한 단어를 가지고 전혀 다른 의미구성을 보였다. 진보언론은 샌더스가 지적하는 사회문제와 기성정치에 대한 비판을 '한국'사회에 접목하여 이야기하고자 했다면, 보수언론은 '한국'이라는 단어와 구체적인 정당, 그리고 정치인의 이름을 거론해 샌더스와 닮았다고 한 발언에 대해 노골적인 표현으로 비난했다. 이는 동일한 단어를 사용함에도 전혀 다른 관점과 맥락에서 보도하는 경향성을 파악한 것으로, 사안에 대한 언론사의 의미구성이 이념적 지향에 따라 확연한 차이를 보인다는 것을 알 수 있다. 또한 본 연구는 의미연결망 분석을 통해 주요 단어들의 사용빈도 뿐만 아니라 단어들 간의 연결 강도와 중심성을 토대로 뉴스구성의 맥락을 해석했다는 점에서 보도분석을 위한 방법론의 확장에도 기여하고자 하였다.

• 중국연구
• /
• 제78권
• /
• pp.25-46
• /
• 2019

본 논문에서는 준접사 '미(迷)'의 특징과 'X미(迷)'에 대한 분석을 진행하였다. '미(迷)'는 일반적으로 준접사가 가지는 특징인 의미의 허화, 위치고정성, 어휘생산성을 모두 지녀 준접사라고 볼 수 있다. 이 세 가지 측면에서 볼 때, '미(迷)'의 준접사 의미는 본의와 멀고 사람을 지칭하는 의미가 되었으므로 어근보다는 접사에 가깝기 때문에 허화의 정도가 높은 준접사라고 할 수 있다. 이 준접사 '미(迷)'가 '어떤 사물이나 행위에 푹 빠진 사람'이라는 의미를 나타내려면 단어의 가장 뒤에 위치하여야 하므로 위치고정성 측면에서 준접미사라는 것을 알 수 있었다. 또한 어휘생산성의 측면에서 '미(迷)'는 한 단어가 출현한 후 그와 유사한 의미를 가진 단어가 여러 개 파생되기도 하고 같은 구조를 지닌 단어가 여러 개 파생되기도 하는 등의 예를 통해 비교적 높은 생산성을 지닌 준접사라는 것을 알 수 있었다. 이렇게 만들어진 'X미(迷)' 단어는 모두 명사이므로 '미(迷)'는 명사성 표지를 지녔다고 할 수 있다. 'X미(迷)'에 대한 분석은 'X'의 품사 및 음절, 'X'의 의미, '미(迷)'의 의미, 'X미(迷)'의 의미적 측면에서 진행하였다. 'X'의 품사는 명사성이 주를 이루었으며, 그 다음은 동사성이었다. 'X'의 음절은 2음절이 주를 이루어 'X미(迷)' 단어는 3음절 위주이며, 그 다음은 단음절, 3음절순이었다. 'X'의 의미항목은 11개로 나눌 수 있었으며, 그 중 문학과 예술, 사물, 행위·활동, 체육활동 순으로 주를 이루었다. '미(迷)'의 의미는 고대·근대·현대한어사전 등 여러 사전을 통해 의미를 분석한 결과 고대, 근대에는 준접사적 의미가 없었으나 현대로 와서 생겨난 것을 알 수 있었다. 또한 'X미(迷)' 단어를 전반적으로 분석한 결과, 'X미(迷)'의 어휘 의미는 '어떤 사물이나 행위에 푹 빠진 사람'이며, 어법 의미는 명사의 품사를 지녀 주어, 목적어, 관형어 등의 문장성분을 담당할 수 있다는 것을 나타내며, 'X미(迷)'는 중성적인 색채를 가진 단어임을 알 수 있었다. 마지막으로 'X미(迷)' 단어가 생겨난 기제에는 유추 기제, 경제성 기제와 같은 언어 내부적 요인이 있으며, 사회변화와 발전, 대중의 구신구간(求新求简) 심리와 같은 언어 외부적 요인도 있음을 알 수 있었다. 종합해보면, 'X미(迷)'는 '어떤 사물이나 행위에 푹 빠진 사람', 즉 '어떤 것에 심취한 사람'이라는 의미를 지니므로 사회가 발전하고 변화함에 따라 새로운 사물이 출현할 수 있고 이를 활용하여 어떤 새로운 행위나 활동 등을 할 수 있으므로 이에 더욱 다양한 방면에서 'X미(迷)'로 표현될 수 있는 단어가 많아 질 가능성이 높다고 추측할 수 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
• /
• pp.185-190
• /
• 2012

본 논문은 동아, 조선, 중앙, 한겨레 신문의 2009년 신문 사설의 제목과 본문에서 나타나는 n-gram에 대한 논의이다. 구체적으로 자주 출현하는 단어들의 연속 단위 3~6개의 형태소를 추출하여 신문 사설에서 나타난 고빈도 형태소 연속체를 살펴본다. 또한 이들을 기사문에서 추출한 패턴과 로그공산비로 비교하여 신문 사설에서 더 특징적인 의미로 사용되는 어휘들을 살펴본다. 그 결과, 사설 본문에서는 3-gram은 '아야 한다'. 4-gram은 'ㄹ 것이다', 5-gram은 'ㄹ 수밖에 없다', 6-gram은 '아야 할 것이다' 등이, 사설 제목은 '것인가, 안 된다'가 하나의 용어처럼 사용되고 있었다. 이러한 형태소 연속체를 살펴봄으로써, 신문사설의 텍스트 특징과 정형적인 표현에 대해서 살펴볼 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2005년도 춘계학술발표대회
• /
• pp.759-762
• /
• 2005

본 논문에서는 말로써 의사소통을 하는데 장애를 겪는 사람들을 위한 보완 대체 의사소통 도구(AAC)의 구현에 관한 내용을 다룬다. 보완 대체 의사소통 도구는 단어의 의미를 그림으로 표현하고 그림들을 이용하여 의사소통을 하는 방법이 가장 일반적이며, 본 논문에서도 이러한 그림들을 이용한 방법을 사용하였다. 본 논문에서는 단어 중에서 동사를 중심으로 선택된 그림들을 조합하여 문장을 생성하는 방법을 이용하였으며, 각각의 동사를 자동사, 타동사 등으로 구분하여 각각의 동사가 가지는 문장의 형태를 체계화하였으며, 사용자가 선택한 그림들을 동사의 문형 패턴에 맞게 조합하여, 표현하고자 하는 문장으로 변환시킴으로써 의사소통이 가능해지도록 하였다.