• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.694-697
• /
• 2023

본 논문은 문맥 이해에서 발생할 수 있는 문제점을 개선하기 위해 Sparse Attention 모델을 적용하였다. 실험 결과, 이 방법은 문맥 손실률을 상당히 줄이며 자연어 처리에 유용하다는 것을 확인하였다. 본 연구는 기계 학습과 자연어 처리분야에서 더 나은 문맥 이해를 위한 새로운 방향을 제시하며, 향후 다양한 모델과 방법론을 탐구하여 문맥 이해를 더욱 향상시킬 계획이다.

• Annual Conference on Human and Language Technology
• /
• 2001.10d
• /
• pp.472-478
• /
• 2001

본 논문은 문맥의 공기정보를 사용한 한국어 명사의 의미구분에 관한 연구이다. 대상 명사에 대한 문맥의 지엽적인 단어분포는 명사의 의미구분을 위한 의미적 특성을 표현하는데 충분하지 못하다. 본 논문은 의미별로 수집한 문맥 정보를 기저 벡터화 하는 방법을 제안한다. 정보의 중요도 측정을 통하여 의미구분에 불필요한 문맥정보는 제거하고, 남아있는 문맥의 단어들은 변별력 강화를 위하여 상의어 정보로 바꾸어 기저벡터에 사용한다. 상의어 정보는 단어의 형태와 사전 정의문의 패턴을 통해 추출한다. 의미 벡터를 통한 의미구분에 실패하였을 경우엔 훈련데이터에서 가장 많이 나타난 의미로 정답을 제시한다. 실험을 위해 본 논문에서는 SENSEVAL 실험집합을 사용하였으며, 제시한 방법으로 공기정보의 가공 없이 그대로 실험한 방법과 비교하여 최고 42% 정도의 정확률 향상을 나타내었다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.468-473
• /
• 2023

본 논문은 사전 학습 언어 모델의 특성인 이방성과 문맥화에 주목하여 이에 대한 분석 실험과 한국어 언어 모델만의 새로운 관점을 제안한다. 최근 진행된 영어 언어 모델 분석 연구에서 영감을 받아, 한국어 언어 모델에서도 대조학습을 통한 이방성과 문맥화의 변화를 보고하였으며, 다양한 모델에 대하여 토큰들을 문맥화 정도에 따라 분류하였다. 또한, 한국어의 언어학적 특성을 고려하여, 허위 문맥화를 완화할 수 있는 토큰을 문맥 중심어로, 문맥 중심어의 임베딩을 모방하는 토큰을 문맥 기능어로 분류하는 기준을 제안하였다. 간단한 적대적 데이터 증강 실험을 통하여 제안하는 분류 기준의 가능성을 확인하였으며, 본 논문이 향후 평가 벤치마크 및 데이터셋 제작, 나아가 한국어를 위한 강건한 학습 방법론에 기여하길 바란다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.901-903
• /
• 2004

어떤 용어가 전문적인 개념을 많이 내포하고 있을 때 전문성(specificity)이 높다고 말한다. 본 논문에서는 정보이론에 기반한 방법으로 전운용어가 내포하는 전문성을 정량적으로 계산하는 방법을 제안한다. 제안한 방법은 전문용어의 구성정보를 이용하는 방법과 문맥정보를 이용하는 방법으로 나눈다. 구성정보를 이용하는 방법에서는 전문용어틀 구성하는 단어의 빈도수, tf.idf 값, 내부 수식구조 등을 이용하고, 문맥정보를 이용하는 방법에서는 전문용어를 수식하는 단어들의 분포를 이용한다. 제안한 방법은 분야에 독립적으로 적용될 수 있고, 전문용어 생성 절차에 대한 특징을 잘 표현할 수 있는 장정이 있다. MeSH 트리에 포함된 질병명을 대상으로 실험한 결과 82.0%의 정확률을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.361-363
• /
• 2004

웹의 사용자와 정보의 급속한 증가로 특정 사용자가 자신에게 맞는 정보를 얻기 위해서 더 오랜 시간과 노력을 들여야 한다. 따라서 웹 응용에서 효과적인 사용자 항해를 위해서는 문맥정보의 제공이 필수적이다. 특히 사용자 프로파일을 기반으로 사용자에 적응적인 문맥정보를 제공한다면 보다 효과적인 사용자 항해가 가능한데 이를 위해서는 웹 응용의 체계적인 항해 설계 과정이 필요하다

• Proceedings of the Korea Society for Industrial Systems Conference
• /
• 2009.05a
• /
• pp.208-211
• /
• 2009

본 논문은 구글(Google), 워드넷(WordNet)과 같이 공개된 웹 자원과 리소스를 이용한 비교사학습(Unsupervised learning) 방법을 제안하여 단어 의미의 중의성 문제를 해결하고자 한다. 구글 검색 API를 이용하여 단어의 확장된 근접 문맥정보를 추출하고, 워드넷의 계층체계와 synset을 이용하여 단어 의미 구분정보를 자동 추출한 후, 추출된 정보 간 유사도 계산을 통해 중의성을 갖는 단어의 의미를 결정한다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.272-275
• /
• 2019

단어 중의성 해소 방법은 지식 정보를 활용하여 문제를 해결하는 지식 기반 방법과 각종 기계학습 모델을 이용하여 문제를 해결하는 지도학습 방법이 있다. 지도학습 방법은 높은 성능을 보이지만 대량의 정제된 학습 데이터가 필요하다. 반대로 지식 기반 방법은 대량의 정제된 학습데이터는 필요없지만 높은 성능을 기대할수 없다. 최근에는 이러한 문제를 보완하기 위해 지식내에 있는 정보와 정제된 학습데이터를 기계학습 모델에 학습하여 단어 중의성 해소 방법을 해결하고 있다. 가장 많이 활용하고 있는 지식 정보는 상위어(Hypernym)와 하위어(Hyponym), 동의어(Synonym)가 가지는 의미설명(Gloss)정보이다. 이 정보의 표상을 기존의 문장의 표상과 같이 활용하여 중의성 단어가 가지는 의미를 파악한다. 하지만 정확한 문장의 표상을 얻기 위해서는 단어의 표상을 잘 만들어줘야 하는데 기존의 방법론들은 모두 문장내의 문맥정보만을 파악하여 표현하였기 때문에 정확한 의미를 반영하는데 한계가 있었다. 본 논문에서는 의미정보와 문맥정보를 담은 단어의 표상정보를 만들기 위해 구문정보, 의미관계 그래프정보를 GCN(Graph Convolutional Network)를 활용하여 임베딩을 표현하였고, 기존의 모델에 반영하여 문맥정보만을 활용한 단어 표상보다 높은 성능을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.10b
• /
• pp.189-193
• /
• 2006

문맥광고 또는 컨텍스트 기반 광고란 사용자들이 선택한 웹 콘텐츠 내용을 기반으로 하여 연관성 있는 광고를 자동으로 선택하여 사용자에게 제공하는 광고기법이다. 즉, 웹 사이트를 방문하는 고객을 타겟으로 하여 그들이 찾고자 하는 것과 관련된 광고를 내보냄으로써 효과적인 광고가 이루어지도록 하는 것이다. 그러나 기존의 문맥광고는 사용자가 관심을 가지는 키워드가 아닌 광고주가 선택한 키워드를 중심으로 광고 내용을 선택하기 때문에 사용자의 실제적인 관심이 반영되지 않아 광고의 효과가 떨어지는 문제점을 가지고 있다. 이러한 문제를 해결하기 위해 본 논문에서는 사용자가 웹 콘텐츠를 선택할 때 마다 사용자의 선호도를 동적으로 학습하고, 학습된 선호도를 문맥광고에 활용하는 개인화된 문맥광고를 제안한다. 실험을 위해서 제안한 방법으로 광고를 생성해서 보여주는 웹 브라우저를 구현하여 기존의 문맥광고와 개인화된 문맥광고에 대한 사용자의 평가를 비교하였다. 실험 결과 본 논문에서 제안한 개인화된 문맥광고가 ‘콘텐츠의 내용과의 연관성’, ‘사용자의 클릭여부’ 등의 항목에서 기존의 문맥광고에 비해 우수하다는 결과를 얻을 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.1362-1365
• /
• 2013

한국어 텍스트에 나타나는 오류어의 유형은 크게 단순 철자오류와 문맥 철자오류로 구분할 수 있다. 이중 문맥 철자오류는 문맥의 의미 통사적 관계를 고려해야만 해당 어휘의 오류 여부를 알 수 있는 오류로서 철자오류 중 교정 난도가 가장 높다. 문맥 철자오류의 유형은 발음 유상성에 따른 오류, 오타 오류, 문법 오류, 띄어쓰기 오류로 구분할 수 있다. 본 연구에서는 오타 오류에 의해 발생하는 문맥 철자오류를 어의 중의성 해소와 같은 문제로 보고 교정 어휘 쌍을 이용한 통계적 문맥 철자오류 교정 방법을 제안한다. 미리 생성한 교정 어휘 쌍을 대상으로 교정 어휘 쌍의 각 어휘와 주변 문맥 간 의미적 연관성을 통계적으로 측정하여 문맥 철자오류를 검색하고 교정한다. 제안한 방법을 적용한 결과 3개의 교정 어휘 쌍 모두 90%를 넘는 정확도를 보였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.362-367
• /
• 2019

본 논문에서는 Self-Attention을 활용한 딥러닝 기반 문맥의존 철자오류 교정 모델을 제안한다. 문맥의존 철자오류 교정은 최근 철자오류 교정 분야에서 활발히 연구되고 있는 문제 중 하나이다. 기존에는 규칙 기반, 확률 기반, 임베딩을 활용한 철자오류 교정이 연구되었으나, 아직 양질의 교정을 수행해내기에는 많은 문제점이 있다. 따라서 본 논문에서는 기존 교정 모델들의 단점을 보완하기 위해 Self-Attention을 활용한 문맥의존 철자오류 교정 모델을 제안한다. 제안 모델은 Self-Attention을 활용하여 기존의 임베딩 정보에 문맥 의존적 정보가 반영된 더 나은 임베딩을 생성하는 역할을 한다. 전체 문장의 정보가 반영된 새로운 임베딩을 활용하여 동적으로 타겟 단어와의 관련 단어들을 찾아 문맥의존 철자 오류교정을 시행한다. 본 논문에서는 성능평가를 위해 세종 말뭉치를 평가 데이터로 이용하여 제안 모델을 실험하였고, 비정형화된 구어체(Kakao Talk) 말뭉치로도 평가 데이터를 구축해 실험한 결과 비교 모델보다 높은 정확율과 재현율의 성능향상을 보였다.