• 제목/요약/키워드: 의미 태깅

검색결과 109건 처리시간 0.022초

의미 있는 태그 클러스터 구축을 위한 설계 방안 (A Design of Building a Meaningful Tag Cluster)

  • 박병재;우종우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.658-661
    • /
    • 2008
  • 태깅은 웹 2.0의 핵심 기술 중 하나로, 매우 유연하고 역동적인 분류 체계를 제공한다. 하지만 유연성과 역동성의 확보에 의해 계층 구조나 연관 관계와 같은 태그의 관계성이 부족하거나 존재하지 않는 한계점을 가지고 있는 것 또한 사실이다. 이런 한계점을 보완하기 위한 방법으로 계층 관계를 형성하기 위한 계층 클러스터링 방법과, 연관 관계를 형성하기 위한 협업 필터링 방법이 존재한다. 이 두 가지 방법은 태그의 관계성을 제공하지만, 연관 관계와 계층 관계 중 하나만 제공한다는 단점을 가진다. 본 논문에서는 태그 검색 시 연관 관계뿐 아니라 계층 구조의 탐색을 제공해주기 위한 태그 클러스터링 알고리즘을 설계하였다. 제안한 알고리즘은 사용자 태그셋을 활용하여 태그의 유사성을 계산하는 방법을 제시하고, 기존의 시각화 방법(태그 구름)과 다른 새로운 형태로 시각화 할 수 있는 결과 데이터를 제공한다.

카테고리형 태그 기반의 지식조직체계 구현 (CTKOS : Categorized Tag-based Knowledge Organization System)

  • 유동희;김건우;최근호;서용무
    • 지능정보연구
    • /
    • 제17권4호
    • /
    • pp.59-74
    • /
    • 2011
  • 웹 2.0 환경에서는 사용자 참여를 통한 지식 생산이 증가하고 있으며, 이러한 지식들을 효과적으로 분류하고 공유하기 위한 방법으로 태그 기반의 단일 폭소노미가 활용되고 있다. 그러나 단일 폭소노미를 구성하는 태그들은 단일 태그로 구성되어 있어 그 의미가 불명확하다. 이를 위해 태그간의 관계성이 명시된 구조화된 폭소노미를 구축하는 연구들이 진행되었다. 그러나 이러한 연구들에서도 태그의 의미를 정의하기 위해 미리 정의된 용어집을 사용하기 때문에 용어집에 없는 새로운 태그는 정의할 수 없고, 수작업으로 태그의 의미를 정의할 때 시간이 소요되는 문제점이 발생하였다. 본 연구에서는 사용자가 태그를 입력할 때 입력된 태그가 속할 수 있는 카테고리를 미리 정의된 용어집 없이 자유롭게 정의할 수 있는 카테고리형 태깅 방식을 제안하고자 한다. 또한 사용자들로부터 수집된 카테고리형 태그들을 이용하여 다수의 사용자가 생각하는 태그의 관계를 구조화된 폭소노미에 반영하는 기술을 언급하고자 한다. 끝으로 본 연구에서 제시한 방법들이 조직의 지식 분류와 검색에 활용될 수 있음을 증명하기 위해, 카테고리형 태그 기반의 지식조직체계를 시스템으로 구현하였다.

마코프 논리 기반의 시맨틱 문서 검색 (Semantic Document-Retrieval Based on Markov Logic)

  • 황규백;봉성용;구현서;백은옥
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권6호
    • /
    • pp.663-667
    • /
    • 2010
  • 본 논문은 질의 문서와 의미가 유사한 문서를 검색하는 문제를 다룬다. 이 문제에 대한 기본적인 접근법은 각 문서를 bag-of-words 형태로 표현한 후, 코사인 유사도 등의 거리 기준에 기반하여 유사 문서를 판별하는 것이다. 그러나, 이처럼 문서에 출현하는 단어에만 의존하는 검색 방법은 의미적 유사성을 제대로 반영하기 어렵다는 단점을 가진다. 본 논문에서는 이러한 문제를 극복하기 위해 데이터 기반의 감독 학습(supervised learning) 기법과 관련 온톨로지 정보를 마코프 논리(Markov logic)에 기반하여 결합한다. 구체적으로, 단어들 사이에 존재하는 관계를 표현한 온톨로지와 유사도가 태깅된 문서 데이터에서 마코프 논리 망(Markov logic network)을 학습하며, 학습된 마코프 논리 망과 문서 데이터 및 새로 주어진 질의 문서에 대한 추론을 통해 질의 문서와 의미적으로 유사한 문서를 검색하는 기법을 제안한다. 제안하는 접근법은 서울시의 민원서비스 홈페이지에서 수집된 실제 민원 데이터에 적용되었으며, 적용 결과, 단순한 문서 간 거리에 기반한 유사 문서 검색 기법에 비해 월등히 높은 정확도를 보였다.

태그간 의미관계를 이용한 효율적인 이미지 태그 랭킹 기법 (An Efficient Technique for Image Tag Ranking using Semantic Relationship between Tags)

  • 홍현기;허지욱;정진우;이동호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
    • /
    • pp.31-36
    • /
    • 2010
  • 최근 대두되고 있는 웹2.0의 특징은 일반 사용자들이 능동적으로 정보를 생산해내고 공유하는데 있다. 웹 2.0의 참여형 아키텍쳐를 구성하는 핵심요소로 인식되고 있는 폭소노미(Folksonomy)는 과거 택소노미(Taxonomy)와 같이 전문가에 의하여 구축되는 분류 체계가 아닌 사용자들이 협동적으로 태그(Tag)들을 만들고 관리하는 소셜 태깅(Social Tagging)에 의한 분류 시스템이다. 최근 이러한 폭소노미를 활용하여 이미지를 공유하고 검색하고자 하는 다양한 시도들이 진행되고 있다. 그러나 Flickr와 같은 태그 기반 이미지 공유 시스템에서는 태그의 문법적, 의미적 모호성과 이미지에 대한 태그들의 중요성 또는 상관관계를 고려하지 않아 태그 기반 검색 시 정확성 및 신뢰성을 보장할 수 없다. 이러한 문제를 해결하기 위해 폭소노미에 기반한 이미지 공유 데이터베이스에서 적합한 태그들을 태그 전달(Tag Propagation)하거나 확률 및 출현빈도에 기반하여 태그 랭킹을 수행하기 위한 연구들이 활발히 진행되고 있지만 여전히 만족할만한 성능을 보이지 못하고 있다. 본 논문에서는 이미지 공유 데이터베이스에서 유사한 이미지들로부터 이미지에 보다 적합한 태그들을 부여하기 위해서, WordNet을 활용하여 태그들 간의 의미관계에 기반한 효율적인 태그 랭킹 기법을 제안한다. 또한, 신뢰성 있는 태그 기반 검색을 위하여 제안한 태그 랭킹 기법이 현재 이미지 공유 시스템의 랭킹 결과보다 정확성을 높일 수 있음을 실험 예제를 통하여 확인하였다.

  • PDF

도메인 적응 기술을 이용한 한국어 의미역 인식 (Korean Semantic Role Labeling Using Domain Adaptation Technique)

  • 임수종;배용진;김현기;나동렬
    • 정보과학회 논문지
    • /
    • 제42권4호
    • /
    • pp.475-482
    • /
    • 2015
  • 높은 성능의 의미역 인식 시스템의 개발을 위해서는 대상 도메인에 대한 대량의 수동 태깅 학습 데이터가 필요하다. 그러나 충분한 크기의 의미역 인식용 학습 데이터는 오직 소수의 도메인에서만 존재한다. 소스 도메인의 시스템을 상대적으로 매우 작은 학습 데이터를 가진 다른 도메인에 적용할 경우 한국어 의미역 인식 기술은 15% 정도 성능 하락이 발생한다. 이러한 도메인 변경에서의 성능 하락 현상을 최소화하기 위해 본 논문에서는 2 가지 기법을 제시한다. 첫째, 도메인 적응 방법론의 하나인 Prior 모델에 기반하여 개발된 한국어 의미역 인식 시스템을 위한 도메인 적응 알고리즘을 제안한다. 둘째, 크기가 작은 타겟 도메인 데이터를 이용할 때 데이터 희귀 문제의 감소를 위해 소스 도메인 데이터 이용시 보다 단순화된 형태소 태그와 구문 태그 자질을 사용할 것을 제안한다. 뉴스 도메인에서 개발된 시스템의 위키피디아 도메인에의 적용과 관련하여 다른 연구의 도메인 적응 기술과 우리가 제안한 방법을 비교 실험하였다. 우리의 두 가지 방법을 같이 사용할 때 더 높은 성능을 달성하는 것을 관찰하였다. 우리 시스템은 F1-score 64.3% 성능으로서 기존의 다른 도메인 적응 기술들과 비교하여 2.4~3.1% 더 높은 성능을 가지는 것으로 관찰되었다.

사전과 말뭉치를 이용한 한국어 단어 중의성 해소 (Korean Word Sense Disambiguation using Dictionary and Corpus)

  • 정한조;박병화
    • 지능정보연구
    • /
    • 제21권1호
    • /
    • pp.1-13
    • /
    • 2015
  • 빅데이터 및 오피니언 마이닝 분야가 대두됨에 따라 정보 검색/추출, 특히 비정형 데이터에서의 정보 검색/추출 기술의 중요성이 나날이 부각되어지고 있다. 또한 정보 검색 분야에서는 이용자의 의도에 맞는 결과를 제공할 수 있는 검색엔진의 성능향상을 위한 다양한 연구들이 진행되고 있다. 이러한 정보 검색/추출 분야에서 자연어처리 기술은 비정형 데이터 분석/처리 분야에서 중요한 기술이고, 자연어처리에 있어서 하나의 단어가 여러개의 모호한 의미를 가질 수 있는 단어 중의성 문제는 자연어처리의 성능을 향상시키기 위해 우선적으로 해결해야하는 문제점들의 하나이다. 본 연구는 단어 중의성 해소 방법에 사용될 수 있는 말뭉치를 많은 시간과 노력이 요구되는 수동적인 방법이 아닌, 사전들의 예제를 활용하여 자동적으로 생성할 수 있는 방법을 소개한다. 즉, 기존의 수동적인 방법으로 의미 태깅된 세종말뭉치에 표준국어대사전의 예제를 자동적으로 태깅하여 결합한 말뭉치를 사용한 단어 중의성 해소 방법을 소개한다. 표준국어대사전에서 단어 중의성 해소의 주요 대상인 전체 명사 (265,655개) 중에 중의성 해소의 대상이 되는 중의어 (29,868개)의 각 센스 (93,522개)와 연관된 속담, 용례 문장 (56,914개)들을 결합 말뭉치에 추가하였다. 품사 및 센스가 같이 태깅된 세종말뭉치의 약 79만개의 문장과 표준국어대사전의 약 5.7만개의 문장을 각각 또는 병합하여 교차검증을 사용하여 실험을 진행하였다. 실험 결과는 결합 말뭉치를 사용하였을 때 정확도와 재현율에 있어서 향상된 결과가 발견되었다. 본 연구의 결과는 인터넷 검색엔진 등의 검색결과의 성능향상과 오피니언 마이닝, 텍스트 마이닝과 관련한 자연어 분석/처리에 있어서 문장의 내용을 보다 명확히 파악하는데 도움을 줄 수 있을 것으로 기대되어진다.

기계번역용 한국어 품사에 관한 연구 (A Study on the Korean Parts-of-Speech for Korean-English Machine Translation)

  • 송재관;박찬곤
    • 한국컴퓨터정보학회논문지
    • /
    • 제5권4호
    • /
    • pp.48-54
    • /
    • 2000
  • 본 논문에서는 한ㆍ영 기계번역을 위한 한국어의 품사를 분류하였고 각 품사의 형태론적 특징을 고찰하였다. 한국어 표준문법에서 제시되는 품사 분류 기준은 의미, 기능, 형태의 세 가지 기준을 적용하고 있으며, 자연언어처리에서도 같은 분류 기준을 바탕으로 하고 있다. 품사 분류에 여러 가지 기준을 적용하는 것은 문법구조 이해 및 품사 분류를 어렵게 한다. 또한 한 영 기계번역시 품사의 불일치로 전처리가 필요하다. 이러한 문제를 해결하기 위하여 본 논문에서는 하나의 기준을 적용하여 품사를 분류하였다. 방법으로 한국어 표준문법에 의하여 말뭉치에 태깅하고 문제점을 찾아내며, 새로운 기준에 의하여 품사를 분류하였다. 본 논문에서 분류된 품사는 한국어 문장에서 통사적 역할이 동일하고, 영어에서의 사전 품사와 동일하며, 품사 분류의 모호성을 제거하고, 한국어의 문장 구조를 명확히 표현한다. 또한 한ㆍ영 기계번역시 패턴 매칭에 의한 목적언어 생성이 가능하게 한다.

  • PDF

한국어 수사구조 분류체계 수립 및 주석 코퍼스 구축 (Building an RST-tagged Corpus and its Classification Scheme for Korean News Texts)

  • 노은정;이연수;김연우;이도길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.33-38
    • /
    • 2016
  • 수사구조는 텍스트의 각 구성 성분이 맺고 있는 관계를 의미하며, 필자의 의도는 논리적인 구조를 통해서 독자에게 더 잘 전달될 수 있다. 따라서 독자의 인지적 효과를 극대화할 수 있도록 수사구조를 고려하여 단락과 문장 구조를 구성하는 것이 필요하다. 그럼에도 불구하고 지금까지 수사구조에 기초한 한국어 분류체계를 만들거나 주석 코퍼스를 설계하려는 시도가 없었다. 본 연구에서는 기존 수사구조 이론을 기반으로, 한국어 보도문 형식에 적합한 30개 유형의 분류체계를 정제하고 최소 담화 단위별로 태깅한 코퍼스를 구축하였다. 또한 구축한 코퍼스를 토대로 중심문장을 비롯한 문장 구조의 특징과 분포 비율, 신문기사의 장르적 특성 등을 살펴봄으로써 텍스트에서 응집성의 실현 양상과 구문상의 특징을 확인하였다. 본 연구는 한국어 담화 구문에 적합한 수사구조 분류체계를 설계하고 이를 이용한 주석 코퍼스를 최초로 구축하였다는 점에서 의의를 갖는다.

  • PDF

학술정보서비스의 폭소노미 분석 연구 (An Analysis of the Foxonomy Constructed at Research Information Service and Future Perspectives)

  • 조재인
    • 한국문헌정보학회지
    • /
    • 제42권4호
    • /
    • pp.95-112
    • /
    • 2008
  • 폭소노미는 전통적인 분류체계인 텍소노미에 대칭되는 용어로 사람들에 의한 분류법이란 의미로 해석된다. 인터넷 컨텐츠를 대상으로 개방적으로 조직된 레이블로, 소셜 태깅의 결과로 만들어진 협력형 색인이다. 폭소노미는 다양한 이용자가 다양한 관점에서 생성한 태그를 통해 우연한 접근의 기회를 제공하며, 동일한 관심사를 가진 타인과 소셜 네트워크 형성을 위한 연결 고리가 된다. 본 연구에서는 폭소노미의 의의를 짚어보고, 전통적인 텍소노미 시스템을 어떻게 보완할 수 있는지, 그리고 그 문제점과 한계는 무엇인지 고찰해 본다. 더불어 학술정보서비스에 부여되고 있는 폭소노미 태그를 분석하여 그 특징을 살펴보고 폭소노미 시스템의 운영 방향을 제시한다.

대화 데이터를 위한 멘션 탐지 및 상호참조해결 파이프라인 모델 (Mention Detection and Coreference Resolution Pipeline Model for Dialogue Data)

  • 김담린;김홍진;박성식;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.264-269
    • /
    • 2021
  • 상호참조해결은 주어진 문서에서 상호참조해결의 대상이 될 수 있는 멘션을 추출하고, 같은 개체를 의미하는 멘션 쌍 또는 집합을 찾는 자연어처리 작업이다. 하나의 멘션 내에 멘션이 될 수 있는 다른 단어를 포함하는 중첩 멘션은 순차적 레이블링으로 해결할 수 없는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 멘션의 시작 단어의 위치를 여는 괄호('('), 마지막 위치를 닫는 괄호(')')로 태깅하고 이 괄호들을 예측하는 멘션 탐지 모델과 멘션 탐지 모델에서 예측된 멘션을 바탕으로 포인터 네트워크를 이용하여 같은 개체를 나타내는 멘션을 군집화하는 상호참조해결 모델을 제안한다. 실험 결과, 4개의 영어 대화 데이터셋에서 멘션 탐지 모델은 F1-score (Light) 94.17%, (AMI) 90.86%, (Persuasion) 92.93%, (Switchboard) 91.04%의 성능을 보이고, 상호참조해결 모델에서는 CoNLL F1 (Light) 69.1%, (AMI) 57.6%, (Persuasion) 71.0%, (Switchboard) 65.7%의 성능을 보인다.

  • PDF