• 제목/요약/키워드: 의미 태깅

검색결과 109건 처리시간 0.028초

대규모 태깅 데이터를 이용한 태깅 온톨로지 학습 (Learning Tagging Ontology from Large Tagging Data)

  • 강신재
    • 한국지능시스템학회논문지
    • /
    • 제18권2호
    • /
    • pp.157-162
    • /
    • 2008
  • 본 논문은 대중에 의해 자유롭게 생성된 분류 체계인 폭소노미, 즉 대규모의 태깅 데이터로부터 태깅 온톨로지를 학습하는 방법을 제시하고 있다. 기존 소셜웹 시스템간에는 태깅의 의미에 대해 공통의 합의가 이루어지지 않았기 때문에, 시스템마다 태깅 정보를 표현하기 위해 내부적으로 다른 방법을 쓰고 있으며, 따라서 소프트웨어 에이전트를 이용하여 시스템간의 정보처리를 자동으로 할 수가 없다. 이를 해결하는 방법으로 폭소노미를 위한 태깅 온톨로지가 필요하다. 태깅의 본질적인 속성을 분석하여 태깅 온톨로지를 정의하고, 태깅 데이터의 기계 학습을 통하여 유사 태그와 사용자 그룹 정보를 획득한 후, 태깅 온톨로지를 학습한다. 이의 활용 방안으로 학습된 태깅 온톨로지를 이용하여 모델링한 추천 시스템도 제안한다.

태깅 지원 시스템 : Hi-Tagger (A Tagging Support System : Hi-Tagger)

  • 이인근;정재은;황도삼;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.91-94
    • /
    • 2012
  • 컴퓨터가 인간의 자연언어를 처리하고 이해하도록 하기 위한 많은 연구가 진행되어 왔다. 그러나 컴퓨터에 의해 자동으로 구축한 정보의 신뢰성 문제로 인해 그 효용성이 낮다. 따라서 최근에는 웹 2.0 환경에서의 집단지성을 통한 오픈지식의 구축과 지식 간의 링크 정보의 활용이 주목을 받고 있다. 그러나 양질의 지식을 구축하기 위해서는 인간의 개입이 불가피하며 대부분의 오픈지식도 사용자들의 노력에 의존하여 구축되고 있다. 따라서 본 논문에서는 자연언어로 작성된 문장의 용어에 대한 태깅 작업을 지원하는 태깅지원 시스템을 개발한다. 개발한 시스템에서는 사용자가 문장을 작성하는 과정에서 자동으로 태깅 가능한 용어를 추천하고, 시스템이 추천한 용어에 대해 사용자는 태그셋(tagset) 에 등록된 태그 및 링크로 태깅을 수행한다. 이 시스템을 이용하여 경제, 과학, 문학, 철학의 4개 분야에 대해 5인의 실험자가 한글문서의 태깅 실험을 수행함으로써 개발한 시스템의 효용성을 확인한다.

  • PDF

의미 기반 정보 검색을 제공하는 이미지 게시판 시스템 (An Image Bulletin Board System providing Semantic-based Searching)

  • 정의현;조동찬
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (A)
    • /
    • pp.733-735
    • /
    • 2004
  • 게시판 시스템은 양방향으로 정보를 교환하는 정보 시스템으로서의 높은 효용을 지니고 있으며, 웹과 결합하여 다양한 정보 시스템의 핵심 요소로 자리잡고 있다. 또한 이미지 등의 멀티미디어 정보를 게시물에 포함하여 효율적인 정보 공유에 사용되고 있다. 그러나 지금까지의 게시판 시스템은 게시물의 내용에 접근하기 위해, 단순한 텍스트 패턴 매칭에 의존하고 있다. 이러한 접근 방식은 텍스트 중심의 게시판에서는 어느 정도 효용을 갖지만. 멀티미디어를 포함하는 게시판의 경우에는 적용되기 어려운 단점을 갖고 있다. 본 논문에서는 이의 해결을 위해 이미지 데이터를 포함하는 게시물에 대해 시맨틱 태깅을 할 수 있는 게시판 시스템에 관하여 논한다. 제안된 시스템은 사전에 정해진 태깅 정보가 코드에 고착되지 않고, 외부에서 지정한 시맨틱 태깅을 동적으로 수용하는 구조물 갖고 있다. 이러한 구조를 통하여 이미지의 종류나 성격에 가장 적합한 태깅을 동적으로 지정할 수 있게 되며. 의미 기반의 검색을 지원하게 된다.

  • PDF

은닉 마르코프 모델을 이용한 두단계 한국어 품사 태깅 (Two-Level Part-of-Speech Tagging for Korean Text Using Hidden Markov Model)

  • 이상주;임희석;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1994년도 제6회 한글 및 한국어정보처리 학술대회
    • /
    • pp.305-312
    • /
    • 1994
  • 품사 태깅은 코퍼스에 정확한 품사 정보를 첨가하는 작업이다. 많은 단어는 하나 이상의 품사를 갖는 중의성이 있으며, 품사 태깅은 지역적 문맥을 이용하여 품사 중의성을 해결한다. 한국어에서 품사 중의성은 다양한 원인에 의해서 발생한다. 일반적으로 동형 이품사 형태소에 의해 발생되는 품사 중의성은 문맥 확률과 어휘 확률에 의해 해결될 수 있지만, 이형 동품사 형태소에 의해 발생되는 품사 중의성은 상호 정보나 의미 정보가 있어야만 해결될 수 있다. 그리나, 기존의 한국어 품사 태깅 방법은 문맥 확률과 어휘 확률만을 이용하여 모든 품사 중의성을 해결하려 하였다. 본 논문은 어절 태깅 단계에서는 중의성을 최소화하고, 형태소 태깅 단계에서는 최소화된 중의성 중에서 하나를 결정하는 두단계 태깅 방법을 제시한다. 제안된 어절 태깅 방법은 단순화된 어절 태그를 이용하므로 품사 집합에 독립적이면, 대량의 어절을 소량의 의사 부류에 사상하므로 통계 정보의 양이 적다. 또한, 은닉 마르코프 모델을 이용하므로 태깅되지 않은 원시 코퍼스로부터 학습이 가능하며, 적은 수의 파라메터와 Viterbi 알고리즘을 이용하므로 태깅 속도가 효율적이다.

  • PDF

다국어 대화체 음성언어번역 시스템을 위한 IF(interchange format )와 IF 태깅 (IF(interchange format) and IF tagging for the Multilingual Spoken Language Translation System)

  • 최운천
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 1998년도 제15회 음성통신 및 신호처리 워크샵(KSCSP 98 15권1호)
    • /
    • pp.409-412
    • /
    • 1998
  • 미국의 카네기 메론 대학과 일본의 ATR 및 한국의 전자통신연구원 등이 가입한 CSTAR 에서는 99년 국제간 음성언어번역 시스템 데모를 위해 IF를 이용하여 데이터를 주고 받기로 합의하였다. IF는 크게는 인터넷을 통해 다른 나라의 음성언어번역 시스템과 연결하여 데이터를 주고 받는데 사용되고, 작게는 음성언어 번역 시스템 내의 해석 시스템과 생성 시스템 사이에 데이터를 주고 받는데 사용된다. IF는 중간언어 표현의 한 가지 방법으로 간단하면서도 단순한 표현으로 특정 영역 내에 나타나는 이미를 표현할 수 있도록 정의되었다. 대상으로 하는 영역은 여행 안내로 호텔 예약, 비행기 예약, 여행지 안내 및예약 등을 포함하고 있다. IF의 가장 큰 특징은 표현방법의 단순화에 있다. 즉, 의미를 가장 잘 나타낼 수 있는 표현을 골라, IF를 정의하여 언어 종속적인 요소를 가능한 배제하였다. IF 태깅은 발화에 대해 적절한 IF를 붙여 주는 일로 태깅을 수행하는 사람은 IF 태깅 요령에 따라 태깅을 수행하여야 한다. 현재 ETRI에서는 200대화 이상의 한국어 데이터에 대해 IF 태깅을 완료하였으며 해석 시스템과 생성 시스템 개발을 계속하고 있다.

  • PDF

응용을 위한 폼사 태깅 시스템의 매핑 (Application portable Part-Of-Speech tagger mapping)

  • 김준석;차정원;이근배
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2000년도 한글 및 한국어 정보처리
    • /
    • pp.368-375
    • /
    • 2000
  • 품사 태깅 시스템은 자연 언어 처리의 가장 기본이 되는 부분으로 상위 자연 언어 처리 분야인 구문분석, 의미분석의 전처리로 사용되거나, 기계번역, 정보검색이나 음성인식 및 합성등과 같은 많은 응용 시스템을 위해서도 필요하다. 이렇게 여러 가지 목적을 위해 품사 태깅 시스템은 존재하는데, 각각의 응용을 위해서 최적화된 태깅 시스템을 따로 구성하기도 하고, 하나의 태깅 시스템을 여러 가지 응용을 위해서 사용하기도 한다. 이때, 문제가 되는 것 중에 하나는 각 응용마다 요구하는 품사 태그 세트가 다르다는 것이다. 품사 태그세트가 고정되어 있다면 어떤 응용을 위해서는 사용되는 품사 태그세트가 너무 적어서 문제가 되고, 반대로 품사태그세트가 너무 많아서 시스템의 수행속도가 중요시되는 응용에서 성능저하의 요인이 되기도 한다. 본 논문에서는 하나의 태깅 시스템의 품사태그세트를 조절할 수 있도록 하여 몇 가지 응용시스템에 맞게 최적화 시킬 수 있는 방법론을 제시하고 실험을 통해서 시스템의 성능, 유지보수 및 시스템의 여러 리소스 관리 측면에서도 가장 효율적인 방법론임을 입증하고자 한다.

  • PDF

어절별 중의성 해소 정보를 이용한 품사 태깅의 성능 향상 (Improving Part-of-speech Tagging by using Resolution Information for Individual Ambiguous Word)

  • 박희근;서영훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2007년도 제19회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.134-139
    • /
    • 2007
  • 품사 태깅 시스템에서 규칙 정보와 통계 정보는 상호보완적으로 사용되어 품사 태깅의 성능을 향상시킨다. 하지만, 두 가지 정보로는 품사 태깅의 성능을 향상시키기에는 한계가 있다. 이에 본 논문에서는 어절별 중의성 해소 정보를 이용하여 품사 태깅 시스템의 정확률을 향상시키는 방법에 대해서 기술한다. 통계 정보는 21세기 세종계획의 천만 어절 균형 말뭉치와 태그 부착 말뭉치에서 추출한 trigram 형태의 중의성 어절 및 품사 태그열 출현 빈도 정보를 이용하여 구축하였고, 규칙 정보는 보조용언, 숙어, 관용적 표현 등을 이용하여 구축하였다. 어절별 중의성 해소 정보는 세종 천만 어절 균형 말뭉치의 중의성 어절에서 고빈도 상위 50%에 해당하는 어절을 대상으로 해당 어절의 의미정보와 문맥정보를 고려하여 구축되었고, 이것은 통계 정보를 이용한 품사 태깅 전에 적용되어 분석 후보를 줄여준다. 또한, 학습을 통하여 어절별 중의성 해소 정보를 수정 및 보강하여 잘못된 품사 태깅 결과를 보정해준다. 이와 같이 통계 정보와 규칙 정보를 이용한 품사 태깅 시스템에 고빈도 중의성 어절에 대한 어절별 중의성 해소 정보를 이용함으로써 품사 태깅의 성능을 향상시킬 수 있었다.

  • PDF

한국어 동형이의어 태깅 시스템 구현 (Implementation Tagging System of Korea Homonym)

  • 김준수;최호섭;이왕우;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.24-30
    • /
    • 2002
  • 본 논문은 한국어 정보처리에서 발생하는 단어 중의성 문제를 해결하기 위하여, 사전 뜻풀이 말뭉치에서 추출하여 구축한 의미정보 데이터베이스(Semantic Information Database)와 이를 활용한 단어 중의성 해결 모델을 이용한 실용적인 동형이의어 태깅 시스템 개발을 목적으로 한다. 중 소규모의 국어사전 150,000여 개의 표제어 전체의 뜻풀이에 품사 태그를 부착한 117만 어절 규모의 뜻풀이 말뭉치를 구축한 후 사전에 등재된 14,000여 개의 동형이의어 중 뜻풀이에 나타나는 8,164개의 동형이의어에 표제어 어깨번호를 이용한 의미 태그를 부착함으로써, 대량의 동형이의어 분별을 위한 공기(coocurrence)하는 단어와 빈도(frequency)정보를 추출하여 데이터베이스화 할 수 있었다. 본 동형이의어 태깅 시스템의 정확률 측정과 문제점 발견을 위해 (21세기 세종 계획) 프로젝트에서 제공하는 150만 어절 의미 태그 부착 말뭉치를 대상으로 실험한 결과 세종 150만 의미 태그 부착 말뭉치에 고빈도로 출현하는 469개 어휘(총 출현 횟수 249.249개)에 대한 정확률이 91.58%로 나타났다.

  • PDF

Transformer를 이용한 한국어 Head-Tail 품사 태거 (Korean Head-Tail POS-Tagger by using Transformer)

  • 김정민;서현재;강승식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.544-547
    • /
    • 2021
  • 한국어의 품사 태깅 문제는 입력 어절의 형태소 분석 후보들로부터 통계적으로 적절한 품사 태그를 가지는 후보들을 찾는 방식으로 해결하여 왔다. 어절을 형태소 단위로 분리하고 품사를 부착하는 기존의 방식은 품사태그 정보를 딥러닝 feature로 사용할 때 문장의 의미를 이해하는데 복잡도를 증가시키는 요인이 된다. 본 연구에서는 품사 태깅 문제를 단순화 하여 한 어절을 Head와 Tail이라는 두 가지 유형의 형태소 토큰으로 분리하여 Head와 Tail에 대해 품사를 부착한다. Head-Tail 품사 태깅 방법을 Sequence-to-Sequence 문제로 정의하여 Transformer를 이용한 Head-Tail 품사 태거를 설계하고 구현하였다. 학습데이터로는 KCC150 말뭉치의 품사 태깅 말뭉치 중에서 788만 문장을 사용하고, 실험 데이터로는 10만 문장을 사용하였다. 실험 결과로 토큰 정확도는 99.75%, 태그 정확도는 99.39%, 토큰-태그 정확도는 99.31%로 나타났다.

  • PDF

태그쌍의 의미유사도 기반 태그 랭킹 시스템 (Tag Ranking System based on Semantic Similarity of Tag-pair)

  • 이시화;황대훈
    • 한국멀티미디어학회논문지
    • /
    • 제16권11호
    • /
    • pp.1305-1314
    • /
    • 2013
  • 기존의 태그 기반 시스템들은 콘텐츠에 태깅된 태그들을 활용한 단일 태그 매칭을 통해 검색결과를 제공함에 따라 정확도가 낮은 검색결과를 제공하고 있으며, 또한 사용자들이 콘텐츠에 태깅 시 태그간의 연관관계 및 우선순위는 고려하지 않아 태그가 가지고 있는 콘텐츠와 관련된 정보들을 효율적으로 제공하지 못하고 있다. 이에 본 논문에서는 위의 문제점을 해결하기 위해 태그 기반 시스템에 적합한 태그간 의미 유사도를 추출하여 콘텐츠에 태깅된 태그들을 재 랭킹하기 위한 태그 랭킹 시스템을 제안하였다. 제안 시스템의 성능 평가는 이미지에 태깅된 태그(baseline)와 태그 동시출현 빈도수 기법을 적용한 랭킹(frequency) 결과를 본 논문에서 제안한 태그 랭킹 시스템에 의해 추출된 랭킹 결과와 비교 실험하였다.