• Annual Conference on Human and Language Technology
• /
• 2012.10a
• /
• pp.181-184
• /
• 2012

본 논문에서는 한국전자통신연구원 언어처리연구팀에서 개발하고 있는 차량용 대화 시스템을 위한 Dialog Act 태깅 코퍼스 구축 방법에 대해 기술하는 것을 목표로 한다. 차량용 태깅 코퍼스 구축 방법은 크게 차량용 대화 코퍼스 수집과 수집된 대화 코퍼스에 Dialog Act를 반자동으로 태깅하는 방법으로 나눌 수 있다. 차량용 대화 코퍼스 수집은 1) 대화플랜 맵 구축, 2) 표준대화 구축, 3) 자유대화 구축, 4) 사용자 발화에 패러프래징 발화 구축의 순으로 구축되었다. Dialog Act 태깅은 수집된 대화코퍼스로부터 슬롯 후보를 추출하여 슬롯 체계를 구축한 후 반자동 슬롯 태깅을 실시하고, 슬롯 태깅 결과와 Dialog Act Type을 조합하여 Dialog Act 태깅 코퍼스를 구축하였다. 이렇게 구축된 Dialog Act 태깅 코퍼스는 차량 공조시스템(에어컨, 히터 등) 및 차량 응급 조치 정보 서비스와 같은 차량용 대화 시스템에 적용 중에 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06c
• /
• pp.236-239
• /
• 2011

품사 태깅에서 오류는 같은 가중치를 가지는 것으로 간주되어 왔다. 하지만 품사 태깅의 결과를 활용하는 다른 자연어 처리 기술에 태깅 오류가 얼마나 영향을 미칠 수 있는가에 따라 품사 태깅 시 발생하는 오류가 가지는 가중치를 다르게 보아야 한다. 심각한 오류는 이를 활용하는 자연어 처리 기술의 성능 저하를 크게 야기하지만, 사소한 오류는 성능의 저하를 야기하지 않거나 그 영향이 미미하다. 본 논문에서는 품사 태깅 시, 전체적인 성능을 유지하면서 심각한 오류를 줄이는 것을 목표로 한다. 이를 위해 두 가지 점진적 손실 함수(gradient loss function)를 제안한다. 제안한 손실 함수는 심각한 오류에 사소한 오류보다 더 큰 가중치를 줌으로써 품사 태깅 모델이 심각한 오류에 더 집중하여 성능을 최적화하도록 한다. 실험에서 제안한 손실 함수를 활용한 태깅 모델은 기존의 방법에 비해 심각한 오류를 효과적으로 줄일 뿐만 아니라 전체적으로 더 높은 정확도를 보였다.

• Annual Conference on Human and Language Technology
• /
• 2007.10a
• /
• pp.134-139
• /
• 2007

품사 태깅 시스템에서 규칙 정보와 통계 정보는 상호보완적으로 사용되어 품사 태깅의 성능을 향상시킨다. 하지만, 두 가지 정보로는 품사 태깅의 성능을 향상시키기에는 한계가 있다. 이에 본 논문에서는 어절별 중의성 해소 정보를 이용하여 품사 태깅 시스템의 정확률을 향상시키는 방법에 대해서 기술한다. 통계 정보는 21세기 세종계획의 천만 어절 균형 말뭉치와 태그 부착 말뭉치에서 추출한 trigram 형태의 중의성 어절 및 품사 태그열 출현 빈도 정보를 이용하여 구축하였고, 규칙 정보는 보조용언, 숙어, 관용적 표현 등을 이용하여 구축하였다. 어절별 중의성 해소 정보는 세종 천만 어절 균형 말뭉치의 중의성 어절에서 고빈도 상위 50%에 해당하는 어절을 대상으로 해당 어절의 의미정보와 문맥정보를 고려하여 구축되었고, 이것은 통계 정보를 이용한 품사 태깅 전에 적용되어 분석 후보를 줄여준다. 또한, 학습을 통하여 어절별 중의성 해소 정보를 수정 및 보강하여 잘못된 품사 태깅 결과를 보정해준다. 이와 같이 통계 정보와 규칙 정보를 이용한 품사 태깅 시스템에 고빈도 중의성 어절에 대한 어절별 중의성 해소 정보를 이용함으로써 품사 태깅의 성능을 향상시킬 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2008.10a
• /
• pp.12-16
• /
• 2008

기존의 자연언어처리 연구 중 품사 태깅과 동형이의어 태깅은 별개의 문제로 취급되었다. 그로 인해 두 문제를 해결하기 위한 모델 역시 서로 다른 모델을 사용하였다. 이에 본 논문은 품사 태깅 문제와 동형이의어 태깅 문제는 모두 문맥의 정보에 의존함에 착안하여 은닉마르코프모델을 이용하여 두 가지 문제를 해결하는 시스템을 구현하였다. 제안한 시스템은 품사 및 동형이의어 태깅된 세종 말뭉치 1100만여 어절에 대해 unigram과 bigram을 추출 하였고, unigram을 이용하여 어절의 생성확률 사전을 구축하고 bigram을 이용하여 전이확률 사전을 구축하였다. 구현된 시스템의 성능 확인을 위해 비학습 말뭉치 261,360 어절에 대해 실험하였고, 실험결과 품사 태깅 99.74%, 동형이의어 태깅 97.41%, 품사 및 동형이의어 태깅 97.78%의 정확률을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2001.10d
• /
• pp.97-100
• /
• 2001

본 논문은 규칙과 통계 정보를 모두 적용하는 혼합형 품사 태깅 시스템에서 통계 정보를 이용하여 품사 태깅을 수행할 때 조사와 어미를 문법 기능에 따라 구분하여 사용하는 품사 태깅 시스템을 기술한파. 품사 태깅은 주로 주변의 품사열을 이용하게 되는데 품사 정보를 추출할 때 조사와 어미의 문법 기능인 조사의 격 정보와 어미의 활용형 정보에 따라 몇 가지로 분류하고 정보를 추출하여 품사 태깅에 적용하면 조사와 어미를 분류하지 않은 품사열 만을 사용한 태깅 방법 보다 더 나은 성능을 얻을 수 있다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1995.06a
• /
• pp.195-199
• /
• 1995

자연언어 처리 시스템의 전단부인 형태소 분석 모듈은 해결해야 할 두 가지 문제를 갖고 있다. 하나는 형태소 분석기가 여러 개의 분석 결과를 출력하여 생기는 품사 중의성이고, 다른 하나는 주어진 문장에 미등록어가 사용되어 형태소 분석이 실패되었을 때이다. 본 논문에서는 이 문제들을 해결하는 한국어 품사 태깅 시스템 KTS를 소개한다. KTS는 주어진 어절에 대해 모든 가능한 분석을 하는 형태소 분석기, 미등록어를 예측하는 미등록어 추정 모듈, 음절 정보와 단서 형태소를 이용하여 미등록어 후보의 수를 줄이는 미등록어 후보 여과기, 그리고 미등록어의 출현을 모델안에 포함한 품사 태깅 모듈로 구성되어 있다. KTS 의 품사태깅 모듈에는 두가지 태깅 방법인 경로 기반 태깅과 상태 기반 태깅의 유일 출력과 다중 출력 기능이 모두 구현되어 있으며, 실험에 의하면, 미등록어가 포함되지 않은 어절에 대해서 89.12%, 미등록어가 포함된 어절에 대해서 68.63%의 정확률을 각각 나타내었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.11a
• /
• pp.165-168
• /
• 2006

이 논문은 유한상태변환기만을 이용하여 한국어 형태소 분석 및 품사 태깅 시스템을 제안한다. 기존의 한국어 형태소 분석 시스템들은 규칙기반 형태소 분석기가 주를 이루고 한국어 품사 태깅 시스템은 은닉마르코프 모델 기반 품사 태깅이 주를 이루었다. 한국어 형태소 분석의 경우 유한상태변환기를 이용한 경우도 있었으나, 이 방법은 변환기를 작성하기 위한 규칙을 수작업으로 구축해야 하며, 그 규칙에 따라서 사전이 작성되어야 한다. 이 논문에서는 품사 태깅 말뭉치를 이용해서 유한상태변환기에서 필요한 모든 변환 규칙을 자동으로 추출한다. 이런 방법으로 네 종류의 변환기, 즉, 자소분리변환기, 단어분리변환기, 단어형성변환기, 품사결정변환기를 자동으로 구축한다. 구축된 변환기들은 결합연산(composition operation)을 이용하여 하나의 유한상태변환기를 구성하여 한국어 형태소 분석과 동시에 한국어 품사 태깅을 수행한다. 이 방법은 하나의 유한상태변환기만을 이용하기 때문에 복잡도는 선형시간(linear complexity)을 가지면, 형태소 분석기와 품사 태깅 시스템을 매우 짧은 시간 내에 개발 할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.414-417
• /
• 2020

최근 한국어 형태소 분석 및 품사 태깅에 관한 연구는 주로 표층형에 대해 형태소 분리와 품사 태깅을 먼저하고, 추가 언어자원을 사용하여 후처리로 형태소 원형과 품사를 복원해왔다. 본 연구에서는 형태소 분석 및 품사 태깅을 두 단계로 나누어, Sequence-to-Sequence를 활용하여 형태소 원형 복원을 먼저 하고, 최근 자연어처리의 다양한 분야에서 우수한 성능을 보이는 BERT를 활용하여 형태소 분리 및 품사 태깅을 하였다. 본 논문에서는 두 단계를 파이프라인으로 연결하였고, 제안하는 형태소 분석 및 품사 태깅 파이프라인 모델은 음절 정확도가 98.39%, 형태소 정확도 98.27%, 어절 정확도 96.31%의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2005.10a
• /
• pp.167-172
• /
• 2005

지금까지 자연언어처리에서의 품사태깅(parts-of-speech tagging) 기술에 대한 연구는 활발히 진행된 반면, 전문용어에 대한 처리 기술은 미비한 점이 많았다. 전문용어에 관련된 연구는 대부분 구축, 표준화, 추출 등에 대한 연구가 많았으나 전문용어 태그 설정과 태깅 기술 연구는 부족한 상황이다. 본 논문에서는 전문용어 태그를 (분야정보: 아이디) 순으로 설정하고 백과사전의 분류 체계를 이용하여 어떤 특정 분야 문서의 전문용어를 자동으로 태깅하는 시스템을 구축하였다. 전문용어 태깅 시스템은 형태소분석기를 사용하지 알고 문맥의 규칙과 조사 어미사전을 이용해 자동으로 태깅을 하게 된다. 이 시스템의 정확률 측정을 위한 정답말뭉치는 웹 상에 공개되어 있는 백과사전 html문서를 이용하였다. 우선 백과사전에 나와있는 용어는 전문용어라고 가정한다. 하나의 문서에는 '용어', '요약', '본문', '이미지', '분류', '참조항목' 등의 정보들이 있다. 이 중 '본문'에는 그 용어에 대한 자세한 설명이 있는데 특정 단어에는 태그로 백과사전 내에 있는 단어를 찾아 볼 수 있게 링크 되어있다. 이 정보를 이용해 태그로 되어있는 것을 설정한 태그로 바꾸고 단계별로 확장 태깅을 해서 정답말뭉치를 만든다. 태깅 시스템과 정답말뭉치를 비교해 정확률을 계산해서 시스템의 성능을 측정하였다.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.203-208
• /
• 2017

본 논문은 한글 자모 조합 임베딩을 이용하여 오타에 강건한 한국어 품사 태깅 시스템을 구축하는 방법에 대해 기술한다. 최근 딥 러닝 연구가 활발히 진행되면서 자질을 직접 추출해야 하는 기존의 기계학습 방법이 아닌, 스스로 자질을 찾아서 학습하는 딥 러닝 모델을 이용한 연구가 늘어나고 있다. 본 논문에서는 다양한 딥 러닝 모델 중에서 sequence labeling에 강점을 갖고 있는 bidirectional LSTM CRFs 모델을 사용하였다. 한국어 품사 태깅 문제에서 일반적으로 사용되는 음절 임베딩은 약간의 오타에도 품사 태깅 성능이 크게 하락하는 한계가 있었다. 따라서 이를 개선하기 위해 본 논문에서는 한글 자모 임베딩 값을 조합시킨 음절 임베딩 방식을 제안하였다. 강제로 오타를 발생시킨 테스트 집합에서 실험한 결과, 자모 조합 임베딩 기법이 word2vec 음절 임베딩 방식에 비해 형태소 분할은 0.9%, 품사 태깅은 3.5% 우수한 성능을 기록하였다.