• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.10a
• /
• pp.341-344
• /
• 2000

통합정보사전은 고도의 언어처리 및 이해를 목적으로 한 것이며, 체계적이고 과학적인 방법론을 이용하여 형태소, 구문, 의미정보 등 각종 정보가 통합된 전자사전으로, 이를 개발하는데는 막대한 개발시간과 노력을 필요로 한다. 이러한 특성 때문에 통합정보사전을 구축하기 위해서는 정보를 통합하고 관리하는 사전개발 시스템의 개발이 선행되어야 한다. 현재까지의 사전개발 시스템은 사전 항목을 정의하고, 정의된 항목에 표제어별 정보를 입력하는 시스템으로, 단순한 정렬 및 검색에 의한 표제어 찾기 및 편집을 지원하고 있다. 본 논문에서는 사전의 계층화된 항목정보를 트리 형식으로 나타내어 사전의 개발 및 구축작업을 효율적으로 지원하기 위한 통합정보사전 개발 시스템인 YDK3를 설계하고 구현하였다. 구현한 YDK3는 기존의 각종 사전의 다양한 사전정보를 입력하는 기본적인 기능 외에, 항목정보를 기반으로 한 graph editor형식의 사용자 인터페이스가 제공되어, 사전의 개발, 자료입력 및 검색을 보다 쉽게 할 수 있다는 특징이 있다.

• Annual Conference on Human and Language Technology
• /
• 2001.10d
• /
• pp.252-259
• /
• 2001

의미주석말뭉치는, 문맥에 출현하는 각 어휘의 의미를 특정 사전의 세부의미항목(sense)에 대응시켜 주석함으로써 구축한 말뭉치이다. 이 말뭉치 구축에 있어서의 태그셋은, '연세 한국어 전자사전'의 각 의미기술정보를 기호화하여 사용하였다. 사람에 의한 실제 주석 작업 단계에서, 전자사전 정보의 불완전함 때문에 발생한 문제를 해결함으로써 본래의 사전 정보가 대폭 수정되었다. 즉, 의미 주석 과정에서 문제가 되는 요소에 대한 검토를 통해서 품사 정보, 문법 정보 등을 수정하고 기존 sense를 통합, 추가, 재배열함으로써 기존의 사전 정보를 개선할 수 있었다. 이와 같은 말뭉치와 전자사전, 자연언어 처리 시스템의 활발한 상호 작용을 통해서 언어정보처리 분야 연구의 질적 향상이 가능하다. 나아가, 인간이 직접 판단하여 주석한 대규모의 의미주석말뭉치를 분석하여 응용함으로써 텍스트내의 단어와 전자사전의 세부의미항목을 연결시키는 태거를 개발할 수 있을 것이다.

• Annual Conference on Human and Language Technology
• /
• 1999.10e
• /
• pp.479-483
• /
• 1999

본 논문에서는 사전 구조와 탐색알고리즘을 개선하여 형태소분석기의 분석 속도를 향상시켰다. 형태소분석기의 분석시간은 사전탐색과 제약검사의 비중이 크다. 따라서 형태소분석기의 처리속도는 사전 탐색 기법에 많은 영향을 받는다. 본 논문에서는 한국어 형태소분석기에서 사용되는 사전의 탐색속도 향상과 한 문서에 나타나는 동일한 어절에 대해서 cache를 사용하여 형태소분석기의 처리 속도를 빠르게 하였다. 또한 기존의 형태소분석기에서 속도 증가를 위해 사용하는 어절-형태소분석결과 사전을 활용하여 더 발전시켰다. 본 논문에서는 어절-형태소분석결과 사전을 사용할 때, 분석 속도향상을 위한 새로운 가속기법인 '하이브리드(HyBrid)'방법을 사용하여 어절-형태소분석결과 사전의 적중률을 높였다.

• Annual Conference on Human and Language Technology
• /
• 1997.10a
• /
• pp.411-415
• /
• 1997

형태소 분석기의 처리 속도는 분석 알고리즘과 형태소 사전의 탐색 기법에 따라 크게 좌우된다. 형태소 분석 성능의 향상을 위하여 많은 형태소 분석 방법이 제안되었으며, 음절 정보를 이용하는 형태소 분석기는 한국어 음절의 통계적 특성 정보를 이용함으로써, 분석 후보의 개수를 최대한 적게 하여 처리 속도를 향상시켰다. 본 논문은 형태소 분석시 발생하는 분석 후보들의 특성을 고려하여 사전 탐색 요구시 가장 많은 처리 시간을 필요로 하는 디스크 읽기 횟수를 줄일 수 있도록 음절별 블록 인덱싱한 사전 구성 방법을 제안한다. 이 방법은 형태소 사전을 첫 음절별로 블록화하고 인덱싱하여 3개의 추가적인 인덱스 테이블을 구축하는 사전 구성 방법으로, 인덱스 테이블을 모두 주기억장치에 적재하였을 때에는 평균 61.6%, 크기가 작은 두 개의 인덱스 테이블만 주기억장치에 적재하였을 때에는 평균 25%의 디스크 읽기 횟수를 줄일 수 있다.

• Annual Conference on Human and Language Technology
• /
• 1991.10a
• /
• pp.58-65
• /
• 1991

사전은 자연어를 처리하는 핵심 부분을 이루고 있다. 그러나 기존의 한국어 사전은 기계적인 처리에 직접 이용하기에는 크게 미흡하다. 특히, 사전의 기본을 이루는 표제어 수록에 관한 연구는 더욱 취약한 형편이다. 본 연구는 새로운 한국어 사전의 표제어률 구성하기 위하여 대형 말뭉치를 수집하였다. 이 말뭉치를 이용하여 기존 사전에서 빠져있는 미등록어들을 찾아내어 수록하고, 말뭉치에 나타난 각 단어의 출현 빈도를 조사하였다. 이 연구를 수행하기 위하여 형태소 분석기, 용례 분석기 등의 필수적인 텍스트 처리 도구들을 개발하였다. 또한, 말뭉치에 나타난 어절 단위의 오류 분포를 조사하여 밝히었다.

• Annual Conference on Human and Language Technology
• /
• 1990.11a
• /
• pp.89-94
• /
• 1990

본 발표는 현대 한국어 어휘에 대한 공시적 시각 우위의 총체적 기술을 지향하는 대규모 언어사전의 동사항목 기술에서 고려되어야 할 통사.어휘 정보의 한 가지로 동족보어 구문의 문제를 다룬다. 한국어 동족보이 구문의 언어학적 분석을 바탕으로, (ㄱ) 기간 한국어 사전에서의 처리 현황을 검토하고; (ㄴ) 사전적 정보로서의 동족보어 구문의 속성을 좀 더 따져보며; (ㄷ) 동족보이 구문의 통사. 어휘 속성을 사전에 체계적으로 기록해야할 근거나, 이와 관련된 구체적 사전 기술의 방안을 제시해 본다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.613-618
• /
• 2022

효과적인 자연어 처리를 위해 제안된 Transformer 구조의 등장 이후, 이를 활용한 대규모 언어 모델이자 사전학습 모델인 BERT, GPT, OPT 등이 공개되었고, 이들을 한국어에 보다 특화한 KoBERT, KoGPT 등의 사전학습 모델이 공개되었다. 자연어 처리 모델의 확보를 위한 학습 자원이 늘어나고 있지만, 사전학습 모델을 각종 응용작업에 적용하기 위해서는 데이터 준비, 코드 작성, 파인 튜닝 및 저장과 같은 복잡한 절차를 수행해야 하며, 이는 다수의 응용 사용자에게 여전히 도전적인 과정으로, 올바른 결과를 도출하는 것은 쉽지 않다. 이러한 어려움을 완화시키고, 다양한 기계 학습 모델을 사용자 데이터에 보다 쉽게 적용할 수 있도록 AutoML으로 통칭되는 자동 하이퍼파라미터 탐색, 모델 구조 탐색 등의 기법이 고안되고 있다. 본 연구에서는 한국어 사전학습 모델과 한국어 텍스트 데이터를 사용한 자연어 처리 모델 산출 과정을 정형화 및 절차화하여, 궁극적으로 목표로 하는 예측 모델을 자동으로 산출하는 시스템의 설계를 소개한다.

• Annual Conference on Human and Language Technology
• /
• 2000.10d
• /
• pp.156-162
• /
• 2000

언어학적 성과를 효과적으로 반영하고 운용할 수 있는 체계적인 전자 사전 구축을 위해선, 어휘들에 대한 총체적이고 체계적인 언어 정보 제공과 함께 효율적인 처리 방식이 무엇보다도 필요하다. 따라서 이번 전자 사전 구축 작업은 내용 면에서는 형태 정보를 중심으로 다양하고 상세한 어휘 특성들을 체계적으로 제시하였고, 기술 방식에 있어서는 모든 입력 정보를 코드화시킴으로써 효율성을 추구했다. 또한 연구 과정에서 나타난 문제 유형에 대한 인식과 검토는 앞으로 사전 개발의 원칙 및 방향을 설정하는데 도움을 줄 수 있을 것으로 기대한다. 특히 단어 형성 정보에 있어서 접사 정보가 부착된 파생어 사전은 어휘 확장과 중의성 해결을 하는데 활용될 수 있을 것이다. 본고에서는 3음절 명사 사전 작업의 전반적인 과정, 분류 유형, 어휘 정보, 기술 방법 및 앞으로 논의될 문제 유형들을 담고 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.04b
• /
• pp.1025-1028
• /
• 2002

인터넷이 널리 사용되면서 인터넷 사용자들의 웹 사전 사용 빈도가 크게 증가하였다. 현재 다양한 형태의 웹 사전들이 다양한 서비스를 제공하고 있지만, 대부분의 웹 사전들은 검색엔진 형태의 단순질의 검색과 인덱스를 이용한 검색 기능을 제공하고, 고정된 표현 형식만을 제공한다. 또한 사전내용, 인덱스, 참조 및 관련 사이트 정보를 관리하기 위한 도구의 부재로 관리가 어렵고, 저장형식으로 HTML 을 사용하기 때문에 사전 데이터의 재사용에 문제가 있다. 따라서 본 논문에서는 기존의 웹 사전들을 사용자-관리자 측면에서 분석하여 문제점을 제시하고, 이를 해결할 수 있도록 카테고리 검색 및 히스토리 검색 서비스를 지원하고, 데이터를 XML 문서로 저장하며, 전용의 사전 관리 도구를 제공하는 XML 기반 웹 사전 프레임워크를 제안하고 구현하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.11a
• /
• pp.373-375
• /
• 2011

최근 많은 연구가 되고 있는 오피니언 마이닝은 의견어 사전의 구축이 가장 기본적으로 선행되어야 하는 연구이다. 오피니언 마이닝의 의견어 사전 구축 연구는 영어를 중심으로 많은 연구가 진행 되었다. 하지만 형용사 위주의 의견어 사전 구축으로 많은 부분의 문제들이 해결되는 영어에 비해서 한국어는 여러 가지 품사와 문장구조를 고려하여 의견어 사전을 구축해야한다. 이것을 실험으로 밝히기 위하여 형용사로만 구성되어진 의견어 사전을 구축하고 영화평에 적용하여 분석해 봄으로써 형용사로만 구성되어진 의견어 사전의 한계점을 확인한다. 실험은 세종계획 말뭉치에서 나타나는 형용사로 구성된 의견어 사전을 구축하고 네이버 랩에서 제공하는 영화평을 형용사로 구성된 의견어 사전으로 의견 분석하여 시행하였다. 분석 결과 재현율 약 50%, 정확률 약 60%정도의 성능을 보였다.