• 제목/요약/키워드: 한국어정보처리

검색결과 2,780건 처리시간 0.035초

한국어 사전학습 모델을 활용한 자연어 처리 모델 자동 산출 시스템 설계 (An Automated Production System Design for Natural Language Processing Models Using Korean Pre-trained Model)

  • 장지형;최호윤;이건우;최명석;홍참길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.613-618
    • /
    • 2022
  • 효과적인 자연어 처리를 위해 제안된 Transformer 구조의 등장 이후, 이를 활용한 대규모 언어 모델이자 사전학습 모델인 BERT, GPT, OPT 등이 공개되었고, 이들을 한국어에 보다 특화한 KoBERT, KoGPT 등의 사전학습 모델이 공개되었다. 자연어 처리 모델의 확보를 위한 학습 자원이 늘어나고 있지만, 사전학습 모델을 각종 응용작업에 적용하기 위해서는 데이터 준비, 코드 작성, 파인 튜닝 및 저장과 같은 복잡한 절차를 수행해야 하며, 이는 다수의 응용 사용자에게 여전히 도전적인 과정으로, 올바른 결과를 도출하는 것은 쉽지 않다. 이러한 어려움을 완화시키고, 다양한 기계 학습 모델을 사용자 데이터에 보다 쉽게 적용할 수 있도록 AutoML으로 통칭되는 자동 하이퍼파라미터 탐색, 모델 구조 탐색 등의 기법이 고안되고 있다. 본 연구에서는 한국어 사전학습 모델과 한국어 텍스트 데이터를 사용한 자연어 처리 모델 산출 과정을 정형화 및 절차화하여, 궁극적으로 목표로 하는 예측 모델을 자동으로 산출하는 시스템의 설계를 소개한다.

  • PDF

자연어 처리 기술을 활용한 비대면 한국어 회화 연습 애플리케이션 설계 및 구현 (Korean Speaking Practice Mobile Application using Natural Language Processing Technology)

  • 김수연;김지현;송나은;윤서하;홍민영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.1223-1226
    • /
    • 2021
  • 본 논문은 비대면 한국어 회화 시험 연습용 안드로이드 애플리케이션을 제안한다. 한국어 학습에 대한 수요가 증가함에 따라 효과적인 한국어 회화 학습을 위해선 시·공간의 제약이 없는 학습 환경에서 사용자에게 구체적인 평가 지표를 제공할 필요성이 있다. 본 연구는 자연어 처리 기술을 활용하여 사용자의 한국어 회화 능력을 평가하는 알고리즘과 개인의 취약점을 보완할 수 있는 비대면 학습 플랫폼을 제시하였다는데 의의가 있다. 본 논문의 결과를 통해 회화 학습의 비용을 절감하고, 효율적인 언택트 학습 지원이 가능할 것으로 기대한다.

자연언어에 의한 질의응답 시스템의 설계 (Design of Q/A System By Natural Language Processing)

  • 김영길;강석훈;우요섭;김한우;최병욱
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1992년도 제4회 한글 및 한국어정보처리 학술대회
    • /
    • pp.469-477
    • /
    • 1992
  • 본 논문에서는 자연언어 처리를 기반으로 한 질의응답 시스템을 설계하며 그 대상을 호텔 예약 시스템으로 한다. 시스템은 크게 언어 해석부, 문맥 처리부, 화제 처리부 및 한국어 생성부로 구성한다. 언어 처리부에서는 단일화 문법을 적용하여 사용자가 입력한 질의문을 해석하며 그 해석결과로부터 이 후 질의응답에 사용되는 정보들인 술어, 각 명사구들의 의존 관계치 및 의미 제약치를 얻어 낸다. 문맥처리를 수행하여 생략문 등에 의해 결핍된 정보들을 추출함으로서 정보의 손실을 보완한다. 이 정보들을 이용하여 사용자와 시스템간의 자연스러운 대화를 진행하기 위한 화제처리를 수행하며, 최종적으로 화제 처리부에서 파악한 화자의 의도를 기초로 사용자가 요구한 정보를 제공하고 계속된 대화진행을 위해 적절한 한국어를 생성해 주는 한국어 생성부를 거치게 된다. 본 논문에서는 호텔 예약이라는 정해진 영역하에서 자연언어처리에 의해 추출한 술어, 각 명사구들의 의존관계치 및 의미제약치 정보들을 이용하여 문맥처리와 화제처리를 수행함으로서 더욱 효율적인 질의응답 시스템을 구현할 수 있음을 보인다.

  • PDF

한국어 형태소 분석을 위한 단어 유형 분류와 자료구조 (Word Classification and Data Structure for Korean Morphological Analysis)

  • 강승식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.241-245
    • /
    • 1996
  • 한국어 정보처리 시스템은 유형별로 다양한 형태의 형태소 분석 정보를 필요로 하는데 이를 위하여 한국어의 단어 유형을 분류하고 형태소 분석 결과를 효율적으로 저장하는 자료구조를 제안한다. 형태소 분석에 필요한 단어 유형은 일반적인 유형과 단순화된 유형으로 구분하여 비교하였으며, 이를 기반으로 형태소 분석을 위한 새로운 단어 구성 전이도를 제시하였다. 형태소 분석 결과를 저장하는 자료구조는 HAM에서 사용되고 있는 자료구조를 기반으로 응용시스템에서 필요로 하는 정보를 쉽게 사용할 수 있도록 보완하고 저장 공간의 효율성을 개선하였다.

  • PDF

한국어의 이해와 산출의 심리적 과정 (Comprehension and Production Processes of Korean: A Review on Psychological Research)

  • 이정모;이재호;김영진
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1994년도 제6회 한글 및 한국어정보처리 학술대회
    • /
    • pp.3-22
    • /
    • 1994
  • 한국어의 이해와 산출의 심리적 과정에 대한 인지심리학적 연구들을 개관하였다. 한국어의 통사적 구분분석처리 과정, 대용어 참조 해결 과정, 덩이글 이해와 지식구조의 활용 과정, 말실수와 글쓰기의 언어 산출 과정 등에 대한 심리학적 연구를 개관하여 주요 실험적 결과와 이론적 의의를 논하고, 이들이 앞으로의 한국어 이해와 산출 과정에 대한 인지과학적 연구에 시사하는 바를 논의하였다.

  • PDF

다국어 말뭉치 분석기의 한국어 처리 구현에 관한 연구 (A Study on Implementation of treatment of Korean in multi-Language Corpus Analyzer)

  • 허현규;정혜명
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.118-121
    • /
    • 2009
  • 말뭉치 분석기는 언어 연구에 필요한 도구로써 망뭉치 분석을 통한 언어 정보의 추출, 적용 및 확인용으로 사용할 수 있다. 본 논문에서는 언어 기술을 국부 문법에 의한 그래픽적인 기술방법으로 처리하는 말뭉치 분석기를 이용하여 한국어 텍스트를 연구하기 위하여 기존의 굴절어 중심으로 구현되어진 다국어 말뭉치 분석기에 한국어와 같은 교착어들의 텍스트 처리를 위한 기능을 구현한다.

YDK-Term : 한국어 용언의 다국어 통합정보사전 (A Thesaurus for Korean Language)

  • 최용준;황도삼;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1998년도 제10회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.321-326
    • /
    • 1998
  • 통합정보사전은 각종 자연언어처리 시스템에 있어서 고도의 언어처리 및 성능향상을 위한 필수 요소이며, 아무리 좋은 언어 처리 도구와 처리 알고리즘이라도 계산언어학에 근거한 양질의 체계적인 전자사전이 없는 한 이의 실용화는 불가능하다. 기존에 출판되어 있는 사전은 자연언어처리 및 이해의 관점에서 개발된 사전이 아니며, 자연언어처리 도구 및 응용시스템에 사용되는 사전은 목적에 따라 각기 다른 체계에 의해 구축되어 있어 이용하는데 있어서 비효율적이다. 따라서, 고도의 언어처리 및 이해를 목적으로 한 체계적이며 과학적인 방법론을 이용하여 형태소, 구문, 의미정보 등 각종 정보가 통합된 통합정보사전의 개발이 반드시 필요하다. 본 논문에서는 다국어 통합정보사전 구축을 위한 한국어 용언의 통합정보사전을 설계한다. 이를 위해 사전구축 방법론을 정립하고, 정립된 방법론을 바탕으로 하여 통합 정보사전의 개발을 위한 통합정보사전 개발 시스템을 설계하고 구현하였다.

  • PDF

한국어 명사 의미 계층 구조 구축 (Construction of A Semantic Hierarchy of Korean Nouns)

  • 조평옥;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.129-135
    • /
    • 1997
  • 한국어 명사들을 의미별로 분류하여 계층화시킨 '한국어 명사 의미 계층 구조'는, 한국어 문장을 처리할 때 한국어의 의미 정보를 제공할 수 있는 매우 중요한 정보들 중의 하나이다. 본 논문에서는, 국어 사전의 명사에 대한 뜻풀이말을 이용하여 bottom-up 방식으로 '한국어 명사 의미 계층 구조'를 구축하였다. 본 논문에서 구축한 '한국어 명사 의미 계층 구조'는, tree가 43개, node가 12,833개, terminal node가 10,347 개이며, 깊이가 17인 하나의 forest이다. 이것의 제 1, 2 계층(level 1,2)에서의 분류 형태는 top-down 방식에 의한 기존의 분류들과 매우 다른 모습인 반면에, 제 3 계층 이하에서의 분류 형태는 의미소성(意味素性)에 의한 기존의 분류와 거의 일치하는 모습을 나타낸다.

  • PDF

상황정보에 기반한 한국어대화의 전산적 처리와 표상구조의 구축 (Computational Processing of Korean Dialogue and the Construction of Its Representation Structure Based on Situational Information)

  • 이동영
    • 정보처리학회논문지B
    • /
    • 제9B권6호
    • /
    • pp.817-826
    • /
    • 2002
  • 한국어대화에서는 존대현상(honorification phenomenon)이 일어나기도 하고, 존대대명사(honorific pronoun)가 사용되기도 하며, 맥락상 되찾을 수 있으면 주어나 목적어가 완전히 생략되기도 한다. 이러한 특징적인 언어현상이 일어나는 한국어대화를 처리하고 그것의 표상구조를 만들기 위해서 대화참석자에 관한 정보, 발화문의 화행에 관한 정보. 대화에 관련된 사람들의 사회적 지위에 있어서의 상대적 순위에 관한 정보, 대화에 나타나는 발화문 사이의 정보흐름 등을 묵시적으로가 아니라 명시적으로 표시하고 이용할 것을 본 논문은 제안한다. 또한. 본 논문은 이러한 상황정보(situational information)를 표시하고 이용하는 방법과 한국어대화의 적절한 표상구조를 제시한다. 본 논문에서 한국어대화표상구조의 설정은 담화표상이론(Discourse Representation Theory)과 분할담화표상이론(Segmented Discourse Representation Theory)을 수정ㆍ확대하여 이루어진다. 나아가서, 본 논문은 한국어대화를 전산적으로 어떻게 처리하고 그것의 표상구조를 구축하는지를 프롤로그 프로그래밍 언어를 사용하여 보여주고 나서, 그러한 표상구조의 타당성을 알아보기 위해 자연발생적 한국어대화에도 적용시켜 본다.

한영 기계번역 시스템을 위한 효율적인 한국어 용언 처리 (Efficient Korean Predicates Processing for Korean-English Machine Translation System)

  • 박홍원;정경진;네기시 켄이치로;임유정
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.288-293
    • /
    • 2001
  • 한영 기계번역 시스템을 구현하기 위해서는 다양하게 활용하는 한국어 용언을 보다 효율적으로 처리해야 할 필요가 있다. 한국어 용언은 그 활용이 매우 다양하여 활용에 따라 문장 내에서 다양하게 기능하게 된다. 한영 기계번역 시스템에서는 용언의 활용이 가지는 여러 정보를 효율적으로 분석하여 해당정보를 보다 효과적으로 역문에 반영시키는 연구가 필요하다. 본 논문에서는 용언의 활용에 따른 여러 정보-시제에 관한 정보(선어말어미 관련), 문종에 관한 정보(어말어미 관련), 양상에 관한 정보(보조용언, 어말어미 관련) 등-를 통일된 코드를 이용하여 일괄적으로 처리하는 방법론과 그 과정을 제시한다.

  • PDF