• Title/Summary/Keyword: Processing Language

검색결과 2,728건 처리시간 0.026초

언어 변화와 언어 처리 - '는게/는데' 문법 화와 자동 태깅 시스템- (The Language Change and Language Processing)

  • 최운호
    • 인지과학
    • /
    • 제10권2호
    • /
    • pp.35-43
    • /
    • 1999
  • 본 논문에서는 현대 한국어에서 나타나는 언어 변화 현상에 대한 설명과 그러한 언어 현상이 언어 처리 시스템에 미칠 수 있는 영향을 연구한다. 현대 한국어에서는〔관형형 어미 + 의존 명사 + (조사)〕와 같은 통사론적 구성이 형태론적 구성으로 변화되는 과정이 나타나고 있으며 몇몇 형태에서는 문자 언어 생활에서도 두드러지게 나타나고 있다. 이러한 예로 통사론적 구성〔관형형 어미 + 의존명사‘데’(+조사)〕이‘-는데’로,〔관형형 어미 + 의존명사‘것’+ 조사〕구성이‘-는게’로 나타나고 있으며, 음성 언어 생활에서는 더욱 두드러지고 있어서 다른 어미와 구별하기 어렵다. 이와 같은 유형의 형태는 다른 접속 문 어미나 내포문 어미처럼 복합문 구성에 관여하는 것으로 파악할 수 있는데, 다른 어미와는 달리 이 형태 자체에 문법적인 격 기능이 융합되어 있다. 따라서, 이러한 형태에 대한 분석 방법은 언어 처리 시스템의 구성에 영향을 미칠 수 있으며, 자동 태깅 시스템. 통사 분석 시스템 등에는 특히 그러하다. 그러므로, 언어 처리 시스템의 설계에 이러한 언어 변화 현상이 반영될 필요가 있다.

  • PDF

KorPatELECTRA : A Pre-trained Language Model for Korean Patent Literature to improve performance in the field of natural language processing(Korean Patent ELECTRA)

  • Jang, Ji-Mo;Min, Jae-Ok;Noh, Han-Sung
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권2호
    • /
    • pp.15-23
    • /
    • 2022
  • 특허 분야에서 자연어처리(Natural Language Processing) 태스크는 특허문헌의 언어적 특이성으로 문제 해결의 난이도가 높은 과제임에 따라 한국 특허문헌에 최적화된 언어모델의 연구가 시급한 실정이다. 최근 자연어처리 분야에서는 특정 도메인에 특화되게 사전 학습(Pre-trained)한 언어모델을 구축하여 관련 분야의 다양한 태스크에서 성능을 향상시키려는 시도가 지속적으로 이루어지고 있다. 그 중, ELECTRA는 Google이 BERT 이후에 RTD(Replaced Token Detection)라는 새로운 방식을 제안하며 학습 효율성을 높인 사전학습 언어모델이다. 본 연구에서는 대량의 한국 특허문헌 데이터를 사전 학습한 KorPatELECTRA를 제안한다. 또한, 특허 문헌의 특성에 맞게 학습 코퍼스를 정제하고 특허 사용자 사전 및 전용 토크나이저를 적용하여 최적화된 사전 학습을 진행하였다. KorPatELECTRA의 성능 확인을 위해 실제 특허데이터를 활용한 NER(Named Entity Recognition), MRC(Machine Reading Comprehension), 특허문서 분류 태스크를 실험하였고 비교 대상인 범용 모델에 비해 3가지 태스크 모두에서 가장 우수한 성능을 확인하였다.

Scalable Deep Linguistic Processing: Mind the Lexical Gap

  • Baldwin, Timothy
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2007년도 정기학술대회
    • /
    • pp.3-12
    • /
    • 2007
  • Coverage has been a constant thorn in the side of deployed deep linguistic processing applications, largely because of the difficulty in constructing, maintaining and domaintuning the complex lexicons that they rely on. This paper reviews various strands of research on deep lexical acquisition (DLA), i.e. the (semi-)automatic creation of linguistically-rich language resources, particularly from the viewpoint of DLA for precision grammars.

  • PDF

도서관$\cdot$정보학에서의 인공지능의 응용에 관한 고찰 (Artificial Intelligence Applications in Library and Information Science)

  • 정영미
    • 한국문헌정보학회지
    • /
    • 제14권
    • /
    • pp.67-92
    • /
    • 1987
  • In this paper, artificial intelligence applications in library and information science are reviewed. Especially, natural language processing and expert systems are represented as the two major application areas. In natural language processing, natural language interface systems and .question-answering systems are discussed in detail with some specific examples. In the second part of the paper, online search intermidiary systems, reference expert systems, classification and cataloging expert systems are described as possible expert systems to be developed in libraries and information systems. As a conclusion, implications of the artificial intelligence applications for librarians and information scientists are suggested.

  • PDF

함수형 언어의 패턴 매칭 기능과 제약에 관한 연구 (Pattern Matching and Its Restrictions in Functional Languages)

  • 권기항;주예찬;신현삼
    • 한국정보처리학회논문지
    • /
    • 제6권5호
    • /
    • pp.1291-1295
    • /
    • 1999
  • Modern functional languages provide some forms of pattern matching capability in them. However, these forms are on an ad-hoc basis and vary from languages to languages, making the user hard to understand the feature. To overcome this problem, we present a systematic approach to adding pattern matching to functional language. We extend to the core functional language with pattern matching capability and illustrate several examples of the language. We also discuss how to extend the pattern matching capability to higher-order terms.

  • PDF

거대 언어 모델 (Large Language Model, LLM)과 도구 결합의 보안성 연구 (Safety of Large Language Model-Tool Integration)

  • 김주희;이병영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.210-213
    • /
    • 2024
  • 이 연구는 거대한 언어 모델 (Large Language Model, LLM)과 도구를 결합한 시스템의 보안 문제를 다룬다. 프롬프트 주입과 같은 보안 취약점을 분석하고 이를 극복하기 위한 프롬프트 권한 분리 기법을 제안한다. 이를 통해 LLM-도구 결합 시스템에서의 사용자 데이터의 기밀성과 무결성을 보장한다.

온라인 방식의 자연언어 해석기 설계 (Design of On-Line Natural Language Parser)

  • 우요섭;최병욱
    • 전자공학회논문지B
    • /
    • 제31B권3호
    • /
    • pp.14-23
    • /
    • 1994
  • A natural language processing system usually has the demerit that its processing time is relatively long. If an interactive system makes its user kept waiting long, it can't be said to be practical. In this paper, the on-line natural language parser in which its processing coincides with the sentence's inputting is designed. Since the greater part of morpholgical and syntatic semantic analysis is already performed during the keyboard input, user can get a prompt response. Moreover, the Korean parser is implemented in multitasking environment, and it is compared with an off-line parser. The on-line parser can be considered to be efficient for its real time processing.

  • PDF

웹 기반의 언어자원 객체화에 근거한 사전 개발 시스템 (A Dictionary Constructing System based on a Web-based Object Model of Distributed Language Resources)

  • 황도삼
    • 인지과학
    • /
    • 제12권1_2호
    • /
    • pp.1-9
    • /
    • 2001
  • 본 논문에서는 각기다른 장소에 다양한 형태로 분산되어 있는 여러 가지 언어자원들을 웹 기반에서 객체화시키는 모델을 제안한다. 웹 기반에서 객체화된 언어자원들은 다양한 응용 시스템 개발에 간단한 방법으로 이용되어 강력한 자연언어처리 응용 시스템을 구성할 수 있다. 또한, 초기 개발 이후에 이루어진 각 언어자원들의 개량은 별도의 처리과정 없이 자동으로 각 응용 시스템에 반영되므로 효과적인 유지보수가 가능하다는 장점이 있다. 제안한 모델의 적합성을 검증하기 위해 사전 개발 시스템 YDK2000를 설계하고 구현하였다. 개발한 YDK 2000은 기존의 각종 사전의 여러 가지 사전정보를 통합할 수 있을 뿐 아니라 여러 자연언어처리 시스템들과의 인터넷 접속을 통해 언어처리를 위한 사전정보를 손쉽게 통합할 수 있어 고품질의 사전을 개발할 수 있다.

  • PDF

자동 키워드망과 2단계 문서 순위 결정에 의한 자연어 정보검색 모델 (A Natural Language Information Retrieval Model using Automatic Network and Two-level Document Ranking)

  • 강현규;박세영;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1995년도 제7회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.8-12
    • /
    • 1995
  • 본 논문은 정보검색에서 사용자에게 순서화된 문서를 제시하기 이전에 1차로 검색된 문서들에 대하여 자동 키워드망과 2단계로 문서 순위 결정하는 모델에 대하여 논하였다. 자연어 검색을 위한 색인은 자동으로 구축된 키워드 색인으로 1차로 자연어 검색을 하고, 2차로 자동 키워드망을 이용한 순위재조정을 통해 검색효율의 향상에 관해 검색 효율을 평가하여 1차 검색 결과보다 최대 10.9%의 검색효율 향상을 보였다. 또한 문서 순위 조정 방법에 있어서 여러 가지 공식을 비교 분석하였으며 내용 검색을 반영하는 공식을 찾았다. 본 논문에서 제시한 2단계 순위 결정 방법은 리스트를 기반으로 하는 정보 검색의 분야에 적용되어 검색효율을 높일 수 있는 한가지 방법이 될 수 있을 것이다.

  • PDF