• Title/Summary/Keyword: language models

Search Result 885, Processing Time 0.026 seconds

A Semi-supervised Learning of HMM to Build a POS Tagger for a Low Resourced Language

  • Pattnaik, Sagarika;Nayak, Ajit Kumar;Patnaik, Srikanta
    • Journal of information and communication convergence engineering
    • /
    • v.18 no.4
    • /
    • pp.207-215
    • /
    • 2020
  • Part of speech (POS) tagging is an indispensable part of major NLP models. Its progress can be perceived on number of languages around the globe especially with respect to European languages. But considering Indian Languages, it has not got a major breakthrough due lack of supporting tools and resources. Particularly for Odia language it has not marked its dominancy yet. With a motive to make the language Odia fit into different NLP operations, this paper makes an attempt to develop a POS tagger for the said language on a HMM (Hidden Markov Model) platform. The tagger judiciously considers bigram HMM with dynamic Viterbi algorithm to give an output annotated text with maximum accuracy. The model is experimented on a corpus belonging to tourism domain accounting to a size of approximately 0.2 million tokens. With the proportion of training and testing as 3:1, the proposed model exhibits satisfactory result irrespective of limited training size.

Zero-Shot Fact Verification using Language Models Perplexities of Evidence and Claim (증거와 Claim의 LM Perplexity를 이용한 Zero-shot 사실 검증)

  • Park, Eunhwan;Na, Seung-Hoon;Shin, Dongwook;Jeon, Donghyeon;Kang, Inho
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.524-527
    • /
    • 2021
  • 최근 국외에서 사실 검증 연구가 활발하게 이루어지고 있지만 한국어의 경우 데이터 집합의 부재로 인하여 사실 검증 연구가 이루어지는데 큰 어려움을 겪고 있다. 이러한 어려움을 해소하고자 자동 생성 모델을 통하여 데이터 집합을 생성하는 시도도 있으나 생성 모델의 특성 상 부정확한 데이터가 생성되어 사실 검증 연구의 퀄리티를 떨어뜨린다는 문제점이 있다. 이러한 문제점을 해소하기 위해 수동으로 구축한 100건의 데이터 집합으로 최근에 이루어진 퓨-샷(Few-Shot) 사실 검증을 확장한 학습이 필요없는 제로-샷(Zero-Shot) 질의 응답에 대한 사실 검증 연구를 제안한다.

  • PDF

The Effects of Task Complexity for Text Summarization by Korean Adult EFL Learners

  • Lee, Haemoon;Park, Heesoo
    • Journal of English Language & Literature
    • /
    • v.57 no.6
    • /
    • pp.911-938
    • /
    • 2011
  • The present study examined the effect of two variables of task complexity, reasoning demand and time pressure, each from the resourcedirecting and resource-dispersing dimension in Robinson's (2001) framework of task classification. Reasoning demand was operationalized as the two types of texts to read and summarize, expository and argumentative. Time pressure was operationalized as the two modes of performance, oral and written. Six university students summarized the two types of text orally and twenty four students from the same school summarized them in the written form. Results from t test and ANCOVA showed that in the oral mode, reasoning demand tends to heighten the complexity of the language used in the summary in competition with accuracy but such an effect disappeared in the written mode. It was interpreted that the degree of time pressure is not the only difference between the oral and written modes but that the two modes may be fundamentally different cognitive tasks, and that Robinson's (2001) and Skehan's (1998) models were differentially supported by the oral mode of tasks but not by the written mode of the tasks.

Knowledge Transfer in Multilingual LLMs Based on Code-Switching Corpora (코드 스위칭 코퍼스 기반 다국어 LLM의 지식 전이 연구)

  • Seonghyun Kim;Kanghee Lee;Minsu Jeong;Jungwoo Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.301-305
    • /
    • 2023
  • 최근 등장한 Large Language Models (LLM)은 자연어 처리 분야에서 눈에 띄는 성과를 보여주었지만, 주로 영어 중심의 연구로 진행되어 그 한계를 가지고 있다. 본 연구는 사전 학습된 LLM의 언어별 지식 전이 가능성을 한국어를 중심으로 탐구하였다. 이를 위해 한국어와 영어로 구성된 코드 스위칭 코퍼스를 구축하였으며, 기본 모델인 LLAMA-2와 코드 스위칭 코퍼스를 추가 학습한 모델 간의 성능 비교를 수행하였다. 결과적으로, 제안하는 방법론으로 학습한 모델은 두 언어 간의 희미론적 정보가 효과적으로 전이됐으며, 두 언어 간의 지식 정보 연계가 가능했다. 이 연구는 다양한 언어와 문화를 반영하는 다국어 LLM 연구와, 소수 언어를 포함한 AI 기술의 확산 및 민주화에 기여할 수 있을 것으로 기대된다.

  • PDF

LLaMA2 Models with Feedback for Improving Document-Grounded Dialogue System (피드백 기법을 이용한 LLama2 모델 기반의 Zero-Shot 문서 그라운딩된 대화 시스템 성능 개선)

  • Min-Kyo Jung;Beomseok Hong;Wonseok Choi;Youngsub Han;Byoung-Ki Jeon;Seung-Hoon Na
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.275-280
    • /
    • 2023
  • 문서 그라운딩된 대화 시스템의 응답 성능 개선을 위한 방법론을 제안한다. 사전 학습된 거대 언어 모델 LLM(Large Language Model)인 Llama2 모델에 Zero-Shot In-Context learning을 적용하여 대화 마지막 유저 질문에 대한 응답을 생성하는 태스크를 수행하였다. 본 연구에서 제안한 응답 생성은 검색된 top-1 문서와 대화 기록을 참조해 초기 응답을 생성하고, 생성된 초기 응답을 기반으로 검색된 문서를 대상으로 재순위화를 수행한다. 이 후, 특정 순위의 상위 문서들을 이용해 최종 응답을 생성하는 과정으로 이루어진다. 검색된 상위 문서를 이용하는 응답 생성 방식을 Baseline으로 하여 본 연구에서 제안한 방식과 비교하였다. 그 결과, 본 연구에서 제안한 방식이 검색된 결과에 기반한 실험에서 Baseline 보다 F1, Bleu, Rouge, Meteor Score가 향상한 것을 확인 하였다.

  • PDF

From Opposition to Cooperation: Semantic Change of with

  • Rhee, Seongha
    • Korean Journal of English Language and Linguistics
    • /
    • v.4 no.2
    • /
    • pp.151-174
    • /
    • 2004
  • A historical investigation reveals that English preposition with underwent a change from OPPOSITION to ASSOCIATION and further to ACCOMPANIMENT, where the first stage shows peculiarity in that the two concepts involved comprise an unusual set to form an extensional chain. Intrigued by this oddity, this paper aims to investigate the semantic structure of English preposition with from a grammaticalization perspective. We review mechanisms and models of semantic change and evaluate their adequacy with the semantic structure and change shown by with. Drawing upon the observed fact that with underwent the apparent antonymic semantic change, it is argued that such semantic change mechanisms as metaphor, metonymy, subjectification, and generalization have difficulties explaining the change, and that only the Frame-of-Focus Variation can effectively account for this peculiar change type. In terms of semantic change models, we argue that the Bleaching Model cannot effectively provide an explanation; that the Loss and Gain Model has problems in explaining the motivation of change directions; that the Metonymic-Metaphoric Model cannot be assessed at the current level of investigation; and that the Overlap Model and the Prototype Extension Model excellently account for the macro-level changes.

  • PDF

Visualization of Ocean Environments through VRML (VRML을 이용한 해역환경 가시화 연구)

  • Kim, Jong-Kyu;Park, Sang-Woo;Kim, Jong-Hwa
    • Journal of Fisheries and Marine Sciences Education
    • /
    • v.17 no.3
    • /
    • pp.427-433
    • /
    • 2005
  • The study of Web GUI(Graphic User Information) system for Virtual Reality System is mainly performed on effective methodology which transform real world data to computing world data. MGIS(Marine Geographic Information System) has its own target on reliable data service by acquisition of geometric information using accurate measurement and graphical visualization. This type of raw data visualization can be built without software tools, yet is incredibly useful for interpreting and communicating data. Even simple visualizations can aid in the interpretation of complex 3D relationships that are frequently encountered in the geosciences. The Virtual Reality Modeling Language provides an easy way for geoscientists to construct complex visualizations that can be viewed with free software. This study propose a three dimensional Web GUI system using MGIS-based three dimensional data models and virtual imaging system. Finally, we design a Web GUI system integrating above data models.

Knowledge-Based Approach for Computer-Aided Simulation Modeling (컴퓨터에 의해 수행되어지는 시뮬레이션 모델링을 위한 지식베이스 접근방법)

  • Lee, Young-Hae;Kim, Nam-Young
    • IE interfaces
    • /
    • v.2 no.2
    • /
    • pp.51-62
    • /
    • 1989
  • A computer-aided simulation modeling system has been developed to allow the automatic construction of complete discrete simulation models for queueing systems. Three types of knowledge are used in the specification and construction of a simulation modeling: Knowledge of queueing system, simulation modeling, and a target simulation language. This knowledge has been incorporated into the underlying rule base in the form of extraction and construction rule, and implemented via the expert system building tool, OPS5. This paper suggested a knowledge based approach for automatic programming to enable a user who lacks modeling knowledge and simulation language expertize to quickly build executable models.

  • PDF

College Admissions Counseling ChatBot based on a Large Language Models (대규모 언어 모델 기반 대학 입시상담 챗봇)

  • Se-Hoon Lee;Ung-Hoe Lee;Ji-Woong Kim;Yeon-Su Noh
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2023.07a
    • /
    • pp.371-372
    • /
    • 2023
  • 본 논문에서는 대규모 언어 모델(Large Language Models)을 기반으로 한 입학 상담용 챗봇을 설계하였다. 입시 전문 LLM은 Polyglot-ko 5.8B을 베이스 모델로 대학의 입시 관련 데이터를 수집, 가공한 후 데이터 증강을 하여 파인튜닝 하였다. 또한, 모델 성능 향상을 위해 RLHF의 후 공정을 진행하였다. 제안 챗봇은 생성한 입시 LLM을 기반으로 웹브라우저를 통해 접근하여 입시 상담 자동 응답 서비스를 활용할 수 있다.

  • PDF

A Study on Instruction Tuning for Large-scale Language Models (명령어 튜닝이 대규모 언어 모델의 문장 생성에미치는 영향력 분석)

  • Yohan Na;Dong-Kyu Chae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.684-686
    • /
    • 2023
  • 최근 대규모 언어모델 (large language models) 을 활용하여 다양한 자연어처리 문제를 추가학습 없이 풀어내기 위한 zero-shot 학습에 대한 연구가 활발히 수행되고 있다. 특히 프롬프트 튜닝(prompt tuning)을 활용하여 적은 학습만으로도 효과적으로 다양한 태스크에 적응하도록 돕는 방법이 최근 대규모 언어모델의 성능을 향상시키고 있다. 본 논문은 명령어 튜닝 (instruction tuning) 이 언어모델에 끼치는 영향을 분석하였다. 명령어 튜닝된 모델이 기존 언어모델과 비교하여 변화된 문장 생성 특징, 생성된 문장의 품질 등에 대한 분석을 수행하고 결과를 제시한다.