• 제목/요약/키워드: language model adaptation

검색결과 42건 처리시간 0.024초

DAKS: 도메인 적응 기반 효율적인 매개변수 학습이 가능한 한국어 문장 분류 프레임워크 (DAKS: A Korean Sentence Classification Framework with Efficient Parameter Learning based on Domain Adaptation)

  • 김재민;채동규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.678-680
    • /
    • 2023
  • 본 논문은 정확하면서도 효율적인 한국어 문장 분류 기법에 대해서 논의한다. 최근 자연어처리 분야에서 사전 학습된 언어 모델(Pre-trained Language Models, PLM)은 미세조정(fine-tuning)을 통해 문장 분류 하위 작업(downstream task)에서 성공적인 결과를 보여주고 있다. 하지만, 이러한 미세조정은 하위 작업이 바뀔 때마다 사전 학습된 언어 모델의 전체 매개변수(model parameters)를 학습해야 한다는 단점을 갖고 있다. 본 논문에서는 이러한 문제를 해결할 수 있도록 도메인 적응기(domain adapter)를 활용한 한국어 문장 분류 프레임워크인 DAKS(Domain Adaptation-based Korean Sentence classification framework)를 제안한다. 해당 프레임워크는 학습되는 매개변수의 규모를 크게 줄임으로써 효율적인 성능을 보였다. 또한 문장 분류를 위한 특징(feature)으로써 한국어 사전학습 모델(KLUE-RoBERTa)의 다양한 은닉 계층 별 은닉 상태(hidden states)를 활용하였을 때 결과를 비교 분석하고 가장 적합한 은닉 계층을 제시한다.

개방형 유연제조셀 제어기를 위한 오퍼레이션 모델에 관한 연구 (Study on Operation Model for Open Architecture Flexible Manufacturing Cell Controller)

  • 최경현
    • 동력기계공학회지
    • /
    • 제4권4호
    • /
    • pp.92-98
    • /
    • 2000
  • Modern manufacturing systems should cope with the frequent changes in a product model and disturbances in manufacturing process. The control system of such systems must cover a constant adaptation and high flexibility. Holonic Flexible Manufacturing Cell(HFMC) is introduced to handle these issues more successfully. It is based on the concept of autonomous co-operating agent, called 'Holon', which is a building block of a manufacturing system for transforming, transporting, storing and/or validating information and physical objects. In this paper the basic structure of the HFMC is represented by using Unified Modeling Language and Open architecture cell controller is developed for effective integration components of a manufacturing system. Also a new control model, called MuLOM(Multi-Layered Operation Model), is suggested to represent the control behaviour for a holonic flexible manufacturing cell control system.

  • PDF

흙토람 데이터베이스를 활용한 작물 모델의 토양입력자료 생성 (Preparation of Soil Input Files to a Crop Model Using the Korean Soil Information System)

  • 유병현;김광수
    • 한국농림기상학회지
    • /
    • 제19권3호
    • /
    • pp.174-179
    • /
    • 2017
  • 토양 변수는 작물 모형을 통한 기후변화 시나리오 조건에서의 작황 예측에 있어 중요한 환경적 요소이다. 토양 환경 정보 시스템 (Korean Soil Information System; KSIS)에서는 390 개의 토양통에 대한 자세한 정보를 제공하고 있다. 그러나, 이러한 토양 정보는 HTML (Hyper Text Markup Language) 문서 형식으로 제공되고 있어 작물 모형용 토양입력 자료로 변환하는 데에 어려움이 있다. 이에 따라 KSIS의 토양정보를 기반으로 작물모델의 토양 입력자료를 생산하는 도구인 Korean Soil Information System Processing Tool (KSISPT) 를 개발하였다. 이 도구는 객체 지향 프로그래밍 언어인 JAVA로 작성되었으며 여러 개의 모듈로 구성되었다. 이 모듈들을 통해 각각 KSIS 웹 페이지 문서 분석, 토양 자료 저장, 추가 변수 생성, 토양 입력자료 출력 등의 기능이 구현되었다. 각 토양통의 특성을 고려한 총 940여개의 토양 입력 자료가 생성되었다. 이 토양 자료를 KSIS에서 제공하는 30m 해상도의 토양통 공간적 분포 지도와 함께 활용된다면, 미래 기후 조건에서 작물 생산성의 시공간적 분석이 용이해지고 이를 기반으로 기후 변화 적응 대책수립에 도움을 줄 수 있을 것이다.

대규모 언어 모델의 최적화를 위한 지시형 미세 조정과 LoRA 결합 접근법 (Instruction Fine-tuning and LoRA Combined Approach for Optimizing Large Language Models)

  • 김상국;노경란;한혁;최붕기
    • 산업경영시스템학회지
    • /
    • 제47권2호
    • /
    • pp.134-146
    • /
    • 2024
  • This study introduces and experimentally validates a novel approach that combines Instruction fine-tuning and Low-Rank Adaptation (LoRA) fine-tuning to optimize the performance of Large Language Models (LLMs). These models have become revolutionary tools in natural language processing, showing remarkable performance across diverse application areas. However, optimizing their performance for specific domains necessitates fine-tuning of the base models (FMs), which is often limited by challenges such as data complexity and resource costs. The proposed approach aims to overcome these limitations by enhancing the performance of LLMs, particularly in the analysis precision and efficiency of national Research and Development (R&D) data. The study provides theoretical foundations and technical implementations of Instruction fine-tuning and LoRA fine-tuning. Through rigorous experimental validation, it is demonstrated that the proposed method significantly improves the precision and efficiency of data analysis, outperforming traditional fine-tuning methods. This enhancement is not only beneficial for national R&D data but also suggests potential applicability in various other data-centric domains, such as medical data analysis, financial forecasting, and educational assessments. The findings highlight the method's broad utility and significant contribution to advancing data analysis techniques in specialized knowledge domains, offering new possibilities for leveraging LLMs in complex and resource-intensive tasks. This research underscores the transformative potential of combining Instruction fine-tuning with LoRA fine-tuning to achieve superior performance in diverse applications, paving the way for more efficient and effective utilization of LLMs in both academic and industrial settings.

OWL 및 프로세스 인지 서비스를 위한 지식 모델 개발 (An OWL-based Knowledge Model for Process and Location-aware Service)

  • 박주경;김건희;한만철;박세형;김래현;하성도
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2009년도 학술대회
    • /
    • pp.290-294
    • /
    • 2009
  • 병원, 관공서와 같이 규모가 크고 복잡한 공공기관을 방문하는 경우 우리는 종종 어디로 가서 무엇을 해야 할지에 대한 혼란을 겪게 된다. 이러한 문제를 해결하기 위하여 상황인지 기반의 안내 시스템을 제안하고, 사용자의 상황 인지를 위한 지식 모델을 설계한다. 시스템은 능동적으로 사용자의 상황에 대처해야 하므로, 상황 인지 기반의 안내 서비스를 위해 사용자의 위치와 프로세스를 통합적으로 인지 할 수 있어야 한다. 따라서 본 논문에서는 시공간 상황 변화를 인지하고 대응 할 수 있는 위치와 프로세스가 통합된 지식 모델을 제시한다.

  • PDF

A Korean Flight Reservation System Using Continuous Speech Recognition

  • Choi, Jong-Ryong;Kim, Bum-Koog;Chung, Hyun-Yeol;Nakagawa, Seiichi
    • The Journal of the Acoustical Society of Korea
    • /
    • 제15권3E호
    • /
    • pp.60-65
    • /
    • 1996
  • This paper describes on the Korean continuous speech recognition system for flight reservation. It adopts a frame-synchronous One-Pass DP search algorithm driven by syntactic constraints of context free grammar(CFG). For recognition, 48 phoneme-like units(PLU) were defined and used as basic units for acoustic modeling of Korean. This modeling was conducted using a HMM technique, where each model has 4-states 3-continuous output probability distributions and 3-discrete-duration distributions. Language modeling by CFG was also applied to the task domain of flight reservation, which consisted of 346 words and 422 rewriting rules. In the tests, the sentence recognition rate of 62.6% was obtained after speaker adaptation.

  • PDF

Analysis of Structural Relationships of Pragmatic Language Ability in Children's Language Development

  • Moon, Kyung-Im
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권11호
    • /
    • pp.237-245
    • /
    • 2021
  • 본 연구는 한국아동패널 11차 년도에 조사가 완료된 자료를 활용하여 인지 및 언어발달 분야의 아동 화용언어 체크리스트 도구에 의해 조사된 담화관리, 상황에 따른 조절 및 적용 능력, 의사소통 의도, 비언어적 의사소통의 잠재변수에 대한 관측변수 요인 간의 관계를 분석하여 유의미한 영향력을 찾아내는 것이다. 본 연구의 대상은 한국아동패널 11차 년도(2018년) 자료 2150가구 중 조사 미 참여 722가구를 제외한 1428가구에서 언어발달 질문의 무응답자 36가구를 제외한 1392가구의 초등학교 4학년 학생들 이다. 연구 결과 연구모델의 효과분석에서 의사소통 의도를 제외한 3개의 잠재변수 간의 총 효과와 직접효과, 간접효과에서 모두 유의한 것으로 나타났다. 구체적으로 비언어적 의사소통이 담화 관리 능력에 직접적인 영향을 미칠 뿐만 아니라, 비언어적 의사소통과 담화 관리 능력 관계에서 상황에 따른 조절 및 적용 능력을 매개로 한 간접적인 영향이 유의미하게 나타났다. 결과적으로 비언어적 의사소통과 상황에 따른 조절 및 적응 능력이 높을수록 담화 관리 능력도 높아진다는 것을 알게 되었다.

UMM 적용을 위한 IDEF 매핑 방법에 대한 연구 (A Study on the Mapping Guideline of IDEF for UMM Adaptation)

  • 신기태;박찬권;심억수;김은갑
    • 경영과학
    • /
    • 제21권2호
    • /
    • pp.61-77
    • /
    • 2004
  • As various methodologies for business process analysis and design have been conducted in many organizations by their own ways, those methodologies are not compatible each other. In order to reduce the cost of analysis for organizations. some mapping methods between different methodologies need to be developed. UMM(UN/CEFACT Modeling Methodology) that has an object-oriented point of view. can overcome the limits of existing bottom-up approaches and make it reasonable. It also simplifies the business and administrative procedures. IDEF( Integrated Definition Language) with a structural point of view that has been widely used as a system analysis and design method, needs to be mapped to UMM in order to reuse the existing IDEF models. In this study, we propose a guideline that deals with procedures of utilizing IDEF models from which we want to derive the UMM models for developing an electronic commerce system including electronic documents exchange. By comparing IDEF and UMM, we analyze the differences between those two methodologies. Based on these differences. we suggest the basic strategies for mapping method from IDEF to UMM. We also propose a mapping guideline that can make UMM results from the modeling results of IDEF. We can take an advantage of the existing IDEF analysis design results when we adopt UMM methodology for electronic business system. Many analysts who are familiar with the IDEF methodology can develop UMM work-flow by utilizing their existing results and skills.

라벨이 없는 데이터를 사용한 종단간 음성인식기의 준교사 방식 도메인 적응 (Semi-supervised domain adaptation using unlabeled data for end-to-end speech recognition)

  • 정현재;구자현;김회린
    • 말소리와 음성과학
    • /
    • 제12권2호
    • /
    • pp.29-37
    • /
    • 2020
  • 최근 신경망 기반 심층학습 알고리즘의 적용으로 고전적인 Gaussian mixture model based hidden Markov model (GMM-HMM) 음성인식기에 비해 성능이 비약적으로 향상되었다. 또한 심층학습 기법의 장점을 더욱 잘 활용하는 방법으로 언어모델링 및 디코딩 과정을 통합처리 하는 종단간 음성인식 시스템에 대한 연구가 매우 활발히 진행되고 있다. 일반적으로 종단간 음성인식 시스템은 어텐션을 사용한 여러 층의 인코더-디코더 구조로 이루어져 있다. 때문에 종단간 음성인식 시스템이 충분히 좋은 성능을 내기 위해서는 많은 양의 음성과 문자열이 함께 있는 데이터가 필요하다. 음성-문자열 짝 데이터를 구하기 위해서는 사람의 노동력과 시간이 많이 필요하여 종단간 음성인식기를 구축하는 데 있어서 높은 장벽이 되고 있다. 그렇기에 비교적 적은 양의 음성-문자열 짝 데이터를 이용하여 종단간 음성인식기의 성능을 향상하는 선행연구들이 있으나, 음성 단일 데이터나 문자열 단일 데이터 한쪽만을 활용하여 진행된 연구가 대부분이다. 본 연구에서는 음성 또는 문자열 단일 데이터를 함께 이용하여 종단간 음성인식기가 다른 도메인의 말뭉치에서도 좋은 성능을 낼 수 있도록 하는 준교사 학습 방식을 제안했으며, 성격이 다른 도메인에 적응하여 제안된 방식이 효과적으로 동작하는지 확인하였다. 그 결과로 제안된 방식이 타깃 도메인에서 좋은 성능을 보임과 동시에 소스 도메인에서도 크게 열화되지 않는 성능을 보임을 알 수 있었다.

ATM 교환기에서 SAAL 기능 분산에 따른 호처리 프로세서의 성능 분석 (Performance analysis of call control processor according to SAAL funtion distribution in ATM switching system)

  • 여환근;송광석;노승환;기장근
    • 전자공학회논문지S
    • /
    • 제35S권2호
    • /
    • pp.31-39
    • /
    • 1998
  • In this paper, we have presented a quantitative performance effect of CCP(Call Control Processor) when SAAL(Signalling ATM Adaptation Layer) function is distributed from CCP to SIMs(Subscriber Interface Modules) in an ATM switching system with distributed architecutre. For the performance analysis, SLAM II simulation language is used and subscriber signalling messageand inter-processor communication messages according to Q.2931 based local call processing procedure are taken into consideration in the proposed queuing network model. The results of simulation are compared with in case of processing SAAL function on CCP. It is observed that the processing utilization of CCP reach 24,000 BHCA and 25,700 BHCAwhen SAAL function load amounts to 10% and 20% of the processing time of the total message, respectively. These values shows that the processing utilization of CCP is alleviated about 7% in comparison with 2,000 BHCA in case that SAAL function is carried out on CCP. Consquently, it is shown that we have to consider seriously how to distribute the functions concerning call processing in a large cale ATM switching system architecture accomodating a number of SIMs.

  • PDF