• Title/Summary/Keyword: 모델 이해

Search Result 2,808, Processing Time 0.037 seconds

BART with Random Sentence Insertion Noise for Korean Abstractive Summarization (무작위 문장 삽입 노이징을 적용한 BART 기반의 한국어 문서 추상 요약)

  • Park, Juhong;Kwon, Hongseok;Lee, Jong-Hyeok
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.455-458
    • /
    • 2020
  • 문서 요약은 입력 문서의 핵심 내용을 파악하여 짧고 간결한 문장으로 나타내는 과정이다. 최근에는 문서 요약을 위해 사전 학습된 언어 모델을 이용하는 방식이 여럿 제안되고 있지만, 이러한 언어 모델들은 문서 요약의 특성을 고려하지 않고 설계된 입력 노이즈 방식을 사용하는 한계점이 있다. 본 논문에서는 한국어 문서 추상 요약에 사전 학습 언어 모델인 BART를 도입하고, 입력 문서에 무작위 문장을 삽입하는 노이징 방식을 추가하여 문서 추상 요약 모델의 언어 이해 능력을 향상시키는 방법론을 제안한다. 실험 결과, BART를 도입한 문서 요약 모델의 결과는 다른 요약 모델들의 결과에 비해 전반적으로 품질 향상을 보였으며, BART와 함께 무작위 문장을 삽입하는 노이징 방법은 적은 비율로 삽입하는 경우 추가적인 성능 향상을 보였다.

  • PDF

Pre-trained Language Model for Table Question and Answering (표 질의응답을 위한 언어 모델 학습 및 데이터 구축)

  • Sim, Myoseop;Jun, Changwook;Choi, Jooyoung;Kim, Hyun;Jang, Hansol;Min, Kyungkoo
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.335-339
    • /
    • 2021
  • 기계독해(MRC)는 인공지능 알고리즘이 문서를 이해하고 질문에 대한 정답을 찾는 기술이다. MRC는 사전 학습 모델을 사용하여 높은 성능을 내고 있고, 일반 텍스트문서 뿐만 아니라 문서 내의 테이블(표)에서도 정답을 찾고자 하는 연구에 활발히 적용되고 있다. 본 연구에서는 기존의 사전학습 모델을 테이블 데이터에 활용하여 질의응답을 할 수 있는 방법을 제안한다. 더불어 테이블 데이터를 효율적으로 학습하기 위한 데이터 구성 방법을 소개한다. 사전학습 모델은 BERT[1]를 사용하여 테이블 정보를 인코딩하고 Masked Entity Recovery(MER) 방식을 사용한다. 테이블 질의응답 모델 학습을 위해 한국어 위키 문서에서 표와 연관 텍스트를 추출하여 사전학습을 진행하였고, 미세 조정은 샘플링한 테이블에 대한 질문-답변 데이터 약 7만건을 구성하여 진행하였다. 결과로 KorQuAD2.0 데이터셋의 테이블 관련 질문 데이터에서 EM 69.07, F1 78.34로 기존 연구보다 우수한 성능을 보였다.

  • PDF

Performance Comparison of Word Embeddings for Sentiment Classification (감성 분류를 위한 워드 임베딩 성능 비교)

  • Yoon, Hye-Jin;Koo, Jahwan;Kim, Ung-Mo
    • Annual Conference of KIPS
    • /
    • 2021.11a
    • /
    • pp.760-763
    • /
    • 2021
  • 텍스트를 자연어 처리를 위한 모델에 적용할 수 있게 언어적인 특성을 반영해서 단어를 수치화하는 방법 중 단어를 벡터로 표현하여 나타내는 워드 임베딩은 컴퓨터가 인간의 언어를 이해하고 분석 가능한 언어 모델의 필수 요소가 되었다. Word2vec 등 다양한 워드 임베딩 기법이 제안되었고 자연어를 처리할 때에 감성 분류는 중요한 요소이지만 다양한 임베딩 기법에 따른 감성 분류 모델에 대한 성능 비교 연구는 여전히 부족한 실정이다. 본 논문에서는 Emotion-stimulus 데이터를 활용하여 7가지의 감성과 2가지의 감성을 5가지의 임베딩 기법과 3종류의 분류 모델로 감성 분류 학습을 진행하였다. 감성 분류를 위해 Logistic Regression, Decision Tree, Random Forest 모델 등과 같은 보편적으로 많이 사용하는 머신러닝 분류 모델을 사용하였으며, 각각의 결과를 훈련 정확도와 테스트 정확도로 비교하였다. 실험 결과, 7가지 감성 분류 및 2가지 감성 분류 모두 사전훈련된 Word2vec가 대체적으로 우수한 정확도 성능을 보였다.

Instruction Tuning for Controlled Text Generation in Korean Language Model (Instruction Tuning을 통한 한국어 언어 모델 문장 생성 제어)

  • Jinhee Jang;Daeryong Seo;Donghyeon Jeon;Inho Kang;Seung-Hoon Na
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.289-294
    • /
    • 2023
  • 대형 언어 모델(Large Language Model)은 방대한 데이터와 파라미터를 기반으로 문맥 이해에서 높은 성능을 달성하였지만, Human Alignment를 위한 문장 생성 제어 연구는 아직 활발한 도전 과제로 남아있다. 본 논문에서는 Instruction Tuning을 통한 문장 생성 제어 실험을 진행한다. 자연어 처리 도구를 사용하여 단일 혹은 다중 제약 조건을 포함하는 Instruction 데이터 셋을 자동으로 구축하고 한국어 언어 모델인 Polyglot-Ko 모델에 fine-tuning 하여 모델 생성이 제약 조건을 만족하는지 검증하였다. 실험 결과 4개의 제약 조건에 대해 평균 0.88의 accuracy를 보이며 효과적인 문장 생성 제어가 가능함을 확인하였다.

  • PDF

Classification of 6 Emotions with Emotion Diary : LSTM Model (감정 일기를 통한 6가지 감정 분류 : LSTM모델 연구)

  • Dan-Bi Lee;Ga-Yeong Kim;Ye-Jin Yoon;Ji-Eun Lee
    • Annual Conference of KIPS
    • /
    • 2023.11a
    • /
    • pp.932-933
    • /
    • 2023
  • 이 연구는 사람의 감정 변화를 건강하게 파악하고 분석하기 위해 시작되었다. Natural Language Processing(NLP)는 컴퓨터가 인간의 언어를 이해하기 위해 개발된 자연어 처리 기술이다. 본 논문에서는 이 기술을 이용하여 Text Mining을 통해 사용자가 작성한 일기에 담긴 감정을 분석하고 LSTM 모델과 GRU 모델을 비교군으로 두어 두 모델 중 감정 분석에 더 적합한 모델을 찾는 과정을 거쳤다. 이 과정을 정확도가 더 높은 LSTM 모델을 사용하여 감정 분석 결과를 분류하였다.

Combining AutoML and XAI: Automating machine learning models and improving interpretability (AutoML 과 XAI 의 결합 : 기계학습 모델의 자동화와 해석력 향상을 위하여)

  • Min Hyeok Son;Nam Hun Kim;Hyeon Ji Lee;Do Yeon Kim
    • Annual Conference of KIPS
    • /
    • 2023.11a
    • /
    • pp.924-925
    • /
    • 2023
  • 본 연구는 최근 기계학습 모델의 복잡성 증가와 '블랙 박스'로 인식된 머신러닝 모델의 해석 문제에 주목하였다. 이를 해결하기 위해, AutoML 기술을 사용하여 효율적으로 최적의 모델을 탐색하고, XAI 기법을 도입하여 모델의 예측 과정에 대한 투명성을 확보하려 하였다. XAI 기법을 도입한 방식은 전통적인 방법에 비해 뛰어난 해석력을 제공하며, 사용자가 머신러닝 모델의 예측 근거와 그 타당성을 명확히 이해할 수 있음을 확인하였다.

Exploring Variables Related to Students' Understanding of the Convergence of Basic and Applied Science (기초과학과 응용과학의 융합에 관한 학생들의 이해와 관련된 변인 분석)

  • Ha, Min-Su;Lee, Jun-Ki
    • Journal of The Korean Association For Science Education
    • /
    • v.32 no.2
    • /
    • pp.320-330
    • /
    • 2012
  • Understanding the relation between basic science and applied science is important for students in understanding the importance of learning science, the relationship between scientific knowledge and human life, and for enhancing their science motivation. In this study, we evaluated the statistical validity of this hypothetical model and explored the effect of gender and students' preferred courses (e.g., humanities, science, and art) on four dependent variables. We also evaluated the differences of students' understanding across scientific domains and students' understanding concerning basic and applied scientific knowledge. Three hundred and twenty five 10th grade students participated in this survey research. Statistically, we employed bivariate correlation, partial correlation, path analysis, two-way ANOVA, and repeated measures ANOVA. Our findings illustrated that our hypothetical model was statistically valid. In addition, the significant interaction effects of gender and students' preferred courses on each dependent variable were shown. Students have different levels of understanding of the convergence of basic and applied science, the relation between scientific knowledge and human life, and the importance of learning science across scientific domains (e.g., physics, chemistry, earth science and biology).

Toxicokinetic and Toxicodynamic Models for Ecological Risk Assessment (생태위해성 평가를 위한 독성동태학 및 독성역학 모델)

  • Lee, Jong-Hyeon
    • Environmental Analysis Health and Toxicology
    • /
    • v.24 no.2
    • /
    • pp.79-93
    • /
    • 2009
  • 오염물질에 대한 생태위해성평가(ecological risk assessment)를 위해서는 노출평가(exposure assessment)와 함께 생물영향에 대한 평가(effect assessment)를 수행해야 한다. 노출평가의 경우는 지화학적 과정에 대한 이해를 바탕으로 환경농도를 예측하기 위한 화학평형모델이나 다매체환경거동모델 등 다양한 평가 및 예측모델을 활용해 왔다. 이와 달리 생물영향평가는 실험실 조건에서 제한된 독성자료를 대상으로 외부노출농도에 기반한 농도-반응관계를 통계적 방법을 통해서 추정하는 '경험적 모델(empirical model)'에 주로 의존해 왔다. 최근에 와서 생체 내 잔류량을 기반으로 농도-시간-반응관계를 기술하고 예측하는 독성동태학 및 독성역학 모델(toxicokinetic-toxicodynamic model)과 같은 독성작용에 기반한 모델(processbased model)들이 개발되어 활용되고 있다. 본 논문에서는 여러 종류의 독성동태학 및 독성역학 모델을 소개하고, 이를 통계적 추론에 기반한 전통적인 독성학 모델과 비교하였다. 서로 다른 종류의 독성동태학 및 독성역학 모델로부터 도출된 노출농도-시간 -반응관계식을 비교하고, 동일 독성기작을 보이는 오염물질 그룹 내에서 미측정 오염물질의 독성을 예측할 수 있게 해주는 구조-활성관계(Quantitative Structure-Activity Relationship, QSAR) 모델을 여러 독성동태 및 독성역학모델로부터 유도하였다. 마지막으로 독성동태학 및 독성역학 파라미터를 추정하기 위한 실험계획을 제안하였고, 앞으로 독성동태학 및 독성역학 모델을 생태계 위해성평가에 활용하기 위해서 해결해야 될 연구과제를 검토하였다.

A Process Model of Architectural Innovation: The Case of Vibration Motor Development in Cellularphone Industry (아키텍처 혁신의 과정 모델: 휴대폰용 진동모터 개발 사례를 중심으로)

  • Kim, Heesung;Kim, Youngjin
    • Journal of Technology Innovation
    • /
    • v.23 no.4
    • /
    • pp.245-287
    • /
    • 2015
  • Architectural innovation is being regarded as one having major influence on the rate of performance improvement, even if this type of innovation does not show the highest level of technological discontinuity. Radical innovation firms who made a breakthrough product new to an industry, approach a certain point of time in which the speed of performance improvement very slows down, if architectural efficiency is not improved. At this time, this firm's prior experience in developing inferior, but very creative radical product architecture might work as paradoxical impediments to architectural innovation, the following important event. This study intends to understand the relationship between shifts in market needs and technological problem solving strategy, which exist before. after, and during architectural innovation, based on conceptual framework in which both stage and problem solving perspectives are combined. Korean SME, JAHWA Electronics could succeed in diffusion of vibration motor, by overcoming technological mental model locked in seemingly successful first generation architecture of coin type vibration motor. In-depth single case study including interviews and active participative observations was carried out for building longitudinal understanding of this innovation concept.

A Numerical Study on Phonon Spectral Contributions to Thermal Conduction in Silicon-on-Insulator Transistor Using Electron-Phonon Interaction Model (전자-포논 상호작용 모델을 이용한 실리콘 박막 소자의 포논 평균자유행로 스펙트럼 열전도 기여도 수치적 연구)

  • Kang, Hyung-sun;Koh, Young Ha;Jin, Jae Sik
    • Transactions of the Korean Society of Mechanical Engineers B
    • /
    • v.41 no.6
    • /
    • pp.409-414
    • /
    • 2017
  • The aim of this study is to understand the phonon transfer characteristics of a silicon thin film transistor. For this purpose, the Joule heating mechanism was considered through the electron-phonon interaction model whose validation has been done. The phonon transport characteristics were investigated in terms of phonon mean free path for the variations in the device power and silicon layer thickness from 41 nm to 177 nm. The results may be used for developing the thermal design strategy for achieving reliability and efficiency of the silicon-on-insulator (SOI) transistor, further, they will increase the understanding of heat conduction in SOI systems, which are very important in the semiconductor industry and the nano-fabrication technology.