• Title/Summary/Keyword: 모델 이해

Search Result 2,808, Processing Time 0.037 seconds

Improving Contextual Understanding Using Sparse Attention Models (Sparse Attention 모델을 활용한 효율적인 문맥 이해)

  • Tae-Hoon Her
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.694-697
    • /
    • 2023
  • 본 논문은 문맥 이해에서 발생할 수 있는 문제점을 개선하기 위해 Sparse Attention 모델을 적용하였다. 실험 결과, 이 방법은 문맥 손실률을 상당히 줄이며 자연어 처리에 유용하다는 것을 확인하였다. 본 연구는 기계 학습과 자연어 처리분야에서 더 나은 문맥 이해를 위한 새로운 방향을 제시하며, 향후 다양한 모델과 방법론을 탐구하여 문맥 이해를 더욱 향상시킬 계획이다.

  • PDF

The Effects of Cogenerative Dialogues on Scientific Model Understanding and Modeling of Middle School Students (공동생성적 대화가 중학생의 과학적 모델에 관한 이해와 모델 구성에 미치는 영향)

  • Kim, Ji-Yoon;Choe, Seung-Urn;Kim, Chan-Jong
    • Journal of the Korean earth science society
    • /
    • v.37 no.4
    • /
    • pp.243-268
    • /
    • 2016
  • The purpose of this study was to explore the effects of Cogenerative Dialogues embedded in a modeling-centered science learning and instruction on 7th grade female $students{\acute{i}}$ understanding of scientific models and modelling A total of 49 7th grade female students in two classrooms participated in a series of five modeling-centered science lessons, and 17 students volunteered to participate in this study. Participating students were divided into four groups, and two groups were randomly assigned to a treatment group who were asked to participate in Cogenerative Dialogues after each lesson, while the others, a control group, who did not. For data analysis, Upmeier and $Kr{\ddot{u}ger^{\prime}s$ framework was used to explore $participants{\acute{i}}$ understanding of model, and a revised $Baek{\acute{i}}s$ framework was used to examine $participants{\acute{i}}$ modeling process. Data analysis indicated that students who participated in Cogenerative Dialogues generally showed richer understanding of scientific models, as well as modeling, than the others who did not. This study suggests that Cogenerative Dialogues can be used as an educationally meaningful method for science educators to encourage students actively participate in a whole process of science instruction and learning, which assists them to increase their understanding not only of scientific models and modeling specifically but also of the nature and processes of scientific practice in general.

Probing Semantic Relations between Words in Pre-trained Language Model (사전학습 언어모델의 단어간 의미관계 이해도 평가)

  • Oh, Dongsuk;Kwon, Sunjae;Lee, Chanhee;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.237-240
    • /
    • 2020
  • 사전학습 언어모델은 다양한 자연어처리 작업에서 높은 성능을 보였다. 하지만, 사전학습 언어모델은 문장 내 문맥 정보만을 학습하기 때문에 단어간 의미관계 정보를 추론하는데는 한계가 있다. 최근에는, 사전학습 언어모델이 어느수준으로 단어간 의미관계를 이해하고 있는지 다양한 Probing Test를 진행하고 있다. 이러한 Test는 언어모델의 강점과 약점을 분석하는데 효율적이며, 한층 더 인간의 언어를 정확하게 이해하기 위한 모델을 구축하는데 새로운 방향을 제시한다. 본 논문에서는 대표적인 사전 학습기반 언어모델인 BERT(Bidirectional Encoder Representations from Transformers)의 단어간 의미관계 이해도를 평가하는 3가지 작업을 진행한다. 첫 번째로 단어 간의 상위어, 하위어 관계를 나타내는 IsA 관계를 분석한다. 두번째는 '자동차'와 '변속'과 같은 관계를 나타내는 PartOf 관계를 분석한다. 마지막으로 '새'와 '날개'와 같은 관계를 나타내는 HasA 관계를 분석한다. 결과적으로, BERTbase 모델에 대해서는 추론 결과 대부분에서 낮은 성능을 보이지만, BERTlarge 모델에서는 BERTbase보다 높은 성능을 보였다.

  • PDF

A Five-dimentional Model for Software Understanding (S/W 이해를 위한 5차원 모델)

  • 정명선;이문근
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10b
    • /
    • pp.529-531
    • /
    • 1998
  • 본 논문은 매우 크고 복잡한 실시간 소프트웨어(SW)의 성질들을 이해하기 위한 방법론을 제시한다. 실시간 SW는 일반적으로 상호작용이 많은 프로세스들을 대량으로 가진 수십만에서 수백만 줄의 코드로 구성되어 있다. 이런 SW는 일반적으로 이해하기가 매우 어렵다. 이런 문제를 해결하기 위하여 본 논문에서는 SW를 체계적으로 이해하기 위한 scalable하고 modular한 접근 방법으로서 architecture에 기반을 둔 SW understanding model, 즉 SUMarchitecture을 제시한다. 이 모델은 SW로부터 architecture를 추출하여 SW를 상하계층적 구조로 구성하고 이 architecture의 복잡계층축을 토대로 SW의 구조, 기능 행위의 3차원적인 정보를 추상화 단계와 상세 단계에서 이해할 수 있게 한다. 즉, 이 모델은 복잡계층성, 구조성, 기능성, 행위성, 명세-상세 이원성 등의 5차원 세계에 토대를 둔 SW 역공학 종합 모델이다.

Cross Gated Mechanism to Improve Natural Language Understanding (자연어 이해 모델의 성능 향상을 위한 교차 게이트 메커니즘 방법)

  • Kim, Sung-Ju;Kim, Won-Woo;Seol, Yong-Soo;Kang, In-Ho
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.165-169
    • /
    • 2019
  • 자연어 이해 모델은 대화 시스템의 핵심적인 구성 요소로서 자연어 문장에 대해 그 의도와 정보를 파악하여 의도(intent)와 슬롯(slot)의 형태로 분석하는 모델이다. 최근 연구에서 의도와 슬롯의 추정을 단일 합동 모델(joint model)을 이용하여 합동 학습(joint training)을 하는 연구들이 진행되고 있다. 합동 모델을 이용한 합동 학습은 의도와 슬롯의 추정 정보가 모델 내에서 암시적으로 교류 되도록 하여 의도와 슬롯 추정 성능이 향상된다. 본 논문에서는 기존 합동 모델이 암시적으로 추정 정보를 교류하는 데서 더 나아가 모델 내의 의도와 슬롯 추정 정보를 명시적으로 교류하도록 모델링하여 의도와 슬롯 추정 성능을 높일 수 있는 교차 게이트 메커니즘(Cross Gated Mechanism)을 제안한다.

  • PDF

Text Undestanding System for Summarization (텍스트 이해 모델에 기반한 정보 검색 시스템)

  • Song, In-Seok;Park, Hyuk-Ro
    • Annual Conference on Human and Language Technology
    • /
    • 1997.10a
    • /
    • pp.1-6
    • /
    • 1997
  • 본 논문에서는 인지적 텍스트 이해 모형을 제시하고 이에 기반한 자동 요약 시스템을 구현하였다. 문서는 정보의 단순한 집합체가 아닌 정형화된 언어 표현 양식으로서 단어의 의미적 정보와 함께 표현 양식, 문장의 구조와 문서의 구성을 통해 정보를 전달한다. 요약 목적의 텍스트 이해 및 분석 과정을 위해 경제 분야 기사 1000건에 대한 수동 요약문을 분석, 이해 모델을 정립하였고. 경제 분야 기사 1000건에 대한 테스트 결과를 토대로 문장간의 관계, 문서의 구조에서 요약 정보 추출에 사용되는 정보를 분석하였다. 본 텍스트 이해 모형은 단어 빈도수에 의존하는 통계적 모델과 비교해 볼 때, 단어 간의 관련성을 찾아내고, 문서구조정보에 기반한 주제문 추출 및 문장간의 관계를 효과적으로 사용함으로서 정보를 생성한다. 그리고 텍스트 이해 과정에서 사용되는 요약 지식과 구조 분석정보의 상관관계를 체계적으로 연결함으로서 자동정보 추출에서 야기되는 내용적 만족도 문제를 보완한다.

  • PDF

Calibration of Pre-trained Language Model for Korean (사전 학습된 한국어 언어 모델의 보정)

  • Jeong, Soyeong;Yang, Wonsuk;Park, ChaeHun;Park, Jong C.
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.243-248
    • /
    • 2020
  • 인공 신경망을 통한 심층 학습 모델의 발전은 컴퓨터 비전, 자연언어 이해 문제들에서 인간을 뛰어넘는 성능을 보이고 있다. 특히 트랜스포머[1] 기반의 사전 학습 모델은 질의응답, 대화문과 같은 자연언어 이해 문제에서 최근 높은 성능을 보이고 있다. 하지만 트랜스포머 기반의 모델과 같은 심층 학습 모델의 급격한 발전 양상에 비해, 이의 동작 방식은 상대적으로 잘 알려져 있지 않다. 인공 신경망을 통한 심층 학습 모델을 해석하는 방법으로 모델의 예측 값과 실제 값이 얼마나 일치하는지를 측정하는 모델의 보정(Calibration)이 있다. 본 연구는 한국어 기반의 심층학습 모델의 해석을 위해 모델의 보정을 수행하였다. 그리고 사전 학습된 한국어 언어 모델이 문장이 내포하는 애매성을 잘 파악하는지의 여부를 확인하고, 완화 기법들을 적용하여 문장의 애매성을 확신 수준을 통해 정량적으로 출력할 수 있도록 하였다. 또한 한국어의 문법적 특징으로 인한 문장의 의미 변화를 모델 보정 관점에서 평가하여 한국어의 문법적 특징을 심층학습 언어 모델이 잘 이해하고 있는지를 정량적으로 확인하였다.

  • PDF

A Review of Model and Modeling in Science Education: Focus on the Metamodeling Knowledge (과학교육에서 모델 및 모델링에 대한 고찰 -메타모델링 지식을 중심으로-)

  • Cho, Hye Sook;Nam, Jeonghee;Oh, Phil Seok
    • Journal of The Korean Association For Science Education
    • /
    • v.37 no.2
    • /
    • pp.239-252
    • /
    • 2017
  • The purpose of this study is to examine metamodeling knowledge and its components, which means knowledge about model and modeling required for students and teachers for successful application of modeling in the field of science education based on research literature. For this, we analyzed and categorized major previous studies on modeling and modeling through research literature methods. Metamodeling knowledge aims to recognize models and modeling and is the most crucial element to create a scientific model in scientific modeling practice. The point of view of metamodeling knowledge proposed in this study is categorize nature of model, multiplicity of model, purpose of model, modeling process, and evaluation and revision of model. Students should be able to achieve more in-depth understanding through the awareness of the nature of the model. The development of metamodeling knowledge can facilitate students' science learning.

The Relationship between R&D Capability & Performance: Focusing the Moderating Role of Manufacturing Capability &Employee's Understanding the Biz-model (중소벤처기업의 R&D 역량이 기업성과에 미치는영향: 제조역량, 비즈니스모델 이해도의 조절효과를 중심으로)

  • Kim, Hyojung;Choi, Wonyong
    • Journal of Korea Society of Industrial Information Systems
    • /
    • v.27 no.1
    • /
    • pp.79-92
    • /
    • 2022
  • This paper investigates the effects of R&D capability, manufacturing capability, understanding of the Biz model on performance of Korean start-up companies, especially the moderating effects of manufacturing capability and understanding of the Biz model. We analysis 1103 Korean start-up companies based on "2019 Survey of Korea Venture Firms" As a result, the manufacturing capability and employee's unnderstanding the Biz-model have the positive relationship with company performance. Especially, we found that 'employee's unnderstanding the Biz-model' moderates the relationship between R&D capability & performance positively.

A Study on Object-Oriented Concepts modeling for Teaching Object-Oriented Language (객체지향 언어 교육을 위한 객체지향 개념 모델링에 관한 연구)

  • Lee, Min-Na
    • Proceedings of The KACE
    • /
    • 2017.08a
    • /
    • pp.117-120
    • /
    • 2017
  • 객체지향 프로그래밍은 산업과 교육 분야에서 그 영향력이 점차 커지고 있다. 그러나 객체지향은 추상적이고, 복합적인 개념을 많이 포함하고 있어 처음 객체지향 언어를 배우는 초보학습자는 개념을 이해하는데 많은 어려움을 겪고 있다. 또한 객체지향 개념들은 상호 연관성이 매우 높아 기본 개념을 이해하지 못하면 다음 단계의 개념을 이해할 수 없다. 따라서 본 논문은 초보학습자의 객체지향 개념의 이해를 돕기 위해 클래스와 객체 모델, 클래스간의 상속 모델을 도식화하여 제안한다. 이 모델을 이용하여 객체지향의 핵심 개념인 클래스, 객체, 레퍼런스 변수, 상속, 오버라이딩, 다형성, 동적 바인딩의 이해도를 높일 수 있다.

  • PDF