• 제목/요약/키워드: Language Models

검색결과 872건 처리시간 0.028초

기억의 기능적 신경 해부학 (Functional Neuroanatomy of Memory)

  • 이성훈
    • 수면정신생리
    • /
    • 제4권1호
    • /
    • pp.15-28
    • /
    • 1997
  • Longterm memory is encoded in the neuronal connectivities of the brain. The most successful models of human memory in their operations are models of distributed and self-organized associative memory, which are founded in the principle of simulaneous convergence in network formation. Memory is not perceived as the qualities inherent in physical objects or events, but as a set of relations previously established in a neural net by simultaneousy occuring experiences. When it is easy to find correlations with existing neural networks through analysis of network structures, memory is automatically encoded in cerebral cortex. However, in the emergence of informations which are complicated to classify and correlated with existing networks, and conflictual with other networks, those informations are sent to the subcortex including hippocampus. Memory is stored in the form of templates distributed across several different cortical regions. The hippocampus provides detailed maps for the conjoint binding and calling up of widely distributed informations. Knowledge about the distribution of correlated networks can transform the existing networks into new one. Then, hippocampus consolidats new formed network. Amygdala may enable the emotions to influence the information processing and memory as well as providing the visceral informations to them. Cortico-striatal-pallido-thalamo-cortical loop also play an important role in memory function with analysis of language and concept. In case of difficulty in processing in spite of parallel process of informations, frontal lobe organizes theses complicated informations of network analysis through temporal processing. With understanding of brain mechanism of memory and information processing, the brain mechanism of mental phenomena including psychopathology can be better explained in terms of neurobiology and meuropsychology.

  • PDF

성능/교전 효과도의 상호 분석이 가능한 전투 개체 기반의 모델링 방법론 - 제2부 : 상세 모델 설계 및 모델 구현 (Combat Entity Based Modeling Methodology to Enable Joint Analysis of Performance/Engagement Effectiveness - Part 2 : Detailed Model Design & Model Implementation)

  • 서경민;최창범;김탁곤
    • 한국군사과학기술학회지
    • /
    • 제17권2호
    • /
    • pp.235-247
    • /
    • 2014
  • Based on two dimensional model partition method proposed in Part 1, Part 2 provides detailed model specification and implementation. To mathematically delineate a model's behaviors and interactions among them, we extend the DEVS (Discrete Event Systems Specification) formalism and newly propose CE-DEVS (Combat Entity-DEVS) for an upper abstraction sub-model of a combat entity model. The proposed CE-DEVS additionally define two sets and one function to reflect essential semantics for the model's behaviors explicitly. These definitions enable us to understand and represent the model's behaviors easily since they eliminate differences of meaning between real-world expressions and model specifications. For model implementation, upper abstraction sub-models are implemented with DEVSim++, while the lower sub-models are realized using the C++ language. With the use of overall modeling techniques proposed in Part 1 and 2, we can conduct constructive simulation and assess factors about combat logics as well as battle field functions of the next-generation combat entity, minimizing additional modeling efforts. From the anti-torpedo warfare experiment, we can gain interesting experimental results regarding engagement situations employing developing weapons and their tactics. Finally, we expect that this work will serve an immediate application for various engagement warfare.

RBAC에 기초한 통합형 프라이버시 보호 모델 (Integrated Privacy Protection Model based on RBAC)

  • 조혁현;박희만;이영록;노봉남;이형효
    • 정보보호학회논문지
    • /
    • 제20권4호
    • /
    • pp.135-144
    • /
    • 2010
  • 프라이버시 보호는 기업의 온/오프-라인 데이터 처리 시스템 안에서 프라이버시 정책들을 수행할 수 있을 때에 달성될 수 있다. 프라이버시 정책 모델 중에는 P-RBAC과 목적모델, 의무모델이 있다. 그러나 이들 각각의 모델들만으로는 급변하는 기업환경에 능동적으로 대처하기 어렵다. 동일한 역할에 속해있는 사용자 중 최적의 조건을 만족하는 자만을 선발하여 일정기간 새로운 임무를 부여할 수 있어야하고, 풍부한 접근제약조건 표현을 허용하여 프라이버시 보호를 강화할 수 있어야 한다. 이를 위해 우리는 목적모델과 P-RBAC 모델, 의무모델을 통합시킨 통합형 프라이버시 보호 모델을 제안한다. 그리고 우리의 모델이 구현플랫폼과 응용에 종속적이지 않고 자동화될 수 있도록 XML 기반 정책언어모델을 정의한다.

SW 교양 교육을 위한 VPBL 모델에 관한 연구 (A Study on the VPBL Model for SW Liberal Education)

  • 김시정
    • 디지털융복합연구
    • /
    • 제19권7호
    • /
    • pp.51-56
    • /
    • 2021
  • 교양 SW교육은 전공 SW교육과는 다르게 다양한 전공의 학생들이 동일학습과정에 참여하므로 교수자가 문제 설계에 어려움이 많다. 본 논문은 교육의 문제 해결 향상을 위하여 PBL로 수업 운영에 있어 다양한 전공의 학생들에게 전공의 특성에 맞게 문제를 설계 구현할 수 있도록 VPBL(Various Problem-based Learning) 모델을 연구하고 수업에 적용 및 결과를 분석하였다. VPBL은 프로그래밍 언어에 대한 제약조건을 교수자가 제시하고 학습자는 제약조건을 적용하여 전공의 특성을 반영한 문제를 설계 운영한다. 교수자는 설계된 문제를 해결하는 과정에서 mini_class를 실시한 후 전체에 공유한다. VPBL 모델 적용 결과 전통적인 수업 방식의 비교 분석결과 전통적 교수법은 3.34점 VPBL 모델 적용은 4.42점으로 "상호작용, 학습 내용 이해, 교과 관련 지식 습득" 등이 향상된 것으로 나타났다. VPBL의 경우 다양한 문제 해결을 기반으로 하고 있어 해결 과정에서 학습 범위를 확장하는 장점을 보였다. 향후 다양한 SW 교양 교과에 확대 적용 및 활용에 대한 연구가 요구된다.

인공지능을 이용한 국악 멜로디 생성기에 관한 연구 (Korean Traditional Music Melody Generator using Artificial Intelligence)

  • 배준
    • 한국정보통신학회논문지
    • /
    • 제25권7호
    • /
    • pp.869-876
    • /
    • 2021
  • 음악 분야에서는 최근 머신러닝을 이용한 다양한 인공지능 작곡 방법이 시도되고 있다. 하지만 이 연구는 대부분 서양음악을 중심으로 이루어져왔고 국악에 관한 연구는 거의 이루어지지 않았다. 특히 연구를 위한 데이터 세트조차 만들어지지 않은 상태여서 연구에 어려움이 많았다. 이에 해당 논문에서는 국악의 데이터 세트를 만들고 그 데이터 세트를 기반으로 하여 세 가지 알고리즘을 이용하여 국악 멜로디를 생성하고 그 결과물을 비교하여 보기로 한다. 언어와 음악의 유사성에 기반한 LSTM, Music Transformer 그리고 Self Attention 3가지 모델들이 선택되었다. 각 3가지 모델을 이용하여 국악 멜로디 생성기를 모델링하고 학습시켜 국악 멜로디를 생성해 내었다. 사용자 평가 결과 Self Attention 방식이 LSTM 방식과 Music transformer 방식에 비해 높은 선호도를 보였다. 데이터 표현 및 훈련데이터는 인공지능 작곡에 있어 매우 중요하다. 이를 위한 기초적인 국악 데이터 세트를 만들고 다양한 알고리즘으로 인공지능 작곡을 시도하였고 이것이 향후 국악 인공지능 작곡의 연구에 도움이 될 수 있을 것으로 기대한다.

Biaffine Average Attention 모델을 이용한 의미역 결정 (Semantic Role Labeling using Biaffine Average Attention Model)

  • 남충현;장경식
    • 한국정보통신학회논문지
    • /
    • 제26권5호
    • /
    • pp.662-667
    • /
    • 2022
  • 의미역 결정 작업은 서술어와 문장 내 행위자, 피행위자, 장소, 시간 등 서술어와 관련 있는 논항들을 추출하는 작업이다. 기존 의미역 결정 방법은 문장의 언어학적 특징 추출을 위한 파이프라인을 구축하는데, 파이프라인 내 각 추출 작업들의 오류가 의미역 결정 작업의 성능에 영향을 미치기 때문에 현재는 End-to-End 방법의 신경망 모델을 이용한 방법들이 제안되고 있다. 본 논문에서는 의미역 결정 작업을 위해 Biaffine Average Attention 구조를 이용한 신경망 모델을 제안한다. 제안하는 모델은 기존 연구에서 제안된 특정 시점에 대한 레이블 예측을 위해 주변 시점 정보를 이용하는 LSTM 모델 대신 문장 내 서술어와 논항의 거리에 상관없이 문장 전체 정보에 집중할 수 있는 Biaffine Average Attention 구조로 이루어져 있다. 제안하는 모델의 성능 평가를 위해 F1 점수를 이용하여 기존 연구에서 제안한 BERT 기반의 모델들과 비교하였으며, 76.21%의 성능으로 비교 모델보다 높은 성능을 보였음을 확인하였다.

KAB: Knowledge Augmented BERT2BERT Automated Questions-Answering system for Jurisprudential Legal Opinions

  • Alotaibi, Saud S.;Munshi, Amr A.;Farag, Abdullah Tarek;Rakha, Omar Essam;Al Sallab, Ahmad A.;Alotaibi, Majid
    • International Journal of Computer Science & Network Security
    • /
    • 제22권6호
    • /
    • pp.346-356
    • /
    • 2022
  • The jurisprudential legal rules govern the way Muslims react and interact to daily life. This creates a huge stream of questions, that require highly qualified and well-educated individuals, called Muftis. With Muslims representing almost 25% of the planet population, and the scarcity of qualified Muftis, this creates a demand supply problem calling for Automation solutions. This motivates the application of Artificial Intelligence (AI) to solve this problem, which requires a well-designed Question-Answering (QA) system to solve it. In this work, we propose a QA system, based on retrieval augmented generative transformer model for jurisprudential legal question. The main idea in the proposed architecture is the leverage of both state-of-the art transformer models, and the existing knowledge base of legal sources and question-answers. With the sensitivity of the domain in mind, due to its importance in Muslims daily lives, our design balances between exploitation of knowledge bases, and exploration provided by the generative transformer models. We collect a custom data set of 850,000 entries, that includes the question, answer, and category of the question. Our evaluation methodology is based on both quantitative and qualitative methods. We use metrics like BERTScore and METEOR to evaluate the precision and recall of the system. We also provide many qualitative results that show the quality of the generated answers, and how relevant they are to the asked questions.

Optimized design of dual steel moment resisting system equipped with cross-anchored self-centering buckling restrained chevron brace

  • Khaneghah, Mohammadreza Ahadpour;Dehcheshmaeh, Esmaeil Mohammadi;Broujerdian, Vahid;Amiri, Gholamreza Ghodrati
    • Earthquakes and Structures
    • /
    • 제23권2호
    • /
    • pp.139-150
    • /
    • 2022
  • In most self-center braces, decreasing residual deformation is possible only by increasing pretension force, which results in lower energy dissipation capacity. On the other hand, increasing energy dissipation capacity means higher values of residual deformation. The goal of this research was to find the best design for a self-centering buckling restrained brace (SC-BRB) system by balancing self-centering capability and energy dissipation. Three, six, and nine-story structures were investigated using OpenSees software and the TCL programming language to achieve this goal. For each height, 62 different SC-BRBs were considered using different values for the pretension force of cables, the area of the buckling restrained brace (BRB) core plate, and the yield stress of the core plate. The residual deformation and dissipated energy of all the models were calculated using nonlinear analyses after cyclic loading was applied. The optimum design for each height was determined among all the models and was compared to the structure equipped with the usual BRB. The residual deformation of the framed buildings was significantly reduced, according to the findings. Also the reduction of the energy dissipation was acceptable. The optimum design of SC-BRB in 6-story building has the most reduction percent in residual deformation, it can reduce residual deformation of building 83% while causing only a 57% of reduction in dissipated energy. The greatest reduction in residual deformation versus dissipated energy reduction was for the optimum SC-BRB design of 9-story building, results indicated that it can reduce residual deformation of building 69% while causing only a 42% of reduction in dissipated energy.

텍스트 요약을 위한 어텐션 기반 BART 모델 미세조정 (Fine-tuning of Attention-based BART Model for Text Summarization)

  • 안영필;박현준
    • 한국정보통신학회논문지
    • /
    • 제26권12호
    • /
    • pp.1769-1776
    • /
    • 2022
  • 긴 문장으로 이루어진 글을 자동으로 요약하는 것은 중요한 기술이다. BART 모델은 이러한 요약 문제에서 좋은 성능을 보여주고 널리 사용되고 있는 모델 중 하나이다. 일반적으로 특정 도메인의 요약 모델을 생성하기 위해서는 큰 데이터세트를 학습한 언어 모델을 그 도메인에 맞게 다시 학습하는 미세조정 작업을 수행한다. 이러한 미세조정은 일반적으로 마지막 전 연결 계층의 노드 수를 변경하는 방식으로 진행된다. 하지만 본 논문에서는 최근 다양한 모델에 적용되어 좋은 성능을 보여주고 있는 어텐션 계층을 추가하는 방법으로 미세조정하는 방법을 제안한다. 제안하는 방법의 성능을 평가하기 위해 미세조정 과정에서 층을 더 깊게 쌓기, 스킵 연결 없는 미세조정 등 다양한 실험을 진행하였다. BART 언어 모델에 스킵 연결을 가진 2개의 어텐션 계층을 추가하였을 때 가장 좋은 성능을 보였다.

리뷰 데이터 감성 분류 성능 향상을 위한 Fine-tuning 방법 (Fine-tuning Method to Improve Sentiment Classification Perfoimance of Review Data)

  • 박정일;임명진;김판구
    • 스마트미디어저널
    • /
    • 제13권6호
    • /
    • pp.44-53
    • /
    • 2024
  • 현대사회의 기업들은 소셜 미디어, 제품 리뷰, 고객 피드백 등 다양한 영역에 걸쳐 소비자 의견을 정확하게 이해하는 것이 경쟁에서 성공하기 위한 주요 과제임을 강조하며 감성 분류를 점점 더 중요한 작업으로 채택하고 있다. 감성 분류는 소비자의 다양한 의견과 감성을 파악하여 제품이나 서비스 개선에 도움을 주는 이유로 많은 연구가 진행중이다. 감성 분류에서는 대규모 데이터 셋과 사전 학습된 언어 모델을 통한 미세 조정이 성능 향상에 중요한 역할을 한다. 최근 인공지능 기술의 발전으로 감성 분류 모델은 높은 성능을 보이고 있으며, 특히 ELECTRA 모델은 효율적인 학습 방법과 적은 컴퓨팅 자원을 통해 뛰어난 결과를 제공한다. 따라서 본 논문에서는 ELECTRA에서 한국어를 학습한 KoELECTRA 모델을 이용하여 다양한 데이터 셋에 대한 효율적인 미세 조정을 통해 감성 분류 성능을 향상하는 방법을 제안한다.