• Title/Summary/Keyword: MLP.

Search Result 676, Processing Time 0.028 seconds

Korean Dependency Parsing using Second-Order TreeCRF (Second-Order TreeCRF를 이용한 한국어 의존 파싱)

  • Min, Jinwoo;Na, Seung-Hoon;Shin, Jong-Hoon;Kim, Young-Kil
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.108-111
    • /
    • 2020
  • 한국어 의존 파싱은 전이 기반 방식과 그래프 기반 방식의 두 갈래로 연구되어 왔으며 현재 가장 높은 성능을 보이고 있는 그래프 기반 파서인 Biaffine 어텐션 모델은 입력 시퀀스를 다층의 LSTM을 통해 인코딩 한 후 각각 별도의 MLP를 적용하여 의존소와 지배소에 대한 표상을 얻고 이를 Biaffine 어텐션을 통해 모든 의존소에 대한 지배소의 점수를 얻는 모델이다. 위의 Biaffine 어텐션 모델은 별도의 High-Order 정보를 활용하지 않는 first-order 파싱 모델이며 학습과정에서 어떠한 트리 관련 손실을 얻지 않는다. 본 연구에서는 같은 부모를 공유하는 형제 노드에 대한 점수를 모델링하고 정답 트리에 대한 조건부 확률을 모델링 하는 Second-Order TreeCRF 모델을 한국어 의존 파싱에 적용하여 실험 결과를 보인다.

  • PDF

Korean Dependency Parsing as Machine Reading Comprehension (기계독해 기반 한국어 의존 파싱)

  • Min, Jinwoo;Na, Seung-Hoon;Shin, Jong-Hoon;Kim, Young-Kil;Kim, Kangil
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.270-273
    • /
    • 2021
  • 한국어 의존 파싱은 전이 기반 방식과 그래프 기반 방식의 두 갈래로 연구되어 왔고 그 중 그래프 기반 의존 파싱 방법은 문장 내의 모든 단어에 대해 인코딩한 후 지배소, 의존소에 대한 MLP를 적용하여 각각 표상을 얻고 Biaffine 어텐션을 통해 모든 단어 쌍에 대한 그래프 점수를 얻고 트리를 생성하는 방법이 대표적이다. Biaffine 어텐션 모델에서 문장 내의 각 단어들은 구문 트리 내의 서브트리의 역할을 하지만 두 단어간의 의존성만을 판단하기 때문에 서브 트리의 정보를 이용할 수 없다는 단점이 존재한다. 본 연구에서는 이러한 단점을 해결하기 위해 제안된 Span-Span(서브트리-서브트리)로의 서브트리 정보를 이용할 수 있도록 하는 기계 독해 기반 의존 파싱 모델을 한국어 구문 분석 데이터 셋에 적용하여 소폭의 성능향상을 얻었다.

  • PDF

Sequence Anomaly Detection based on Diffusion Model (확산 모델 기반 시퀀스 이상 탐지)

  • Zhiyuan Zhang;Inwhee, Joe
    • Annual Conference of KIPS
    • /
    • 2023.05a
    • /
    • pp.2-4
    • /
    • 2023
  • Sequence data plays an important role in the field of intelligence, especially for industrial control, traffic control and other aspects. Finding abnormal parts in sequence data has long been an application field of AI technology. In this paper, we propose an anomaly detection method for sequence data using a diffusion model. The diffusion model has two major advantages: interpretability derived from rigorous mathematical derivation and unrestricted selection of backbone models. This method uses the diffusion model to predict and reconstruct the sequence data, and then detects the abnormal part by comparing with the real data. This paper successfully verifies the feasibility of the diffusion model in the field of anomaly detection. We use the combination of MLP and diffusion model to generate data and compare the generated data with real data to detect anomalous points.

Parameter-Efficient Multi-Modal Highlight Detection via Prompting (Prompting 기반 매개변수 효율적인 멀티 모달 영상 하이라이트 검출 연구)

  • DongHoon Han;Seong-Uk Nam;Eunhwan Park;Nojun Kwak
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.372-376
    • /
    • 2023
  • 본 연구에서는 비디오 하이라이트 검출 및 장면 추출을 위한 경량화된 모델인 Visual Context Learner (VCL)을 제안한다. 기존 연구에서는 매개변수가 고정된 CLIP을 비롯한 여러 피쳐 추출기에 학습 가능한 DETR과 같은 트랜스포머를 이어붙여서 학습을 한다. 하지만 본 연구는 경량화된 구조로 하이라이트 검출 성능을 개선시킬 수 있음을 보인다. 그리고 해당 형태로 장면 추출도 가능함을 보이며 장면 추출의 추가 연구 가능성을 시사한다. VCL은 매개변수가 고정된 CLIP에 학습가능한 프롬프트와 MLP로 하이라이트 검출과 장면 추출을 진행한다. 총 2,141개의 학습가능한 매개변수를 사용하여 하이라이트 검출의 HIT@1(>=Very Good) 성능을 기존 CLIP보다 2.71% 개선된 성능과 최소한의 장면 추출 성능을 보인다.

  • PDF

Nonlinear harmonic resonances of spinning graphene platelets reinforced metal foams cylindrical shell with initial geometric imperfections in thermal environment

  • Yi-Wen Zhang;Gui-Lin She
    • Structural Engineering and Mechanics
    • /
    • v.88 no.5
    • /
    • pp.405-417
    • /
    • 2023
  • This paper reveals theoretical research to the nonlinear dynamic response and initial geometric imperfections sensitivity of the spinning graphene platelets reinforced metal foams (GPLRMF) cylindrical shell under different boundary conditions in thermal environment. For the theoretical research, with the framework of von-Karman geometric nonlinearity, the GPLRMF cylindrical shell model which involves Coriolis acceleration and centrifugal acceleration caused by spinning motion is assumed to undergo large deformations. The coupled governing equations of motion are deduced using Euler-Lagrange principle and then solved by a combination of Galerkin's technique and modified Lindstedt Poincare (MLP) model. Furthermore, the impacts of a set of parameters including spinning velocity, initial geometric imperfections, temperature variation, weight fraction of GPLs, GPLs distribution pattern, porosity distribution pattern, porosity coefficient and external excitation amplitude on the nonlinear harmonic resonances of the spinning GPLRMF cylindrical shells are presented.

Nonlinear resonance of porous functionally graded nanoshells with geometrical imperfection

  • Wu-Bin Shan;Gui-Lin She
    • Structural Engineering and Mechanics
    • /
    • v.88 no.4
    • /
    • pp.355-368
    • /
    • 2023
  • Employing the non-local strain gradient theory (NSGT), this paper investigates the nonlinear resonance characteristics of functionally graded material (FGM) nanoshells with initial geometric imperfection for the first time. The effective material properties of the porous FGM nanoshells with even distribution of porosities are estimated by a modified power-law model. With the guidance of Love's thin shell theory and considering initial geometric imperfection, the strain equations of the shells are obtained. In order to characterize the small-scale effect of the nanoshells, the nonlocal parameter and strain gradient parameter are introduced. Subsequently, the Euler-Lagrange principle was used to derive the motion equations. Considering three boundary conditions, the Galerkin principle combined with the modified Lindstedt Poincare (MLP) method are employed to discretize and solve the motion equations. Finally, the effects of initial geometric imperfection, functional gradient index, strain gradient parameters, non-local parameters and porosity volume fraction on the nonlinear resonance of the porous FGM nanoshells are examined.

The Design and Implement on Tumor Classification Model Based on Microarray (마이크로어레이 기반 종양 분류 모델 설계와 구현)

  • Park, Su-Young;Jung, Chai-Yeoung
    • Annual Conference of KIPS
    • /
    • 2007.11a
    • /
    • pp.713-716
    • /
    • 2007
  • 오늘날 인간 프로젝트와 같은 종합적인 연구의 궁극적 목적을 달성하기 위해서는 이들 연구로부터 획득한 대량의 관련 데이터에 대해 새로운 현실적 의미를 부여할 수 있어야 한다. 따라서 현재의 마이크로어레이 기술을 이용해서 효과적으로 종양을 분류하기 위해서는 특정 종양 분류와 밀접하게 관련이 있는 정보력 있는 유전자를 선택하는 과정이 필수적이다. 본 논문에서는 암에 걸린 흰쥐 외피 기간 세포 분화 실험에서 얻어진 3840 유전자의 마이크로어레이 cDNA를 이용해 데이터의 정규화를 거쳐 유사성 척도 방법으로 정보력 있는 유전자들을 추출한 후, DT, NB, SVM, MLP 알고리즘을 이용하여 클래스 분류 모델을 구축하고, 성능을 비교분석하였다. 피어슨 적률 상관 계수를 이용하여 선택된 50 유전자들을 멀티퍼셉트론 분류기로 분류한 결과 94.8%의 정확도를 보여 가장 최적의 조합을 보였다.

A Study on the Efficiency of Imbalanced Data Processing Techniques for Exercise Prediction in COPD Patients (COPD 환자 운동 예측을 위한 불균형 데이터 처리 기법의 효율성에 관한 연구)

  • Hyeonseok Jin;Sehyun Cho;Jayun Choi;Kyungbaek Kim
    • Annual Conference of KIPS
    • /
    • 2024.05a
    • /
    • pp.652-655
    • /
    • 2024
  • COPD(Chronic Obstructive Pulmonary Disease)는 장기간에 걸쳐 기도가 좁아지는 폐질환으로, 규칙적 운동은 호흡을 용이하게 하고 증상을 개선할 수 있는 주요 자가관리 중재법 중 하나이다. 건강정보 데이터와 인공지능을 사용하여 규직적 운동 이행군과 불이행군을 선별하여 자가관리 취약 집단을 파악하는 것은 질병관리 측면에서 비용효과적인 전략이다. 하지만 많은 양의 데이터를 확보하기 어렵고, 규칙적 운동군과 그렇지 않은 환자의 비율이 상이하기 때문에 인공지능 모델의 전체적인 선별 능력을 향상시키기 어렵다는 한계가 있다. 이러한 한계를 극복하기 위해 본 연구에서는 국민건강영양조사 데이터를 사용하여 머신러닝 모델인 XGBoost와 딥러닝 모델인 MLP에 오버샘플링, 언더샘플링, 가중치 부여 등 불균형 데이터 처리 기법을 적용 후 성능을 비교하여 가장 효과적인 불균형 데이터 처리 기법을 제시한다.

Multi-Agent Deep Reinforcement Learning for Fighting Game: A Comparative Study of PPO and A2C

  • Yoshua Kaleb Purwanto;Dae-Ki Kang
    • International Journal of Internet, Broadcasting and Communication
    • /
    • v.16 no.3
    • /
    • pp.192-198
    • /
    • 2024
  • This paper investigates the application of multi-agent deep reinforcement learning in the fighting game Samurai Shodown using Proximal Policy Optimization (PPO) and Advantage Actor-Critic (A2C) algorithms. Initially, agents are trained separately for 200,000 timesteps using Convolutional Neural Network (CNN) and Multi-Layer Perceptron (MLP) with LSTM networks. PPO demonstrates superior performance early on with stable policy updates, while A2C shows better adaptation and higher rewards over extended training periods, culminating in A2C outperforming PPO after 1,000,000 timesteps. These findings highlight PPO's effectiveness for short-term training and A2C's advantages in long-term learning scenarios, emphasizing the importance of algorithm selection based on training duration and task complexity. The code can be found in this link https://github.com/Lexer04/Samurai-Shodown-with-Reinforcement-Learning-PPO.

Realtime Analysis of Sasang Constitution Types from Facial Features Using Computer Vision and Machine Learning

  • Abdullah;Shah Mahsoom Ali;Hee-Cheol Kim
    • Journal of information and communication convergence engineering
    • /
    • v.22 no.3
    • /
    • pp.256-266
    • /
    • 2024
  • Sasang constitutional medicine (SCM) is one of the best traditional therapeutic approaches used in Korea. SCM prioritizes personalized treatment that considers the unique constitution of an individual and encompasses their physical characteristics, personality traits, and susceptibility to specific diseases. Facial features are essential for diagnosing Sasang constitutional types (SCTs). This study aimed to develop a real-time artificial intelligence-based model for diagnosing SCTs using facial images, building an SCTs prediction model based on a machine learning method. Facial features from all images were extracted to develop this model using feature engineering and machine learning techniques. The fusion of these features was used to train the AI model. We used four machine learning algorithms, namely, random forest (RF), multilayer perceptron (MLP), gradient boosting machine (GBM), and extreme gradient boosting (XGB), to investigate SCTs. The GBM outperformed all the other models. The highest accuracy achieved in the experiment was 81%, indicating the robustness of the proposed model and suitability for real-time applications.