• 제목/요약/키워드: Memory-Based Learning

검색결과 560건 처리시간 0.027초

CMOS Analog Integrate-and-fire Neuron Circuit for Driving Memristor based on RRAM

  • Kwon, Min-Woo;Baek, Myung-Hyun;Park, Jungjin;Kim, Hyungjin;Hwang, Sungmin;Park, Byung-Gook
    • JSTS:Journal of Semiconductor Technology and Science
    • /
    • 제17권2호
    • /
    • pp.174-179
    • /
    • 2017
  • We designed the CMOS analog integrate and fire (I&F) neuron circuit for driving memristor based on resistive-switching random access memory (RRAM). And we fabricated the RRAM device that have $HfO_2$ switching layer using atomic layer deposition (ALD). The RRAM device has gradual set and reset characteristics. By spice modeling of the synaptic device, we performed circuit simulation of synaptic device and CMOS neuron circuit. The neuron circuit consists of a current mirror for spatial integration, a capacitor for temporal integration, two inverters for pulse generation, a refractory part, and finally a feedback part for learning of the RRAM. We emulated the spike-timing-dependent-plasticity (STDP) characteristic that is performed automatically by pre-synaptic pulse and feedback signal of the neuron circuit. By STDP characteristics, the synaptic weight, conductance of the RRAM, is changed without additional control circuit.

Bidirectional LSTM CRF 기반의 개체명 인식을 위한 단어 표상의 확장 (Expansion of Word Representation for Named Entity Recognition Based on Bidirectional LSTM CRFs)

  • 유홍연;고영중
    • 정보과학회 논문지
    • /
    • 제44권3호
    • /
    • pp.306-313
    • /
    • 2017
  • 개체명 인식이란 문서 내에서 인명, 기관명, 지명, 시간, 날짜 등 고유한 의미를 가지는 개체명을 추출하여 그 종류를 결정하는 것을 말한다. 최근 개체명 인식 연구에서 가장 우수한 성능을 보여주고 있는 모델은 Bidirectional LSTM CRFs 모델이다. 이러한 LSTM 기반의 딥 러닝 모델은 입력이 되는 단어 표상에 의존적이다. 따라서 입력이 되는 단어를 잘 표현하기 위하여 단어 표상을 확장하는 방법에 대한 연구가 많이 진행되어지고 있다. 본 논문에서는 한국어 개체명 인식을 위하여 Bidirectional LSTM CRFs모델을 사용하고, 그 입력으로 사용되는 단어 표상을 확장하기 위해 사전 학습된 단어 임베딩 벡터, 품사 임베딩 벡터, 음절 기반에서 확장된 단어 임베딩 벡터, 그리고 개체명 사전 자질 벡터를 사용한다. 최종 단어 표상 확장 결과 사전 학습된 단어 임베딩 벡터만 사용한 것 보다 8.05%p의 성능 향상을 보였다.

RNN을 이용한 코드 재사용 공격 탐지 방법 연구 (Detecting code reuse attack using RNN)

  • 김진섭;문종섭
    • 인터넷정보학회논문지
    • /
    • 제19권3호
    • /
    • pp.15-23
    • /
    • 2018
  • 코드 재사용 공격은 프로그램 메모리상에 존재하는 실행 가능한 코드 조각을 조합하고, 이를 연속적으로 실행함으로써 스택에 직접 코드를 주입하지 않고도 임의의 코드를 실행시킬 수 있는 공격 기법이다. 코드 재사용 공격의 대표적인 종류로는 ROP(Return-Oriented Programming) 공격이 있으며, ROP 공격에 대응하기 위한 여러 방어기법들이 제시되어왔다. 그러나 기존의 방법들은 특정 규칙을 기반으로 공격을 탐지하는 Rule-base 방식을 사용하기 때문에 사전에 정의한 규칙에 해당되지 않는 ROP 공격은 탐지할 수 없다는 한계점이 존재한다. 본 논문에서는 RNN(Recurrent Neural Network)을 사용하여 ROP 공격 코드에 사용되는 명령어 패턴을 학습하고, 이를 통해 ROP 공격을 탐지하는 방법을 소개한다. 또한 정상 코드와 ROP 공격 코드 판별에 대한 False Positive Ratio, False Negative Ratio, Accuracy를 측정함으로써 제안한 방법이 효과적으로 ROP 공격을 탐지함을 보인다.

어텐션 알고리듬 기반 양방향성 LSTM을 이용한 동영상의 압축 표준 예측 (Video Compression Standard Prediction using Attention-based Bidirectional LSTM)

  • 김상민;박범준;정제창
    • 방송공학회논문지
    • /
    • 제24권5호
    • /
    • pp.870-878
    • /
    • 2019
  • 본 논문에서는 어텐션 알고리듬 (attention algorithm) 기반의 양방향성 LSTM (bidirectional long short-term memory; BLSTM) 을 동영상의 압축 표준을 예측하기 위해 사용한다. 자연어 처리 (natural language processing; NLP) 분야에서 순환적 신경망 (recurrent neural networks; RNN) 의 구조를 이용하여 문장의 다음 단어를 예측하거나 의미에 따라 문장을 분류하거나 번역하는 연구들은 계속되어왔고, 이는 챗봇, 음성인식 스피커, 번역 애플리케이션 등으로 상용화되었다. LSTM 은 RNN에서 gradient vanishing problem 을 해결하고자 고안됐고, NLP 분야에서 유용하게 사용되고 있다. 제안한 알고리듬은 BLSTM과 특정 단어에 집중하여 분류할 수 있는 어텐션 알고리듬을 자연어 문장이 아닌 동영상의 비트스트림에 적용해 동영상의 압축 표준을 예측하는 것이 가능하다.

A Study on the Forecasting of Bunker Price Using Recurrent Neural Network

  • Kim, Kyung-Hwan
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권10호
    • /
    • pp.179-184
    • /
    • 2021
  • 본 논문에서는 딥러닝 기반의 순환신경망을 이용하여 선박 연료유 예측을 시도하였다. 해운업에서는 선박 운항비에서 연료유가 차지하는 비중이 가장 크고 가격 변동성도 크기 때문에, 해운 기업은 합리적이고 과학저인 방법으로 연료유를 예측하여 시장경쟁력을 확보할 수 있다. 본 논문에서는 순환신경망 모델 3가지(RNN, LSTM, GRU)를 이용하여 싱가폴의 HSFO 380CST 벙커유 가격을 단기 예측하였다. 예측결과, 첫째, 선박 연료유 단기적 예측을 위해서는 장기 메모리를 사용하는 LSTM, GRU보다는 일반적인 RNN 모델의 성능이 우수한 것으로 분석되어, 장기적 정보의 예측 기여가 낮은 것으로 분석되었다. 둘째, 계량경제학 모델을 사용한 선행연구와 비교하여 순환신경망 모델의 예측성능이 우수한 것으로 분석되어 연료유가의 비선형적 특성을 고려한 순환신경망 모델을 통한 예측 연구의 필요성을 확인하였다. 연구의 결과는 선박 연료유의 단기 예측을 통하여 해운기업의 선박 연료유 수급 결정과 같은 의사결정에 도움이 될 수 있을 것으로 기대된다.

음질 및 속도 향상을 위한 선형 스펙트로그램 활용 Text-to-speech (Text-to-speech with linear spectrogram prediction for quality and speed improvement)

  • 윤혜빈
    • 말소리와 음성과학
    • /
    • 제13권3호
    • /
    • pp.71-78
    • /
    • 2021
  • 인공신경망에 기반한 대부분의 음성 합성 모델은 고음질의 자연스러운 발화를 생성하기 위해 보코더 모델을 사용한다. 보코더 모델은 멜 스펙트로그램 예측 모델과 결합하여 멜 스펙트로그램을 음성으로 변환한다. 그러나 보코더 모델을 사용할 경우에는 많은 양의 컴퓨터 메모리와 훈련 시간이 필요하며, GPU가 제공되지 않는 실제 서비스 환경에서 음성 합성이 오래 걸린다는 단점이 있다. 기존의 선형 스펙트로그램 예측 모델에서는 보코더 모델을 사용하지 않으므로 이 문제가 발생하지 않지만, 대신에 고품질의 음성을 생성하지 못한다. 본 논문은 뉴럴넷 기반 보코더를 사용하지 않으면서도 양질의 음성을 생성하는 Tacotron 2 & Transformer 기반의 선형 스펙트로그램 예측 모델을 제시한다. 본 모델의 성능과 속도 측정 실험을 진행한 결과, 보코더 기반 모델에 비해 성능과 속도 면에서 조금 더 우세한 점을 보였으며, 따라서 고품질의 음성을 빠른 속도로 생성하는 음성 합성 모델 연구의 발판 역할을 할 것으로 기대한다.

Design of visitor counting system using edge computing method

  • Kim, Jung-Jun;Kim, Min-Gyu;Kim, Ju-Hyun;Lee, Man-Gi;Kim, Da-Young
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권7호
    • /
    • pp.75-82
    • /
    • 2022
  • 우리 주위에 다양한 전시관, 쇼핑몰, 테마파크 등이 있으며 실제 전시하고 있는 전시물, 콘텐츠에 대한 관심도, 흥미도에 대한 분석은 설문 정도로만 이루어지고 있다. 이러한 설문은 주로 피설문자의 주관적인 기억에 의존하고 있어서 잘못된 통계 결과를 얻을 수 있는 문제가 있다. 따라서 방문객의 동선 추적과 수를 카운팅 하여 흥미가 떨어지는 전시 공간 파악이 가능하며 이를 통해 교체가 필요한 전시물에 대해 정량적 자료로 사용이 가능하다. 본 논문에서는 딥러닝 기반의 인공지능 알고리즘을 이용하여 방문객을 인식하고, 인식된 방문객에 아이디를 할당하여 이를 지속적으로 추적하는 방식으로 동선을 파악한다. 이때 방문객이 카운팅 라인을 통과하게 되면 그 수를 카운팅 하고, 데이터는 서버에 전송하여 통합 관리할 수 있도록 시스템을 설계하였다.

순환신경망 모델을 활용한 팔당호의 단기 수질 예측 (Short-Term Water Quality Prediction of the Paldang Reservoir Using Recurrent Neural Network Models)

  • 한지우;조용철;이소영;김상훈;강태구
    • 한국물환경학회지
    • /
    • 제39권1호
    • /
    • pp.46-60
    • /
    • 2023
  • Climate change causes fluctuations in water quality in the aquatic environment, which can cause changes in water circulation patterns and severe adverse effects on aquatic ecosystems in the future. Therefore, research is needed to predict and respond to water quality changes caused by climate change in advance. In this study, we tried to predict the dissolved oxygen (DO), chlorophyll-a, and turbidity of the Paldang reservoir for about two weeks using long short-term memory (LSTM) and gated recurrent units (GRU), which are deep learning algorithms based on recurrent neural networks. The model was built based on real-time water quality data and meteorological data. The observation period was set from July to September in the summer of 2021 (Period 1) and from March to May in the spring of 2022 (Period 2). We tried to select an algorithm with optimal predictive power for each water quality parameter. In addition, to improve the predictive power of the model, an important variable extraction technique using random forest was used to select only the important variables as input variables. In both Periods 1 and 2, the predictive power after extracting important variables was further improved. Except for DO in Period 2, GRU was selected as the best model in all water quality parameters. This methodology can be useful for preventive water quality management by identifying the variability of water quality in advance and predicting water quality in a short period.

A Method for Generating Malware Countermeasure Samples Based on Pixel Attention Mechanism

  • Xiangyu Ma;Yuntao Zhao;Yongxin Feng;Yutao Hu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권2호
    • /
    • pp.456-477
    • /
    • 2024
  • With information technology's rapid development, the Internet faces serious security problems. Studies have shown that malware has become a primary means of attacking the Internet. Therefore, adversarial samples have become a vital breakthrough point for studying malware. By studying adversarial samples, we can gain insights into the behavior and characteristics of malware, evaluate the performance of existing detectors in the face of deceptive samples, and help to discover vulnerabilities and improve detection methods for better performance. However, existing adversarial sample generation methods still need help regarding escape effectiveness and mobility. For instance, researchers have attempted to incorporate perturbation methods like Fast Gradient Sign Method (FGSM), Projected Gradient Descent (PGD), and others into adversarial samples to obfuscate detectors. However, these methods are only effective in specific environments and yield limited evasion effectiveness. To solve the above problems, this paper proposes a malware adversarial sample generation method (PixGAN) based on the pixel attention mechanism, which aims to improve adversarial samples' escape effect and mobility. The method transforms malware into grey-scale images and introduces the pixel attention mechanism in the Deep Convolution Generative Adversarial Networks (DCGAN) model to weigh the critical pixels in the grey-scale map, which improves the modeling ability of the generator and discriminator, thus enhancing the escape effect and mobility of the adversarial samples. The escape rate (ASR) is used as an evaluation index of the quality of the adversarial samples. The experimental results show that the adversarial samples generated by PixGAN achieve escape rates of 97%, 94%, 35%, 39%, and 43% on the Random Forest (RF), Support Vector Machine (SVM), Convolutional Neural Network (CNN), Convolutional Neural Network and Recurrent Neural Network (CNN_RNN), and Convolutional Neural Network and Long Short Term Memory (CNN_LSTM) algorithmic detectors, respectively.

학습접근방식에 따른 고등학생들의 유전 문제 해결 과정 분석 (Analysis of Genetics Problem-Solving Processes of High School Students with Different Learning Approaches)

  • 이신영;변태진
    • 한국과학교육학회지
    • /
    • 제40권4호
    • /
    • pp.385-398
    • /
    • 2020
  • 본 연구에서는 서로 다른 학습접근방식의 학생이 유전 가계도 문제 해결 과정상에서 어떠한 차이를 보여주는지 심층적으로 들여다보고자 하였다. 연구 대상은 고등학교 2학년 학생으로 생명과학I을 이수한 학생으로 학업성취수준은 비슷하였으나 학습접근방식이 각각 심층적 접근방식과 피상적 접근방식을 나타내었다. 각 학생의 문제 해결 사례를 심층적으로 분석하기 위해 문제 해결 과정은 비디오 녹화되었고, 문제 해결이 종료된 후에 학생들의 문제 해결 과정에 대한 사고 구술 인터뷰를 실시하였다. 연구 결과, 학생들은 2가지 형질의 유전 원리가 불확실한 문제 상황을 해결하는 과정에서 유사한 오류를 보여주었다. 하지만 심층적 학습접근방식의 학생 A는 자발적으로 2번 반복하여 문제를 해결하면서 3가지 제한 요인에 대해 원리 기반추론을 하며 옳은 개념적 프레이밍을 나타내었다. 검토 단계에서 자료와 본인이 그린 가계도 사이의 일치도를 점검하고, 문제 해결 이후에도 끊임없이 본인의 문제 해결 과정을 점검하였다. 마지막의 문제 해결 과정에서는 성공적인 문제 해결 알고리즘에 근접한 문제 해결 과정을 나타내었다. 하지만 피상적 학습접근방식의 학생 B는 연구자의 권유로 비자발적으로 문제 해결 과정을 반복하였고, 답을 구하려는 목적 지향적인 문제 해결 태도로 인해 문제에서 제시한 일부 정보만을 검토하였다. 문제의 제한 요인에 대해 기억 장치 추론이나 임의적 추론을 통해서 옳지 않은 개념적 프레이밍을 하였고, 이를 수정하지 않고 유지하는 모습을 나타내었다. 본 연구 결과를 통해 심층적 접근방식과 피상적 접근방식의 학생이 문제 해결 과정에서 추론 방식과 개념적 프레이밍의 변화가 어떻게 일어나는지 구체적으로 살펴봄으로써 유전 문제의 접근을 어려워하는 학생들이나 이들을 지도하는 교사들에게 도움을 줄 수 있을 것이다.