• 제목/요약/키워드: Long-term memory

검색결과 794건 처리시간 0.025초

LSTM 기반의 sequence-to-sequence 모델을 이용한 한글 자동 띄어쓰기 (LSTM based sequence-to-sequence Model for Korean Automatic Word-spacing)

  • 이태석;강승식
    • 스마트미디어저널
    • /
    • 제7권4호
    • /
    • pp.17-23
    • /
    • 2018
  • 자동 띄어쓰기 특성을 효과적으로 처리할 수 있는 LSTM(Long Short-Term Memory Neural Networks) 기반의 RNN 모델을 제시하고 적용한 결과를 분석하였다. 문장이 길거나 일부 노이즈가 포함된 경우에 신경망 학습이 쉽지 않은 문제를 해결하기 위하여 입력 데이터 형식과 디코딩 데이터 형식을 정의하고, 신경망 학습에서 드롭아웃, 양방향 다층 LSTM 셀, 계층 정규화 기법, 주목 기법(attention mechanism)을 적용하여 성능을 향상시키는 방법을 제안하였다. 학습 데이터로는 세종 말뭉치 자료를 사용하였으며, 학습 데이터가 부분적으로 불완전한 띄어쓰기가 포함되어 있었음에도 불구하고, 대량의 학습 데이터를 통해 한글 띄어쓰기에 대한 패턴이 의미 있게 학습되었다. 이것은 신경망에서 드롭아웃 기법을 통해 학습 모델의 오버피팅이 되지 않도록 함으로써 노이즈에 강한 모델을 만들었기 때문이다. 실험결과로 LSTM sequence-to-sequence 모델이 재현율과 정확도를 함께 고려한 평가 점수인 F1 값이 0.94로 규칙 기반 방식과 딥러닝 GRU-CRF보다 더 높은 성능을 보였다.

A novel method for generation and prediction of crack propagation in gravity dams

  • Zhang, Kefan;Lu, Fangyun;Peng, Yong;Li, Xiangyu
    • Structural Engineering and Mechanics
    • /
    • 제81권6호
    • /
    • pp.665-675
    • /
    • 2022
  • The safety problems of giant hydraulic structures such as dams caused by terrorist attacks, earthquakes, and wars often have an important impact on a country's economy and people's livelihood. For the national defense department, timely and effective assessment of damage to or impending damage to dams and other structures is an important issue related to the safety of people's lives and property. In the field of damage assessment and vulnerability analysis, it is usually necessary to give the damage assessment results within a few minutes to determine the physical damage (crack length, crater size, etc.) and functional damage (decreased power generation capacity, dam stability descent, etc.), so that other defense and security departments can take corresponding measures to control potential other hazards. Although traditional numerical calculation methods can accurately calculate the crack length and crater size under certain combat conditions, it usually takes a long time and is not suitable for rapid damage assessment. In order to solve similar problems, this article combines simulation calculation methods with machine learning technology interdisciplinary. First, the common concrete gravity dam shape was selected as the simulation calculation object, and XFEM (Extended Finite Element Method) was used to simulate and calculate 19 cracks with different initial positions. Then, an LSTM (Long-Short Term Memory) machine learning model was established. 15 crack paths were selected as the training set and others were set for test. At last, the LSTM model was trained by the training set, and the prediction results on the crack path were compared with the test set. The results show that this method can be used to predict the crack propagation path rapidly and accurately. In general, this article explores the application of machine learning related technologies in the field of mechanics. It has broad application prospects in the fields of damage assessment and vulnerability analysis.

기계학습 모형 기반 진해만 용존산소농도 및 빈산소수괴 발생 예측 (Prediction in Dissolved Oxygen Concentration and Occurrence of Hypoxia Water Mass in Jinhae Bay Based on Machine Learning Model)

  • 박성식;김병국;김경회
    • 한국해안·해양공학회논문집
    • /
    • 제34권3호
    • /
    • pp.47-57
    • /
    • 2022
  • 본 연구에서는 진해만의 단일 정점 장기 모니터링 자료를 사용하여 LSTM 모형을 이용한 DO 농도 예측 및 결정 트리 모형을 이용한 빈산소수괴 발생 예측 연구를 수행하였다. LSTM을 이용한 DO 농도 예측 결과, Hidden node의 수가 증가할수록 모형의 복잡도가 증가하여 많은 Epoch을 요구하는 모습을 보였으며, 예측 시간 간격이 증가할수록 긴 Sequence length에서 높은 정확도를 보였다. 결정 트리를 이용한 빈산소수괴 발생 예측 결과, 30 day 예측에서 빈산소수괴 미발생 예측 정확도는 6 6 .1%로 발생 예측 정확도의 37.5%보다 상대적으로 높게 나타났다. 이는 결정 트리 모형이 DO 농도를 관측값보다 고평가하여 나타난 결과로 판단된다.

중국의 당안유산(檔案遺産) 보존과 디지털화 방향 (The Archival Heritage in China : Preservation, Digitalization and Standardization)

  • 펑 후이린
    • 한국기록관리학회지
    • /
    • 제5권2호
    • /
    • pp.153-165
    • /
    • 2005
  • 중국은 역사가 길고 유구한 문화를 가진 국가이다. 수천 년의 역사는 방대한 수량의 당안문헌자료를 남겼다. 이러한 당안은 중국 민족의 "기억"을 구성하고 있다. 결승, 갑골, 청동, 비단에서 종이, 필름, CD까지 인류의 역사는 부단히 진화된 당안(기록(記錄)을 의미함)매체와 당안관리를 통하여 보존되고 연속될 수 있었다. 오늘날처럼 정보기술이 물밀 듯이 우리를 향하여 다가오는 시대에, 우리는 인류 기억의 "수호자"로서 옛 것과 새로운 것 그리고 변하는 것과 변하지 않는 것의 충격 속에서 가장 적당한 균형점을 찾을 수밖에 없다. 아키비스트는 한편으로는 최선을 다하여 전통 당안문헌의 생명을 유지시켜 장기적으로 충분히 이용될 수 있도록 하며, 다른 한편으로는 전자문서의 도전을 받아들여 새로운 관리방식으로 새로운 형태의 문서들을 보존시켜 인류의 역사를 연장하도록 시도하여야 한다. 정보시대는 인류 사회 발전의 새로운 단계로 문서당안의 디지털화(전자화) 역시 당안관리 역사의 긴 강에서 중요한 의의를 갖는 과정이다. 이 원고의 내용은 세 부분으로 이루어져 있다. 첫째 부분은 중국의 당안유산 보존 현황을 소개하였다. 특히 "중국당안유산사업"과 "특별서고(特藏室)"의 건설을 중점적으로 소개 하고, 둘째 부분은 중국의 당안디지털화 과정을 소개하였고, 셋째 부분은 전자문서관리의 표준화 건설을 소개하였다.

Preparation of Alzheimers Animal Model and Brain Dysfunction Induced by Continuous $\beta$-Amyloid Protein Infusion

  • Akio Itoh;Kiyofumi Yamada;Kim, Hyoung-Chun;Toshitaka Nabeshima
    • Toxicological Research
    • /
    • 제17권
    • /
    • pp.47-57
    • /
    • 2001
  • Alzheimer's disease (AD) is the most common cause of dementia in the elderly, and its pathology is characterized by the presence of numerous numbers of senile plaques and neurofibrillary tangles. Several genetic and transgenic studies have indicated that excess amount of $\beta$-amyloid protein (A$\beta$) is produced by mutations of $\beta$TEX>$\beta$-amyloid precursor protein and causes learning impairment. Moreover, $A\beta$ has a toxic effect on cultured nerve cells. To prepare AD model animals, we have examined continuous (2 weeks) infusion of $A\beta$ into the cerebral ventricle of rats. Continuous infusion of $A\beta$ induces learning impairment in water maze and passive avoidance tasks, and decreases choline acetyltransferase activity in the frontal cortex and hippocampus. Immunohistochemical analysis revealed diffuse depositions of $A\beta$ in the cerebral cortex and hippocampus around the ventricle. Furthermore, the nicotine-evoked release of acetylcholine and dopamine in the frontal cortex/hippocampus and striatum, respectively, is decreased in the $A\beta$-infused group. Perfusion of nicotine (50 $\mu\textrm{M}$) reduced the amplitude of electrically evoked population spikes in the CA1 pyramidal cells of the control group, but not in those of the $A\beta$-infused group, suggesting the impairment of nicotinic signaling in the $A\beta$-infused group. In fact, Kd, but not Bmax, values for [$^3H$] cytisine binding in the hippocampus significantly increased in the $A\beta$-infused rats. suggesting the decrease in affinity of nicotinic acetylcholine receptors. Long-term potentiation (LTP) induced by tetanic stimulations in CA1 pyramidal cells, which is thought to be an essential mechanism underlying learning and memory, was readily observed in the control group, whereas it was impaired in the $A\beta$-infused group. Taken together, these results suggest that $A\beta$ infusion impairs the signal transduction mechanisms via nicotinic acetylcholine receptors. This dysfunction may be responsible, at least in part, for the impairment of LTP induction and may lead to learning and memory impairment. We also found the reduction of glutathione- and Mn-superoxide dismutase-like immunoreactivity in the brains of $A\beta$-infused rats. Administration of antioxidants or nootropics alleviated learning and memory impairment induced by $A\beta$ infusion. We believe that investigation of currently available transgenic and non-transgenic animal models for AD will help to clarify the pathogenic mechanisms and allow assessment of new therapeutic strategies.

  • PDF

백삼과 홍삼추출물의 학습수행과 Acetylcholinesterase 억제에 미치는 효과 (Effects of white ginseng and red ginseng extract on learning performance and acetylcholinesterase activity inhibition)

  • 이미라;손백신;고리주안;왕춘년;모은경;양선아;이선영;성창근
    • Journal of Ginseng Research
    • /
    • 제32권4호
    • /
    • pp.341-346
    • /
    • 2008
  • 백삼과 홍삼추출물 투여가 scopolamine으로 기억을 손상시킨 실험동물의 학습수행 개선과 뇌조직의 AChE 억제 및 ACh 함량을 평가하여 다음과 같은 결론을 얻었다. 1. 백삼과 홍삼추출물(200 mg/kg, p.o.) 투여는 scopolamine (2 mg/kg, i.p.)으로 유발된 기억손상 동물모델의 Morris water maze 시험에서 tacrine 투여군과 대조군처럼 인지훈련이 반복될수록 escape latency 시간이 현저히 감소하였다. probe test에서도 scopolamine 투여군보다 유의적으로 감소하여 인삼추출물이 장기기억(Long-term memory)과 working memory의 개선에 효과가 있음을 확인하였다. 2. Y-maze test를 통한 실험동물의 자발적 변동행동력은 실험군간 차이가 없었으며, 총 출입회수도 차이가 없어 인삼추출물은 실험동물의 일반적 운동성에 영향을 주지 않았다. 3. 해마조직의 AChE 활성은 인삼추출물 군에서 감소하는 경향을 보였으나 유의적 차이는 없었다. 대뇌피질과 혈청 AChE 활성은 홍삼추출물 투여군에서 유의적으로 감소하였다. 4. 인삼추출물 투여군의 뇌조직 ACh 함량은 대뇌피질과 해마조직에서 scopolamine 투여군보다 증가하는 경향을 보였으나 그룹간의 유의적인 차이는 없었다. 5. 이를 통하여 볼 때 인삼추출물 특히 홍삼추출물은 장기기억 활성촉진, AChE 억제, ACh 활성촉진으로 콜린성 신경계를 자극하여 기억 및 학습증진에 매우 효과적으로 작용하는 항치매 물질로 사료된다.

SMA 와이어를 이용한 연결재의 인발저항성능 평가 (Evaluation of the Pull-out Resistance of the SMA Wire Connector)

  • 정치영;우태련;이종한;정진환
    • 한국구조물진단유지관리공학회 논문집
    • /
    • 제23권1호
    • /
    • pp.130-137
    • /
    • 2019
  • PC구조형식은 사전 제작된 PC 부재를 현장에서 거치한 후 추가 긴장력 도입 및 연결부 시공의 과정을 거쳐서 구조물을 완성시키는 형식이다. 하지만 현장타설부와 PC부 사이 부착면에서 균열발생 및 수밀성 감소에 따른 누수문제가 발생할 수 있다. 이러한 균열 및 누수문제는 철근의 부식을 초래할 수 있으며, 이는 구조물의 장기사용 내구성을 급격히 감소시키는 주요 원인이 될 수 있다. 본 연구에서는 기존 PC 구조물 접합부 경계면에서의 부착력 부족에 대한 문제를 해결하기 위해서, 형상기억합금을 활용한 표면처리 부재를 제안하고, 형상기억합금 와이어를 이용한 연결부의 성능을 평가하고자 하였다. 이를 위해서 본 연구는 해당 기술 실현을 위한 사전연구로서 와이어의 개수와 절곡유무, 그리고 형상기억효과 발현 유무에 따른 연결재의 인발력을 평가하고자 하였다. 연구결과를 통해서 SMA 연결재의 인발저항성능을 결정짓는 연결부의 형상효과와 형상기억발현효과, 그리고 부착효과에 대해서 평가할 수 있었다. 또한 이에 대한 설계변수별 예측식을 제안하였고, 예측값과 실험값 간의 유효성을 확인하였다.

한국어 음소 단위 LSTM 언어모델을 이용한 문장 생성 (Korean Sentence Generation Using Phoneme-Level LSTM Language Model)

  • 안성만;정여진;이재준;양지헌
    • 지능정보연구
    • /
    • 제23권2호
    • /
    • pp.71-88
    • /
    • 2017
  • 언어모델은 순차적으로 입력된 자료를 바탕으로 다음에 나올 단어나 문자를 예측하는 모델로 언어처리나 음성인식 분야에 활용된다. 최근 딥러닝 알고리즘이 발전되면서 입력 개체 간의 의존성을 효과적으로 반영할 수 있는 순환신경망 모델과 이를 발전시킨 Long short-term memory(LSTM) 모델이 언어모델에 사용되고 있다. 이러한 모형에 자료를 입력하기 위해서는 문장을 단어 혹은 형태소로 분해하는 과정을 거친 후 단어 레벨 혹은 형태소 레벨의 모형을 사용하는 것이 일반적이다. 하지만 이러한 모형은 텍스트가 포함하는 단어나 형태소의 수가 일반적으로 매우 많기 때문에 사전 크기가 커지게 되고 이에 따라 모형의 복잡도가 증가하는 문제가 있고 사전에 포함된 어휘 외에는 생성이 불가능하다는 등의 단점이 있다. 특히 한국어와 같이 형태소 활용이 다양한 언어의 경우 형태소 분석기를 통한 분해과정에서 오류가 더해질 수 있다. 이를 보완하기 위해 본 논문에서는 문장을 자음과 모음으로 이루어진 음소 단위로 분해한 뒤 입력 데이터로 사용하는 음소 레벨의 LSTM 언어모델을 제안한다. 본 논문에서는 LSTM layer를 3개 또는 4개 포함하는 모형을 사용한다. 모형의 최적화를 위해 Stochastic Gradient 알고리즘과 이를 개선시킨 다양한 알고리즘을 사용하고 그 성능을 비교한다. 구약성경 텍스트를 사용하여 실험을 진행하였고 모든 실험은 Theano를 기반으로 하는 Keras 패키지를 사용하여 수행되었다. 모형의 정량적 비교를 위해 validation loss와 test set에 대한 perplexity를 계산하였다. 그 결과 Stochastic Gradient 알고리즘이 상대적으로 큰 validation loss와 perplexity를 나타냈고 나머지 최적화 알고리즘들은 유사한 값들을 보이며 비슷한 수준의 모형 복잡도를 나타냈다. Layer 4개인 모형이 3개인 모형에 비해 학습시간이 평균적으로 69% 정도 길게 소요되었으나 정량지표는 크게 개선되지 않거나 특정 조건에서는 오히려 악화되는 것으로 나타났다. 하지만 layer 4개를 사용한 모형이 3개를 사용한 모형에 비해 완성도가 높은 문장을 생성했다. 본 논문에서 고려한 어떤 시뮬레이션 조건에서도 한글에서 사용되지 않는 문자조합이 생성되지 않았고 명사와 조사의 조합이나 동사의 활용, 주어 동사의 결합 면에서 상당히 완성도 높은 문장이 발생되었다. 본 연구결과는 현재 대두되고 있는 인공지능 시스템의 기초가 되는 언어처리나 음성인식 분야에서 한국어 처리를 위해 다양하게 활용될 수 있을 것으로 기대된다.

쥐 해마에서 M1 무스카린 아세틸콜린 수용체의 활성에 의한 GluA2 세포내이입 연구 (Activation of the M1 Muscarinic Acetylcholine Receptor Induces GluA2 Internalization in the Hippocampus)

  • 류근오;석헌
    • 생명과학회지
    • /
    • 제25권10호
    • /
    • pp.1103-1109
    • /
    • 2015
  • 뇌 해마의 콜린성 신경분포는 학습과 기역에 연관성이 있는 것으로 알려져 있으며 이의 작용제인 carbachol 투여 시 장기기억 저하가 유도됨이 알려져 왔다. 그러나 이러한 콜린성 자극에 의한 해마 신경세포의 시냅스 내 변화기작은 완전히 알려지지 않고 있다. 본 연구에서는 아세틸콜린 수용체의 활성에 의하여 유도되는 장기기억 저하 현상에 있어 alpha-amino-3-hydroxy-5-methylisoxazole-4-propionate (AMPA) 수용체가 후시냅스 표면으로부터 사라지는 현상과 이의 조절기작에 대하여 알아보고자 한다. 이를 위하여 쥐 해마의 일차세포를 추출하고 체외에서 배양한 성숙 신경세포에 carbachol 을 투여하여 장기기억 저하를 유도 하였으며, 후시냅스의 표면으로부 터 AMPA 수용체의 아단위체인 GluA2가 M1 무스카린 수용체의 길항제에 의하여 저해 되었다. 또한 콜린성 자극 에 의한 GluA2의 내재화 현상의 작용기작 연구를 위하여 쥐 해마 절편에 carbachol 투여 후 GluA2와 직접적인 상호작용을 하는 Glutam내재화 되었음을 확인하였다. 이러한 현상은 ate receptor-interacting protein 1 (GRIP1) 과 clathrine 단백질이 매개하는 세포내이입 작용을 하는 adaptin-α 단백질의 결합 변화를 관찰하였다. GluA2는 carbachol 자극에 의해 세포내이입 과정에서 adaptin-α 와의 결합이 증가하였으며 반대로 GRIP1과는 해리되었다. 이는 아세틸콜린의 수용체의 자극에 의하여 GluA2의 내제화 작용이 수반되며, 이의 작용기작으로 GluA2의 후시 냅스 표면 발현시에 결합하고 있는 GRIP1과 해리 되면서 장기기억 저하 현상이 유도됨을 의미한다.

카메라를 활용한 조석사주 관측시스템 구축 및 지형변화 (Monitoring of Tidal Sand Shoal with a Camera Monitoring System and its Morphologic Change)

  • 이숭지;이관홍;강태순;김영택;김태림
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제39권3호
    • /
    • pp.326-333
    • /
    • 2015
  • 인천시 옹진군의 대이작도 주변해역 해양보호구역에 존재하는 '풀등'이라 불리는 조석사주는 인근 선갑지적의 해사채취로 인해 침식의 위협에 직면해있다. 접근성이 좋지 못한 풀등의 침식을 모니터링하기 위하여 대이작도의 송이산정상에 무인영상 자동모니터링시스템을 구축하였다. 영상모니터링시스템은 매 10분마다 $4608{\times}3456$의 해상도로 풀등을 분할 촬영하는 2대의 디지털 카메라, 실시간으로 영상자료를 실험실로 전송하는 Eye-fi 메모리카드와 LTE 휴대전화로 구성된 무선네트워크, 그리고 카메라와 무선네트워크 구동에 필요한 전력을 공급하는 태양광 전원공급시스템으로 구성되어 있다. 영상모니터링시스템으로 획득한 영상자료는 기하보정, 해안선판독, 풀등 면적 산정 및 오차산정의 영상분석방법을 적용하였다. 2012 해양보호구역 조사관찰 보고서에 기록된 조위 137 cm의 2008년 풀등 면적 1.79 km2과 조위 148 cm의 2010년 면적 $1.59km^2$과 비교하기 위하여, 동일 조위의 풀등 면적을 획득하였다. 2013년에 조위 137과 148 cm일 때 풀등의 면적은 각각 1.37과 $1.24km^2$로 나타났다. 2008-2013년 사이에 대이작도 주변해역 해양보호구역의 풀등에서 약 $0.42km^2$가 감소하였으며 2010-2013에는 약 $0.35km^2$가 감소하였다. 대이작도 해양보호구역의 풀등에서 진행되는 침식은 심각한 정도이며, 이러한 침식의 계절적인 변동 및 퇴적역학적 원인 규명이 시급하게 이루어져야 할 것이다.