• 제목/요약/키워드: Sequential system

검색결과 1,256건 처리시간 0.027초

한국어 음소 단위 LSTM 언어모델을 이용한 문장 생성 (Korean Sentence Generation Using Phoneme-Level LSTM Language Model)

  • 안성만;정여진;이재준;양지헌
    • 지능정보연구
    • /
    • 제23권2호
    • /
    • pp.71-88
    • /
    • 2017
  • 언어모델은 순차적으로 입력된 자료를 바탕으로 다음에 나올 단어나 문자를 예측하는 모델로 언어처리나 음성인식 분야에 활용된다. 최근 딥러닝 알고리즘이 발전되면서 입력 개체 간의 의존성을 효과적으로 반영할 수 있는 순환신경망 모델과 이를 발전시킨 Long short-term memory(LSTM) 모델이 언어모델에 사용되고 있다. 이러한 모형에 자료를 입력하기 위해서는 문장을 단어 혹은 형태소로 분해하는 과정을 거친 후 단어 레벨 혹은 형태소 레벨의 모형을 사용하는 것이 일반적이다. 하지만 이러한 모형은 텍스트가 포함하는 단어나 형태소의 수가 일반적으로 매우 많기 때문에 사전 크기가 커지게 되고 이에 따라 모형의 복잡도가 증가하는 문제가 있고 사전에 포함된 어휘 외에는 생성이 불가능하다는 등의 단점이 있다. 특히 한국어와 같이 형태소 활용이 다양한 언어의 경우 형태소 분석기를 통한 분해과정에서 오류가 더해질 수 있다. 이를 보완하기 위해 본 논문에서는 문장을 자음과 모음으로 이루어진 음소 단위로 분해한 뒤 입력 데이터로 사용하는 음소 레벨의 LSTM 언어모델을 제안한다. 본 논문에서는 LSTM layer를 3개 또는 4개 포함하는 모형을 사용한다. 모형의 최적화를 위해 Stochastic Gradient 알고리즘과 이를 개선시킨 다양한 알고리즘을 사용하고 그 성능을 비교한다. 구약성경 텍스트를 사용하여 실험을 진행하였고 모든 실험은 Theano를 기반으로 하는 Keras 패키지를 사용하여 수행되었다. 모형의 정량적 비교를 위해 validation loss와 test set에 대한 perplexity를 계산하였다. 그 결과 Stochastic Gradient 알고리즘이 상대적으로 큰 validation loss와 perplexity를 나타냈고 나머지 최적화 알고리즘들은 유사한 값들을 보이며 비슷한 수준의 모형 복잡도를 나타냈다. Layer 4개인 모형이 3개인 모형에 비해 학습시간이 평균적으로 69% 정도 길게 소요되었으나 정량지표는 크게 개선되지 않거나 특정 조건에서는 오히려 악화되는 것으로 나타났다. 하지만 layer 4개를 사용한 모형이 3개를 사용한 모형에 비해 완성도가 높은 문장을 생성했다. 본 논문에서 고려한 어떤 시뮬레이션 조건에서도 한글에서 사용되지 않는 문자조합이 생성되지 않았고 명사와 조사의 조합이나 동사의 활용, 주어 동사의 결합 면에서 상당히 완성도 높은 문장이 발생되었다. 본 연구결과는 현재 대두되고 있는 인공지능 시스템의 기초가 되는 언어처리나 음성인식 분야에서 한국어 처리를 위해 다양하게 활용될 수 있을 것으로 기대된다.

비 순환기계 중환자의 예후 인자로서의 Troponin-I, Lactate, C-reactive protein의 유용성 (Usefulness of Troponin-I, Lactate, C-reactive protein as a Prognostic Markers in Critically Ill Non-cardiac Patients)

  • 조유지;함현석;김휘종;김호철;이종덕;황영실
    • Tuberculosis and Respiratory Diseases
    • /
    • 제58권6호
    • /
    • pp.562-569
    • /
    • 2005
  • 배 경 : 중환자에서 질환의 중증도 평가체계는 예후를 평가하는데 유용한 것으로 알려져 있다. 하지만 이들은 다소 복잡하고 비용-효과 면이 있어 보다 손쉽게 예후를 예측할 수 있는 troponin-I, lactate, CRP 등과 같은 생화적 지표에 대한 연구가 진행되어 왔다. 본 연구는 비 순환기계 중환자에서 troponin-I, lactate, CRP 수치가 예후 인자로서 유용한지를 알아보고자 하였다. 대상 및 방법 : 2003년 9월부터 2004년 6월까지 경상대학교 병원 내과계 중환자실에 비 순환기계 질환으로 입원한 환자 139명(63.3{\pm}14.7세, 남:여=88:31)을 대상으로 하였다. 중환자실 입원 24시간내 APACHE II, SAPS II와 SOFA 점수를 이용해 질환의 중증도와 다장기부전의 정도를 평가하였고 troponin-I, lactate, CRP 수치를 측정하였다. 중환자 입원 후 재원 10일째와 30일째 생존군과 비 생존군의 troponin-I, lactate, CRP 수치를 서로 비교하였고 troponin-I, lactate, CRP 수치가 정상인 군과 비정상인 군간의 재원 10일째 및 30일째 사망률을 비교하였다. 또한 각 지표와 중증도 평가체계인 SAPS II와 SOFA 점수와의 상관 관계를 조사하였다 결 과 : 재원 10일째 비생존군의 입원 당시 측정한 troponin-I와 CRP 수치는 각각 $4.208{\pm}10.23ng/ml$, $137.69 {\pm}70.18mg/L$로 생존군의 $1.018{\pm}2.58ng/ml$, $98.48{\pm}69.24mg/L$에 비해 유의하게 높았다(p<0.05). 재원 30일째 비생존군의 입원 당시 측정한 troponin-I, lactate, CRP 수치는 각각 $3.36{\pm}8.74ng/ml$, $15.42{\pm}20.57ng/dl$, $131.28{\pm}71.23mg/L$로 생존군의 $0.99{\pm}2.66ng/ml$, $8.02{\pm}9.54ng/dl$, $96.87{\pm}68.83mg/L$에 비해 유의하게 높았다(p<0.05). 입원 당시 측정한 troponin-I, lactate, CRP 수치가 비정상인 군의 재원 10일 사망률은 각각 28.1%, 31.6%, 18.9%로 정상군의 사망률 11.0%, 15.8 %, 0%에 비해 유의하게 높았다(p<0.05). 입원 당시 측정한 troponin-I, lactate, CRP 수치가 비정상인 군의 재원 30일 사망률은 각각 38.6%, 47.4%, 25.8%로 정상군의 사망률 15.9%, 21.7%, 14.3%에 비해 유의하게 높았다(p<0.05). 입원 당시 측정한 troponin-I와 lactate는 SAPS II 점수와 유의한 상관관계가 있었다($r^2=0.254$, $r^2=0.365$, (p<0.05). 결 론 : 입원 당시에 측정한 troponin-I, lactate, CRP 수치는 비 순환기계 중환자의 예후를 예측하는 데 도움이 될 것으로 생각된다.

고객만족이 기업의 신용평가에 미치는 영향 (The Effect of Customer Satisfaction on Corporate Credit Ratings)

  • 전인수;전명훈;유정수
    • Asia Marketing Journal
    • /
    • 제14권1호
    • /
    • pp.1-24
    • /
    • 2012
  • 본 연구는 고객만족과 기업가치 성과간의 관계를 분석하는 것이 목적이다. 기업가치성과는 주가와 신용등급으로 나눌 수 있는데, 전자는 기업의 시장가치이고 후자는 자금조달비용이라 구분하여 사용되고 있다. 고객만족과 주가와의 관계는 비교적 오래전부터 연구되어 왔으나 신용등급과의 관계는 최근 들어 연구되기 시작하였다. 대표적으로 Anderson and Mansi(2009)의 연구에서는 양자가 긍정적으로 관련된 것으로 밝혀졌으나, 윤상운(2010)이 국내자료를 사용한 연구에서는 그 관계가 입증되지 못하였다. 일치하지 않는 두 연구의 결과에서 아이디어를 얻어 본 연구에서는 고객만족이 신용등급에 긍정적 영향을 미치는 것으로 보고 이를 검증하였다. 두 연구에서 사용한 모델을 참고로 하였고 특히 우리나라 실정에서는 정부지원이 중요한 변수임을 감안하여 이를 포함한 연구모형을 설정하여 검증한 결과 긍정적 관련성이 있는 것으로 나타났다. 추가분석에서 자산규모가 큰 기업보다 작은 기업에서, 제조업보다 서비스업에서 고객만족이 신용등급에 더 유의한 긍정적 영향을 미치는 것으로 나타났다.

  • PDF

두둑을 재활용한 한국형 무경운 농업 I. 경운방법에 따른 시설재배 토양의 물리적 특성: 균열, 관입저항, 배수, 보수력 변화 (No-tillage Agriculture of Korean-Type on Recycled Ridge I. Changes in Physical Properties : Soil Crack, Penetration Resistance, Drainage, and Capacity to Retain Water at Plastic Film Greenhouse Soil by Different Tillage System)

  • 양승구;정우진
    • 한국유기농업학회지
    • /
    • 제24권4호
    • /
    • pp.699-717
    • /
    • 2016
  • 본 연구는 시설하우스 재배에서 앞그루작물 재배 시 형성된 두둑을 재활용하여 뒷그루 작물을 무경운으로 재배할 경우 토양의 이화학성과 생육 및 수량에 미치는 영향을 구명하고자 추진한 연구 결과의 일부이다. 중동통(jd)의 두둑에서 토양 균열은 관찰되었으나 고랑에서는 관찰되지 않았다. 관행 경운 토양 두둑의 길이 방향으로 경운 5개월 후에 최대 폭 30 mm, 최대 깊이 15.3 cm, 길이 37~51 cm 정도 되는 균열이 3개 정도 발생되었다. 그리고 두둑의 폭 방향에서는 길이 7~28 cm 정도 되는 균열이 7.5개 정도 발생되었다. 무경운 1년차는 두둑의 길이 방향에서 최대 폭 18 mm, 최대 깊이는 30 cm, 길이는 140~200 cm 정도 되는 균열이 1개 정도 발생되었으며, 두둑 폭 방향의 균열은 최대 폭 22 mm, 최대 깊이는 18.5 cm에 길이는 6~22 cm 정도 되는 균열이 11개 정도 발생되었다. 한편 모래함량이 많은 중동통(jd)의 무경운 2년차 토양에서 균열은 관찰되지 않았으나, 점토함량이 많은 지산통(jd) 무경운 7년차 토양에서는 균열이 관찰되었다. 중동통(jd) 시설재배의 미사질양토의 관행 경운토양 표토 1 cm 깊이의 관입저항은 59 kPa에 비하여 무경운 1년차는 유의적으로 높았다. 경운 토양 20 cm 깊이의 관입저항은 161~185 kPa 수준이었고 36~39 cm 깊이의 관입저항 503~507 kPa을 정점으로 감소되었다. 무경운 1년차 토양 관입저항은 5~30 cm 깊이까지 167~172 kPa을 유지하였으나, 43 cm 깊이에서 437 kPa를 최대값으로 감소되었다. 무경운 2년차 표토의 관입저항은 1 cm 깊이의 81 kPa에서 6 cm 깊이는 243 kPa로 직선적인 증가를 하였다. 논에서 전환한 지산통(ji) 시설 재배지의 관행 경운 토양 관입저항은 표토 1 cm 깊이로부터 52 cm 깊이까지 토양이 깊어짐에 따라서 직선적인 증가를 하였으나, 그 이상의 깊이에서는 증가되지 않았다. 그러나 두둑을 재활용한 무경운 7년차 토양의 표토 1 cm와 2 cm 깊이의 관입저항은 직선적인 증가를 보여 경운 토양에 비하여 현저하게 증가되었으나, 그 이상의 깊이에서는 거의 변동이 없었다. 지산통(ji)과 중동통(jd)의 쟁기 바닥층은 표토에서 10~12 cm 깊이, 작토층은 21 cm 깊이까지로 추정되었다. 그러나 지산통(ji)의 경운 토양의 경반층은 33~35 cm 깊이로 추정되었으나 무경운 7년차는 경반층이 토양 38~44 cm 깊이에서 흔적으로만 존재하였다. 표토의 수분함량은 관행 경운 토양과 두둑을 재활용한 무경운 토양에서 경운 방법 간에 차이가 없었으나, 20 cm 깊이의 무경운 토양 수분함량은 14%로 경운 토양 25%에 비하여 현저하게 낮았다. 1 Bar와 15 Bar에서 측정한 표토의 보수력은 관행 경운토양 비하여 두둑을 재활용한 무경운 1년차와 무경운 2년차에서 증가되었다. 그리고 무경운 2년차 심토의 보수력은 1 Bar와 3 Bar에서 경운 토양과 무경운 1년차에 비하여 증가되는 경향이었다.

회사채 신용등급 예측을 위한 SVM 앙상블학습 (Ensemble Learning with Support Vector Machines for Bond Rating)

  • 김명종
    • 지능정보연구
    • /
    • 제18권2호
    • /
    • pp.29-45
    • /
    • 2012
  • 회사채 신용등급은 투자자의 입장에서는 수익률 결정의 중요한 요소이며 기업의 입장에서는 자본비용 및 기업 가치와 관련된 중요한 재무의사결정사항으로 정교한 신용등급 예측 모형의 개발은 재무 및 회계 분야에서 오랫동안 전통적인 연구 주제가 되어왔다. 그러나, 회사채 신용등급 예측 모형의 성과와 관련된 가장 중요한 문제는 등급별 데이터의 불균형 문제이다. 예측 문제에 있어서 데이터 불균형(Data imbalance) 은 사용되는 표본이 특정 범주에 편중되었을 때 나타난다. 데이터 불균형이 심화됨에 따라 범주 사이의 분류경계영역이 왜곡되므로 분류자의 학습성과가 저하되게 된다. 본 연구에서는 데이터 불균형 문제가 존재하는 다분류 문제를 효과적으로 해결하기 위한 다분류 기하평균 부스팅 기법 (Multiclass Geometric Mean-based Boosting MGM-Boost)을 제안하고자 한다. MGM-Boost 알고리즘은 부스팅 알고리즘에 기하평균 개념을 도입한 것으로 오분류된 표본에 대한 학습을 강화할 수 있으며 불균형 분포를 보이는 각 범주의 예측정확도를 동시에 고려한 학습이 가능하다는 장점이 있다. 회사채 신용등급 예측문제를 활용하여 MGM-Boost의 성과를 검증한 결과 SVM 및 AdaBoost 기법과 비교하여 통계적으로 유의적인 성과개선 효과를 보여주었으며 데이터 불균형 하에서도 벤치마킹 모형과 비교하여 견고한 학습성과를 나타냈다.

CNN-LSTM 조합모델을 이용한 영화리뷰 감성분석 (Sentiment Analysis of Movie Review Using Integrated CNN-LSTM Mode)

  • 박호연;김경재
    • 지능정보연구
    • /
    • 제25권4호
    • /
    • pp.141-154
    • /
    • 2019
  • 인터넷 기술과 소셜 미디어의 빠른 성장으로 인하여, 구조화되지 않은 문서 표현도 다양한 응용 프로그램에 사용할 수 있게 마이닝 기술이 발전되었다. 그 중 감성분석은 제품이나 서비스에 내재된 사용자의 감성을 탐지할 수 있는 분석방법이기 때문에 지난 몇 년 동안 많은 관심을 받아왔다. 감성분석에서는 주로 텍스트 데이터를 이용하여 사람들의 감성을 사전 정의된 긍정 및 부정의 범주를 할당하여 분석하며, 이때 사전 정의된 레이블을 이용하기 때문에 다양한 방향으로 연구가 진행되고 있다. 초기의 감성분석 연구에서는 쇼핑몰 상품의 리뷰 중심으로 진행되었지만, 최근에는 블로그, 뉴스기사, 날씨 예보, 영화 리뷰, SNS, 주식시장의 동향 등 다양한 분야에 적용되고 있다. 많은 선행연구들이 진행되어 왔으나 대부분 전통적인 단일 기계학습기법에 의존한 감성분류를 시도하였기에 분류 정확도 면에서 한계점이 있었다. 본 연구에서는 전통적인 기계학습기법 대신 대용량 데이터의 처리에 우수한 성능을 보이는 딥러닝 기법과 딥러닝 중 CNN과 LSTM의 조합모델을 이용하여 감성분석의 분류 정확도를 개선하고자 한다. 본 연구에서는 대표적인 영화 리뷰 데이터셋인 IMDB의 리뷰 데이터 셋을 이용하여, 감성분석의 극성분석을 긍정 및 부정으로 범주를 분류하고, 딥러닝과 제안하는 조합모델을 활용하여 극성분석의 예측 정확도를 개선하는 것을 목적으로 한다. 이 과정에서 여러 매개 변수가 존재하기 때문에 그 수치와 정밀도의 관계에 대해 고찰하여 최적의 조합을 찾아 정확도 등 감성분석의 성능 개선을 시도한다. 연구 결과, 딥러닝 기반의 분류 모형이 좋은 분류성과를 보였으며, 특히 본 연구에서 제안하는 CNN-LSTM 조합모델의 성과가 가장 우수한 것으로 나타났다.