• 제목/요약/키워드: Real-time Optimization

검색결과 814건 처리시간 0.021초

적대적 생성 모델을 활용한 사용자 행위 이상 탐지 방법 (Anomaly Detection for User Action with Generative Adversarial Networks)

  • 최남웅;김우주
    • 지능정보연구
    • /
    • 제25권3호
    • /
    • pp.43-62
    • /
    • 2019
  • 한때, 이상 탐지 분야는 특정 데이터로부터 도출한 기초 통계량을 기반으로 이상 유무를 판단하는 방법이 지배적이었다. 이와 같은 방법론이 가능했던 이유는 과거엔 데이터의 차원이 단순하여 고전적 통계 방법이 효과적으로 작용할 수 있었기 때문이다. 하지만 빅데이터 시대에 접어들며 데이터의 속성이 복잡하게 변화함에 따라 더는 기존의 방식으로 산업 전반에 발생하는 데이터를 정확하게 분석, 예측하기 어렵게 되었다. 따라서 기계 학습 방법을 접목한 SVM, Decision Tree와 같은 모형을 활용하게 되었다. 하지만 지도 학습 기반의 모형은 훈련 데이터의 이상과 정상의 클래스 수가 비슷할 때만 테스트 과정에서 정확한 예측을 할 수 있다는 특수성이 있고 산업에서 생성되는 데이터는 대부분 정답 클래스가 불균형하기에 지도 학습 모형을 적용할 경우, 항상 예측되는 결과의 타당성이 부족하다는 문제점이 있다. 이러한 단점을 극복하고자 현재는 클래스 분포에 영향을 받지 않는 비지도 학습 기반의 모델을 바탕으로 이상 탐지 모형을 구성하여 실제 산업에 적용하기 위해 시행착오를 거치고 있다. 본 연구는 이러한 추세에 발맞춰 적대적 생성 신경망을 활용하여 이상 탐지하는 방법을 제안하고자 한다. 시퀀스 데이터를 학습시키기 위해 적대적 생성 신경망의 구조를 LSTM으로 구성하고 생성자의 LSTM은 2개의 층으로 각각 32차원과 64차원의 은닉유닛으로 구성, 판별자의 LSTM은 64차원의 은닉유닛으로 구성된 1개의 층을 사용하였다. 기존 시퀀스 데이터의 이상 탐지 논문에서는 이상 점수를 도출하는 과정에서 판별자가 실제데이터일 확률의 엔트로피 값을 사용하지만 본 논문에서는 자질 매칭 기법을 활용한 함수로 변경하여 이상 점수를 도출하였다. 또한, 잠재 변수를 최적화하는 과정을 LSTM으로 구성하여 모델 성능을 향상시킬 수 있었다. 변형된 형태의 적대적 생성 모델은 오토인코더의 비해 모든 실험의 경우에서 정밀도가 우세하였고 정확도 측면에서는 대략 7% 정도 높음을 확인할 수 있었다.

베리오그램 최적화 기반의 정규크리깅을 이용한 전국 에어코리아 PM10 자료의 일평균 격자지도화 및 내삽정확도 검증 (Kriging of Daily PM10 Concentration from the Air Korea Stations Nationwide and the Accuracy Assessment)

  • 정예민;조수빈;윤유정;김서연;김근아;강종구;이달근;정욱;이양원
    • 대한원격탐사학회지
    • /
    • 제37권3호
    • /
    • pp.379-394
    • /
    • 2021
  • 우리나라에서는 2005년부터 전국 에어코리아(Air Korea) 측정소의 대기오염도 정보를 실시간으로 제공하고 있다. 선행연구들은 이러한 포인트 기반의 미세먼지 농도 자료에 대한 격자지도화 가능성을 보여준 바 있으나, 측정소가 밀집된 특정 도시만을 대상으로 하였다. 본 연구에서는 우리나라 전역의 PM10 일평균 격자 지도를 산출하기 위해서, 전국 333개 에어코리아 측정소 자료를 활용하여 베리오그램 최적화 기반의 정규크리깅을 수행하고, 검증지점의 공간적인 과밀(too dense) 및 과소(too sparse)를 방지하기 위하여 검증지점의 위치에 따른 선별적 임의추출을 통한 암맹평가를 실시하였다. 114,745건의 데이터로부터 365일 각각 다른 검증지점을 추출하는 암맹평가를 4회에 걸쳐 수행한 결과, MAE=5.697 ㎍/m3, CC=0.947의 정확도 통계량이 산출되어, 매우 효과적인 공간내삽이 이루어졌음을 확인할 수 있었다. 또한, PM10 고농도 사례(나쁨 및 매우 나쁨)로 분류된 1,500건 이상에 대해서도 MAE=11~12 ㎍/m3, CC=0.870~873의 정확도를 나타냈으며, 이는 본 연구의 방법론이 다양한 상황에 적용가능함을 의미한다. 2019년 365일에 대해 산출된 0.05° 해상도의 일평균 PM10 격자지도는 자연스러운 공간분포를 나타내는 것이 시각적으로도 확인되었다. 이러한 PM10 농도의 격자지도는 향후의 연구에서 익일 PM10 농도의 격자예측을 위한 입력자료로 활용될 수 있을 것이다.

첨단 전자산업 폐수처리시설의 Water Digital Twin(II): e-ASM 모델 보정, 수질 예측, 공정 선택과 설계 (Water Digital Twin for High-tech Electronics Industrial Wastewater Treatment System (II): e-ASM Calibration, Effluent Prediction, Process selection, and Design)

  • 허성구;정찬혁;이나희;심예림;우태용;김정인;유창규
    • 청정기술
    • /
    • 제28권1호
    • /
    • pp.79-93
    • /
    • 2022
  • 본 연구에서는 Part I에서 제안한 첨단 전자산업 폐수처리시설 특화 Water Digital Twin모델인 e-ASM을 이용하여 랩-파일럿 처리장 데이터를 바탕으로 모델 보정(Calibration), 유입 성상에 따른 제거 효율, 유출수 예측 및 최적 공법 선정을 수행하였다. 첨단 전자산업 폐수처리시설의 특화 모델링을 위하여, 민감도 분석을 통해 e-ASM 모델의 정합성과 상관성이 높은 동역학적 파라미터를 선정하였고, 다중반응표면분석법 (Multiple response surface methodology, MRS)을 이용하여 동역학적 파라미터를 보정하였다. e-ASM 모델의 보정 결과, Lab-scale, Pilot-scale 단위의 실험데이터와 90% 이상의 높은 정합성을 보였다. 그리고 4가지 유기폐수 처리처리공법인 MLE, A2/O, 4-stage MLE-MBR, Bardenpho-MBR을 제안한 Water Digital Twin으로 구현하여 유입 폐수의 성상별 운전조건에 따라 제거효율을 분석하였으며, Bardenpho-MBR이 C/N ratio 변화에서도 안정적으로 COD (Chemical oxygen demand)를 90% 이상 제거하며 높은 총 질소 제거 효율을 보였다. 그리고 유입 폐수의 조건별 Bardenpho-MBR공정의 수리학적 체류시간(Hydraulic retention time, HRT)이 3일 이상일 때 1,800 mg L-1의 고농도 TMAH 폐수를 98% 이상 제거할 수 있음을 확인할 수 있었다. 이와 같이, 본 연구에서 개발한 e-ASM은 전자산업 제조시설별, 유입 폐수의 성상별 특화 모델링을 통해 높은 정합성을 가진 전자산업 폐수처리공정의 Water Digital Twin를 구현할 수 있고, 최적운전, Water AI, 최적가용기법 선정 등의 응용 가능성을 바탕으로 지속 가능한 첨단전자 산업을 위해 활용될 수 있을 것으로 사료된다.

Support Vector Regression을 이용한 GARCH 모형의 추정과 투자전략의 성과분석 (Estimation of GARCH Models and Performance Analysis of Volatility Trading System using Support Vector Regression)

  • 김선웅;최흥식
    • 지능정보연구
    • /
    • 제23권2호
    • /
    • pp.107-122
    • /
    • 2017
  • 주식시장의 주가 수익률에 나타나는 변동성은 투자 위험의 척도로서 재무관리의 이론적 모형에서뿐만 아니라 포트폴리오 최적화, 증권의 가격 평가 및 위험관리 등 투자 실무 영역에서도 매우 중요한 역할을 하고 있다. 변동성은 주가 수익률이 평균을 중심으로 얼마나 큰 폭의 움직임을 보이는가를 판단하는 지표로서 보통 수익률의 표준편차로 측정한다. 관찰 가능한 표준편차는 과거의 주가 움직임에서 측정되는 역사적 변동성(historical volatility)이다. 역사적 변동성이 미래의 주가 수익률의 변동성을 예측하려면 변동성이 시간 불변적(time-invariant)이어야 한다. 그러나 대부분의 변동성 연구들은 변동성이 시간 가변적(time-variant)임을 보여주고 있다. 이에 따라 시간 가변적 변동성을 예측하기 위한 여러 계량 모형들이 제안되었다. Engle(1982)은 변동성의 시간 가변적 특성을 잘 반영하는 변동성 모형인 Autoregressive Conditional Heteroscedasticity(ARCH)를 제안하였으며, Bollerslev(1986) 등은 일반화된 ARCH(GARCH) 모형으로 발전시켰다. GARCH 모형의 실증 분석 연구들은 실제 증권 수익률에 나타나는 두터운 꼬리 분포 특성과 변동성의 군집현상(clustering)을 잘 설명하고 있다. 일반적으로 GARCH 모형의 모수는 가우스분포로부터 추출된 자료에서 최적의 성과를 보이는 로그우도함수에 대한 최우도추정법에 의하여 추정되고 있다. 그러나 1987년 소위 블랙먼데이 이후 주식 시장은 점점 더 복잡해지고 시장 변수들이 많은 잡음(noise)을 띠게 됨에 따라 변수의 분포에 대한 엄격한 가정을 요구하는 최우도추정법의 대안으로 인공지능모형에 대한 관심이 커지고 있다. 본 연구에서는 주식 시장의 주가 수익률에 나타나는 변동성의 예측 모형인 GARCH 모형의 모수추정방법으로 지능형 시스템인 Support Vector Regression 방법을 제안한다. SVR은 Vapnik에 의해 제안된 Support Vector Machines와 같은 원리를 회귀분석으로 확장한 모형으로서 Vapnik의 e-insensitive loss function을 이용하여 비선형 회귀식의 추정이 가능해졌다. SVM을 이용한 회귀식 SVR은 두터운 꼬리 분포를 보이는 주식시장의 변동성과 같은 관찰치에서도 우수한 추정 성능을 보인다. 2차 손실함수를 사용하는 기존의 최소자승법은 부최적해로서 추정 오차가 확대될 수 있다. Vapnik의 손실함수에서는 입실론 범위내의 예측 오차는 무시하고 큰 예측 오차만 손실로 처리하기 때문에 구조적 위험의 최소화를 추구하게 된다. 금융 시계열 자료를 분석한 많은 연구들은 SVR의 우수성을 보여주고 있다. 본 연구에서는 주가 변동성의 분석 대상으로서 KOSPI 200 주가지수를 사용한다. KOSPI 200 주가지수는 한국거래소에 상장된 우량주 중 거래가 활발하고 업종을 대표하는 200 종목으로 구성된 업종 대표주들의 포트폴리오이다. 분석 기간은 2010년부터 2015년까지의 6년 동안이며, 거래일의 일별 주가지수 종가 자료를 사용하였고 수익률 계산은 주가지수의 로그 차분값으로 정의하였다. KOSPI 200 주가지수의 일별 수익률 자료의 실증분석을 통해 기존의 Maximum Likelihood Estimation 방법과 본 논문이 제안하는 지능형 변동성 예측 모형의 예측성과를 비교하였다. 주가지수 수익률의 일별 자료 중 학습구간에서 대칭 GARCH 모형과 E-GARCH, GJR-GARCH와 같은 비대칭 GARCH 모형에 대하여 모수를 추정하고, 검증 구간 데이터에서 변동성 예측의 성과를 비교하였다. 전체 분석기간 1,487일 중 학습 기간은 1,187일, 검증 기간은 300일 이다. MLE 추정 방법의 실증분석 결과는 기존의 많은 연구들과 비슷한 결과를 보여주고 있다. 잔차의 분포는 정규분포보다는 Student t분포의 경우 더 우수한 모형 추정 성과를 보여주고 있어, 주가 수익률의 비정규성이 잘 반영되고 있다고 할 수 있다. MSE 기준으로, SVR 추정의 변동성 예측에서는 polynomial 커널함수를 제외하고 linear, radial 커널함수에서 MLE 보다 우수한 예측 성과를 보여주었다. DA 지표에서는 radial 커널함수를 사용한 SVR 기반의 지능형 GARCH 모형이 가장 우수한 변동성의 변화 방향에 대한 방향성 예측력을 보여주었다. 추정된 지능형 변동성 모형을 이용하여 예측된 주식 시장의 변동성 정보가 경제적 의미를 갖는지를 검토하기 위하여 지능형 변동성 거래 전략을 도출하였다. 지능형 변동성 거래 전략 IVTS의 진입규칙은 내일의 변동성이 증가할 것으로 예측되면 변동성을 매수하고 반대로 변동성의 감소가 예상되면 변동성을 매도하는 전략이다. 만약 변동성의 변화 방향이 전일과 동일하다면 기존의 변동성 매수/매도 포지션을 유지한다. 전체적으로 SVR 기반의 GARCH 모형의 투자 성과가 MLE 기반의 GARCH 모형의 투자 성과보다 높게 나타나고 있다. E-GARCH, GJR-GARCH 모형의 경우는 MLE 기반의 GARCH 모형을 이용한 IVTS 전략은 손실이 나지만 SVR 기반의 GARCH 모형을 이용한 IVTS 전략은 수익으로 나타나고 있다. SVR 커널함수에서는 선형 커널함수가 더 좋은 투자 성과를 보여주고 있다. 선형 커널함수의 경우 투자 수익률이 +526.4%를 기록하고 있다. SVR 기반의 GARCH 모형을 이용하는 IVTS 전략의 경우 승률도 51.88%부터 59.7% 사이로 높게 나타나고 있다. 옵션을 이용하는 변동성 매도전략은 방향성 거래전략과 달리 하락할 것으로 예측된 변동성의 예측 방향이 틀려 변동성이 소폭 상승하거나 변동성이 하락하지 않고 제자리에 있더라도 옵션의 시간가치 요인 때문에 전체적으로 수익이 실현될 수도 있다. 정확한 변동성의 예측은 자산의 가격 결정뿐만 아니라 실제 투자에서도 높은 수익률을 얻을 수 있기 때문에 다양한 형태의 인공신경망을 활용하여 더 나은 예측성과를 보이는 변동성 예측 모형을 개발한다면 주식시장의 투자자들에게 좋은 투자 정보를 제공하게 될 것이다.