A Study on Stock Trading Method based on Volatility Breakout Strategy using a Deep Neural Network

심층 신경망을 이용한 변동성 돌파 전략 기반 주식 매매 방법에 관한 연구

Abstract

The stock investing is one of the most popular investment techniques. However, since it is not easy to obtain a return through actual investment, various strategies have been devised and tried in the past to obtain an effective and stable return. Among them, the volatility breakout strategy identifies a strong uptrend that exceeds a certain level on a daily basis as a breakout signal, follows the uptrend, and quickly earns daily returns. It is one of the popular investment strategies that are widely used to realize profits. However, it is difficult to predict stock prices by understanding the price trend pattern of stocks. In this paper, we propose a method of buying and selling stocks by predicting the return in trading based on the volatility breakout strategy using a bi-directional long short-term memory deep neural network that can realize a return in a short period of time. As a result of the experiment assuming actual trading on the test data with the learned model, it can be seen that the results outperform both the return and stability compared to the existing closing price prediction model using the long-short-term memory deep neural network model.

주식 투자는 가장 널리 알려진 재테크 방법들 중 하나지만 실제 투자를 통해 수익을 얻기는 쉽지 않기 때문에 과거부터 효과적이고 안정적인 투자 수익을 얻기 위한 다양한 투자 전략들이 고안되고 시도되어 왔다. 그중 변동성 돌파 전략(Volatility Breakout)은 일일 단위로 일정 수준 이상의 범위를 뛰어넘는 강한 상승세를 돌파 신호로 파악하여 상승하는 추세를 따라가며 일 단위로 빠르게 수익을 실현하는 전략으로 널리 쓰이고 있는 단기 투자 전략들 중 하나이다. 그러나 주식 종목마다 가격의 추이나 변동성의 정도가 다르며 동일한 종목이라도 시기에 따라 주가의 흐름이 일정하지 않아 주가를 예측하고 정확한 매매 시점을 찾아내는 것은 매우 어려운 문제이다. 본 논문에서는 단순히 종가 또는 장기간에 걸친 수익률을 예측하는 기존 연구 방법들과는 달리 단기간에 수익을 실현할 수 있는 주식과 같은 시계열 데이터 분석에 적합한 양방향 장단기 메모리 심층 신경망을 이용하여 변동성 돌파 전략 기반 매매 시의 수익률을 예측하여 주식을 매매하여 방법을 제안한다. 이렇게 학습된 모델로 테스트 데이터에 대하여 실제 매매를 가정하여 실험한 결과 기존의 장단기 메모리 심층 신경망을 이용한 종가 예측 모델보다 수익률과 안정성을 모두 상회하는 결과를 확인할 수 있다.

I. 서론

저성장, 저금리 기조가 오랫동안 지속되면서 증가한 유동성으로 인하여 글로벌 증시는 지속적으로 상승해왔다. 특히 2020년에 코로나19가 확산되며 실물경제에 대한 큰 타격이 예상되었음에도 불구하고 증시는 크게 반등하여 지속적으로 활황세를 띄고 있다. 한국 또한 개인투자자 열풍에 힘입어 2021년에는 코스피가 3000 선을 돌파하기도 하였다.

이처럼 주식 투자 문화가 많은 사람들의 일상 생활 속에 스며들고 있지만 초과 수익 달성을 위해 주식의 가격을 예측하는 것은 여전히 큰 과제로 남아있으며, 심지어 주식 가격을 예측하는 것 자체가 불가능하다는 비관론도 있다[1]. 지금까지 통계, 경제, 컴퓨터 공학 등 여러 분야에서 많은 연구가 이루어졌지만 실제 시장에서 주목할 만한 성능이 검증된 연구 결과는 아직까지는나타나지 않고 있다.

그런데 최근 컴퓨터 기술의 발달하면서 패턴 분석 분야에서 데이터에 기반한 심층 신경망을 적용한 기계 학습 기법이 뛰어난 성능을 보이며 기계 학습을 활용한 미래 주가 예측 기술과 투자 전략 개발이 활발하게 이루어지고 있다. 특히 주식 시장의 주요 인덱스 지표나 주식 종목의 가격이나 기술 지표를 변동폭을 예측하는 방법에 대해 많은 연구가 이루어졌으나[2], 이런 예측 결과를 토대로 시장에서 획기적이거나 유의미한 수익률을 달성한 연구 결과는 보고되지 않고 있다.

주식 종목의 가격이나 주요 기술 지표를 분석하는 방법에는 크게 기본적 분석과 기술적 분석이 있다. 기본적 분석은 회사의 재무제표를 포함한 기업분석부터 산업, 경제, 환경, 정책 분석 등 투자 대상에 관련된 모든 요소들을 분석하는 방법이다. 반면 기술적 분석은 주식의 가격, 거래량, 차트 등의 데이터에 기반한 방법으로, 기본적 분석 방법보다 주가 변동 패턴을 찾아내기 쉽기 때문에 많은 투자자들은 기술적 분석을 사용하고 있다 [3].

본 논문에서는 기술적 분석 방법을 사용하여 실제 주식 시장에서 초과 수익을 달성할 수 있는 주식 매매 결정 모델을 제안한다. 제안 모델은 KOSPI 및 KOSDAQ 에 상장된 개별 종목의 일일 거래 데이터를 기반으로, 시장 상황이나 정책, 언론에 큰 영향을 받아 빠르게 변화하는 주식 시장의 특성을 고려하여 일단위로 빠르게 수익을 실현할 수 있는 변동성 돌파 전략(Volatility Range Breakout)[4]의 변동성 변수를 추출한다. 그리고 시계열 데이터 분석에서 뛰어난 성능을 보이며 주가예측 연구에 널리 사용되고 있는 순환 신경망 모델 중장단기 메모리 네트워크(Long Short-Term Memory; LSTM)를 적용하여 일단위로 개별 종목의 종가와 변동성 변수를 예측하여 매매 시점을 결정하고 수익률을 평가하고자 한다.

Ⅱ. 이론적 배경

1. LSTM 순환 신경망

LSTM 순환 신경망은 기존의 순환 신경망이 가지고 있었던 장기 의존성 문제를 해결할 수 있는 순환 신경망 구조들 중 하나이다. LSTM은 입력 게이트, 망각 게이트, 출력 게이트로 이루어진 메모리 셀로 구성되어있으며, 선택적으로 필요없는 데이터는 삭제하고 중요한 데이터는 계속 저장함으로써 기존의 순환 신경망보다 긴 시계열 데이터에 대하여 뛰어난 예측 성능을 보여준다[5].

입력 게이트는 선택적으로 정보를 저장하고 망각 게이트는 필요없는 정보를 삭제하는 역할을 한다. 그리고 LSTM의 셀 상태는 장기 상태라고도 불리우며, 정보의 삭제 또는 저장 여부 결정을 위해 입력 게이트, 망각 게이트, 출력 게이트를 제어하는 역할을 한다. 마지막으로 출력 게이트는 최종 출력값을 출력하여 다음 셀에 또는결과값으로 값을 전달하는 역할을 한다.

2. 양방향 LSTM 순환 신경망

기존의 순환 신경망은 이전 시점의 데이터를 현재 시점의 데이터에 반영함으로써 순서나 시계열 특성을 가지는 데이터를 예측할 수 있다는 장점을 가지고 있다. LSTM 순환신경망은 짧은 시계열 데이터에만 적용 가능한 순환신경망의 단점을 장/단기 데이터를 모두 활용함으로써 해결하였다. 하지만 데이터가 지정 순서, 또는 시간에 따라 한 방향으로 처리된다. 텍스트를 포함 한시계열 데이터는 과거의 데이터가 미래 결과에 영향을 줄 뿐만 아니라 미래의 데이터가 과거 결과, 즉 영방향으로 영향을 미치기도 한다. 이 경우에 기존 순환 신경망에 역방향으로 학습을 진행하는 순환 신경망을 결합하여 모델을 설계하면 순환 신경망의 성능을 높일 수 있다[6].

그림 1. 양방향 LSTM 순환 신경망 구조

양방향 LSTM 순환 신경망은 [그림 1]에 나타낸 것처럼 정방향과 역방향으로 학습하는 두 종류의 순환 신경망이 은닉층에 포함된 구조이다. 이처럼 학습을 두 방향으로 진행하기 때문에 단방향 순환 신경망이 학습 시 놓치기 쉬운 패턴을 감지할 수 있다.

정방향으로의 학습과 역방향으로의 학습 과정에서 은닉층의 가중치를 갱신하는 과정은 방향만 다르고 일반적인 순환 신경망이 학습하는 과정과 같다. 하지만 정방향과 역방향의 은닉 계층의 갱신 과정이 완료된 이후에 출력 층의 가중치가 갱신된다.

양방향 LSTM은 양방향 순환 신경망의 은닉층에 포함된 순환 신경망들을 LSTM 순환 신경망으로 대체하여 기존 순환 신경망이 가지고 있는 장기 의존성 문제를 방지함으로써 성능을 향상시킬 수 있다.

3. 변동성 돌파 전략

변동성 돌파 전략(Volatility Breakout)은 1987년 선물 트레이딩 챔피언십에서 우승한 바 있는 Larry Williams에 의해 고안된 매매 기법으로, 장기적 예측이나 분석을 배제하고 관성을 갖고 움직이는 주가의 추세를 이용하여 매매하는 단기 추세 추종 매매 기법 중하나이다[4].

변동성 돌파 전략은 변동성이 가지는 위 두가지의 특성을 이용하는 것으로, 변동성이 적은 상태로 일정 기간 유지되고 있는 종목의 변동성이 급등하는 시점에서 매수한 후 일정 수익을 달성하면 즉각 매도하는 매매를 반복하여 높은 누적 투자 수익을 올리는 데 목적이 있다.

변동성 돌파 전략을 사용하여 주식을 매매하기 위해서는 변동성이 큰 구간으로 진입하여 가격 상승 추세가 이어질 것이라 예상되는 기준을 설정하는 것이 필요하다. 변동성의 기준점은 어제 종가나 고가, 오늘 시가나 저가, 5~20일 평균가 등 다양한 지표를 기준으로 삼을 수 있다. 그리고 변동성이 증가하고 추세가 지속될 것이라는 판단에 기준이 될 수 있는 지표로는 평균변동폭, 최대변동폭, 볼린저 밴드폭 등을 사용할 수 있다. 변동성 돌파 전략을 제안한 Larry Williams가 선택한 기준은 다음 수식으로 나타낼 수 있다.

b = O_t + (H_t-1 - L_t-1)^*K       (1)

위 식에서 b는 주가 상승 추세가 이어질 것으로 판단되는 시점의 매수가를 의미한다. O_t는 금일 시가, H_t-1 는 전일 고가, L_t-1는 전일 저가를 나타낸다. K는 0~1 사이의 값을 가지는 요소로 기본적으로 가장 많이 쓰이는 값은 0.5이다. 즉 주가가 금일 시가 대비 전일 고가와 전일 저가의 차이의 50%이상 상승하였을 때 주가를 매수 기준가로 삼는다[4].

변동성 돌파 전략의 매도 기준은 변동성의 지속 여부와 시장 환경에 따라 다르게 설정할 수 있지만 보통 매수가 이루어진 다음날 시가에 매도하는 방법이 가장 많이 사용되고 있다. 보통 주식 시장은 개장시에 거래가 가장 활발하게 일어나므로 변동성이 증가하는 추세에 있는 주식의 경우 시가가 높게 형성될 확률이 높다[7].

4. 인공 신경망 기반 주가 예측 선행 연구들

현재까지 주식 시장에서 높은 수익률을 달성하기 위한 투자 전략이나 예측 시스템 개발에 관한 많은 시도와 연구가 이루어졌다. 특히 하드웨어 기술과 인공신경망 기술의 발전에 따라 인공신경망을 활용한 주가 예측모델에 대한 연구도 다수 이루어졌다. 하지만 현재까지 이루어진 연구들은 정확도나 실용성 측면에서 낮은 성능을 보여주고 있다. Sheta, Ahmed, Faris는 1개의 은닉층을 가진 인공신경망을 선형회귀와 서포트 벡터머신과 결합하여 S&P500 지수 예측을 시도하였지만 서포트 벡터 머신에 RBF 커널을 결합한 모델이나 선형회귀 모델보다 낮은 성능을 보였다[8].

Guresen 외는 동적 인공신경망이나 하이브리드 인공신경망과 같은 방법을 이용하여 NASDAQ 지수 예측을 시도하였지만 오히려 이러한 복잡한 구조의 모델은 높은 예측 정확도를 달성하기 어렵다는 것을 증명하였다[9].

반면 다수의 은닉층을 포함한 심층 인공 신경망은 시계열 데이터의 특성을 가진 금융 데이터를 예측하는데 적합하다는 연구 결과가 등장하고 있다.

Arévalo, A 외는 심층 신경망 모델로 Apple의 주가를 예측함에 있어서 66%의 정확도를 달성하였다[10]. Takeuchi, Lee는 5개의 층을 포함한 적층 볼츠만 머신 오토 인코더 모델로 모멘텀 전략의 성능을 향상시켜 45.93%의 연 수익률을 달성하는 결과를 보였다[11]. 그리고 Guanting Chen 외는 Intel의 주가 데이터, 기술 지표 데이터와 시장 데이터를 활용하여 LSTM 알고리즘을 사용하여 다음날 종가를 예측을 시도하여 Locally Weighted Regression과 바이앤홀드 전략보다 높은 수익률을 달성하였다[12].

기존의 주가 예측을 통한 높은 수익률 실현을 위한 많은 시도에도 불구하고 해당 연구들을 실제 매매 전략으로 활용이 제한되어 왔다. 위에 언급한 대부분의 연구들은 종가를 예측하여 대락 50~60% 정도에 불과한 예측 정확도를 나타내는 결과를 보여준다. 또한 실제 주식 매매에 있어서 일정 종목을 시장의 마감 시에 정해지는 종가에 매수하고 다시 종가에 매도하는 것이 현실적으로 어렵기 때문에 기존의 연구 방법론을 실제 주식 매매 전략에 적용하기에는 많은 어려움이 따른다.

Ⅲ. 연구 방법

1. 데이터 수집 및 전처리

본 연구에서는 국내 주식 시장 종목들을 대상으로 변동성 돌파 전략의 성능을 향상시킬 수 있는 양방향 LSTM 기반의 예측 모델을 수립하였다. 당일 변동성 돌파 전략에 기반한 목표 매수가에 주식을 매수하고 다음날 시가에 판매하였을 때의 수익 달성 여부를 예측한다. 이를 위해 2021년 8월 31일 기준으로 KOSPI와 KOSDAQ에 상장된 국내 주식 종목 데이터와 KOSPI, KOSDAQ 지수와 거래량을 사용하였다. 데이터는 네이버 금융에서 수집하였으며실제 수집된 데이터는 [표 1] 의 형태를 가지고 있다.

표 1. 주식 종목별 데이터 특징

변동성 돌파 전략에 기반한 주식 매매가 일어나기 위해서는 당일 주식의 가격이 목표 매수가에 도달해야만 한다. 따라서 변동성 돌파 전략의 값을 0.5로 설정하여 목표 매수가를 계산하고, 당일 고가가 목표 매수가 이상인 경우와 미만인 경우를 분류하였다. 그리고 목표매수가에 해당 주식을 매수 후 다음날 시가에 매도했을 경우의 수익률 계산을 위해 당일 목표 매수가 대비 다음날 시가의 증감율을 계산하고, 여기에 주식 매매 수수료와 매매시 발생하는 슬리피지를 고려하여 0.05%의 수익률을 차감하였다. 또한 실제 거래 활성화 정도를 정확히 파악하기 위하여 단순한 거래량 대신 거래량과 종가를 곱한 거래액을 사용하였다.

그리고 수집된 주가 데이터를 구성하는 요소인 시가, 고가, 저가, 종가, 거래량 등의 요소와 함께 [표 2]와 같이 주식 시장 분석에 널리 쓰이는 기술적 지표들을 추가한다.

표 2. 데이터 학습에 사용되는 지표

심층 신경망 모델 학습의 목표는 학습에 사용했던 데이터가 아닌 테스트 데이터에 대한 예측 정확도를 높이는 것이다. 그러므로 각기 다른 구조의 모델들을 학습시킨 후 학습 성과가 가장 높은 모델 선별을 위해 검증데이터에 대한 정확도가 높은 모델을 선택한다. 이렇게 선택된 모델로 실제 테스트 데이터에 대한 성능 평가를 진행한다. 그러므로 수집한 데이터를 학습 데이터, 검증데이터, 그리고 성능 평가를 위한 테스트 데이터로 분할해야 한다. 하지만 본 연구에서 제안하는 변동성 돌파 전략에 기반한 매매 전략은 주식 종목의 가격이 목표 매수가 이상을 넘어서는 경우에만 매수가 일어나기 때문에 거래가 발생하는 경우가 제한적이며, 거래가 발생하더라도 다음날 시가에 매도했을 경우 수익이나 손실이 나는 경우의 수가 주식 종목마다 상이하다. 특히 수익 또는 손실 발생이라는 결과값의 개수가 불균일하게 존재할 경우 학습 시 균등한 학습을 보장하지 못한다는 문제점이 생긴다. 상대적으로 데이터가 많이 분포한 결과를 중심으로 모델이 훈련되기 때문에 소수의 결과에 해당되는 데이터는 잘못 분류될 확률이 높다[13].

따라서 본 연구에서는 2021년 8월 31일을 기준으로 과거 100거래일 동안의 데이터를 성능 평가를 위한 테스트 데이터로 나누고, 그 이전의 100거래일을 검증 데이터, 그리고 그 이전 500 거래일 동안의 데이터를 훈련 데이터로 분류한다. 그리고 투자 전략을 실전에 적용하여 수익을 얻기 위해서는 충분한 거래량이 뒷받침되어야 실제 거래가 일어날 수 있기 때문에 최근 20일 동안의 최소 거래 총액이 10억원 이상인 경우와 충분한 학습 데이터 확보를 위하여 2021년 8월 31일 기준으로 500 거래일 이상의 거래 데이터를 가지고 있는 종목을 선별하였다. 또한 위에서 언급한 데이터 불균일 문제를 피하고 균형적으로 학습된 결과 모델을 얻기 위하여 검증 데이터 기준으로 다음날 시가 매도 시 수익률이 양수인 경우가 45 ~ 55%에 해당하는 주식 종목 중 당일 고가가 목표 매수가 이상으로 상승하는 횟수가 가장 많은 세방전지를 실험 대상 종목으로 선정하였다. 최종적으로 세방전지의 데이터를 학습, 검증, 테스트 데이터로 분류하였을 때 각 데이터의 기간은 [표 3]에 나타낸 바와 같다.

표 3. 사용된 데이터별 기간

2. 양방향 LSTM 순환 신경망을 이용한 학습

2.1 모델 설계

본 연구에서는 당일 고가가 목표 매수가 이상일 경우 해당 종목을 매수하고 당일 시가에 매도했을 시 수익률이 양수 또는 음수인지 여부를 출력하는 하나의 출력층을 갖는 양방향 LSTM 순환 신경망모델을 사용하였다. 따라서 은닉층들은 양방향 LSTM층들로 구성되고 출력층은 Dense Layer로 구성되며 활성화 함수는 분류 문제에 적합한 Sigmoid를 사용하였다.

손실 함수는 심층 신경망 모델의 예측값과 실제값의 오차를 이용하여 신경망이 학습을 진행할 수 있도록 하는 지표이다. 학습의 최종적인 목표는 이 손실 함수가 최소화되도록 하는 가중치와 편향값을 찾는 것이다. 일반적으로 본 연구와 같이 수익 또는 손실과 같은 이진 분류 문제에서는 BCE(Binary Cross Entropy) 함수를 주로 사용한다[14].

심층 신경망 학습에 있어서 손실 함수를 빠르게 수렴시키고 모델의 가중치를 업데이트 하기 위해서는 손실함수의 기울기를 활용하는 Optimizer를 사용한다. 본연구에서는 완전파형역산과 신경망 모델의 주기적 학습률 방법을 사용하여 연산량의 부하면에서 유리한 장점을 가지고 있는 Adam Optimizer를 사용하였다 [15].

그리고 심층 신경망 학습에 사용되는 데이터 셋 전체에 대해 손실 함수를 계산하는 대신 미니 배치의 작은 크기로 계산하고 이 작업을 반복 수행하면 계산 속도를 높이고 지역 최적해에 빠질 수 있는 위험성을 줄일 수 있다[16].

심층 신경망 학습에서는 학습이 진행될 때마다 현재 층에 전달되는 입력 데이터의 분포와 현재 층에 학습했던 시점의 분포와 차이가 발생하게 된다. 특히 신경망의 깊이가 깊어질수록 같은 입력 값을 갖더라도 가중치가 조금만 달라지더라도 완전히 다른 출력을 얻을 수 있다. 배치 정규화는 각 배치들이 표준 정규 분포를 따르도록 강제하여 데이터를 표준 정규화한다. 이렇게 되면 각 은닉층에 활성화 값이 고르게 분포되어 안정적인 학습이 가능하다[17]. 본 연구에서도 과적합을 억제하고 학습 시간을 줄이기 위하여 각 은닉층마다 배치 정규화를 적용하였다.

여기서 은닉층의 개수와 은닉층의 유닛 개수, 그리고 배치 사이즈는 모델의 성능을 최적화하기 위해서 설정해야 하는 하이퍼 파라미터 값이다. 최적의 하이퍼 파라미터 값은 반복적인 실험과 시행착오를 거쳐 찾아낼 수 있으며 절대적으로 좋은 값은 존재하지 않더라도 학습하는 데이터나 모델에 따라서 최적의 값을 찾아낼 수 있다[18]. 본 논문에서는 2, 3, 4, 5개의 은닉층 개수와 200, 400, 600, 800, 1000개의 은닉층 유닛 수, 그리고 10, 16, 32, 64, 128, 256개의 배치 사이즈를 각각 학습 횟수를 의미하는 Epoch를 5000번으로 지정하여 최적의 값을 찾아내었다.

그리고 대규모의 심층 신경망에서는 일반적으로 훈련 데이터셋에 비하여 테스트 데이터 셋에서 예측 성능이 감소하는 Overfitting, 과적합이 발생하는 경우가 있다. 이는 모델이 학습 데이터에 과도하고 학습되어 발생하는 문제인데, 드롭아웃은 은닉층에 있는 유닛들의 학습을 확률적으로 무작위하게 생략하는 방법이다. 매 학습마다 일정 비율의 유닛들이 학습을 하지 않기 때문에 특정 훈련 데이터 셋에 치중된 학습을 방지하는 역할을 한다[19]. 본 연구에서는 은닉층 별로 드롭아웃의 비율을 0.2로 적용하여 모델이 학습 데이터셋에의과적합을 방지하였다. [표 4]는 본 연구에서 사용할 양방향 LSTM 모델에서 최적화할 하이퍼 파라미터를 보여주고 있다.

표 4. 모델 최적화 요소

2.2 모델 학습

실험 대상 종목으로 지정된 세방전지의 고가가 당일 주식 시장에서 변동성 돌파 전략에 따른 목표 매수가 이상일 경우 해당 종목을 매수하고 다음날 시가에 매도하였을 시 수익률을 예측하여야 한다. 24시간 이내에 매수와 매도를 실행하는 단기 매매 전략이므로 예측에 필요한 타임스텝을 10로 설정하여 모델이 이전 10거래일의 데이터에 기반하여 수익률을 예측할 수 있도록 하였다. 그리고 당일 고가가 매수 목표가 미만인 경우에는 매수가 일어나지 않는 경우로 본 연구에서 예측하고자 하는 상황이 아니므로 학습, 검증, 테스트 데이터에서 제외한다.

모델 학습은 Keras의 ModelCheckPoint함수를 이용하여 검증 데이터의 예측 정확도 값이 가장 낮은 값을 기록한 모델을 저장하도록 하였고, EarlyStopping 기능을 활용하여 100 Epoch 동안 검증 데이터의 예측정확도 값이 증가하지 않는 경우에는 학습을 중단하도록 하였다. 하이퍼 파라미터를 변경해가며 각각 5000 번의 Epoch를 실행한 결과는 결과, 양방향 LSTM 순환 신경망의 유닛 수는 800, 은닉층의 개수는 4, 그리고 배치 사이즈가 32일 때 학습 정확도는 약 0.971, 검증 정확도는 0.722로 검증 정확도가 다른 하이퍼 마라 미터를 사용한 모델들 보다 높게 측정되었다. 따라서 본 연구의 성능 평가에서는 해당 구조를 학습 및 성능평가에 사용할 모델로 채택하였다.

Ⅳ. 성능 평가

1. 성능 평가 기준

예측 실험은 본 연구에서 실험 종목으로 지정한 세방전지의 테스트 데이터 셋인 2021년 4월 23일부터 2021년 8월 31일까지의 기간동안 3장에서 학습한 양방향 LSTM 모델이 당일 고가가 목표 매수가 이상인 경우에 다음날 시가 매도 시 양의 수익률일 경우를 예측했을 시에 해당 종목을 목표 매수가에 매수함을 가정한다.

본 연구에서 모델의 성능을 평가하는 방법으로 예측정확도, ROC 곡선, 수익률, CAGR, MDD, 변동성, 샤프 지수를 사용하였다.

정확도는 전체 데이터 중 실제 결과를 제대로 예측한 비율로 다음 식과 같이 나타낼 수 있다.

\(\text { Accuracy }=\frac{T P+F P}{T P+F P+T N+F N}\)   (2)

그리고 ROC 곡선은 분류를 수행하는 모델의 성능을 그래프를 통해 평가할 수 있는 도구이다. 실제 결과가 참인 경우에 대해 참이라고 예측한 경우의 비율을 TPR(True Positive Rate) 이라고 하며, 실제 거짓인 경우를 이라고 분류한 비율을 FPR(False Positive Rate)라고 한다. ROC 곡선은 TPR과 FPR과의 관계를 이차원 평면에 곡선으로 표시한 통계적 검증 방법이다. 특히 ROC 곡선의 아래 면적을 AUC(Area Under ROC)라 하는데, 분류 델의 정확도를 측정하는데 널리 쓰이는 대표적인 지표이다[20].

CAGR(Compounded Annual Growth Rate)는 연평균 수익률을 의미하는 지표로 주식 투자나 가치 평가 분야뿐만 아니라 경제 분야에서도 널리 쓰이는 지표이다. CAGR은 다음 식과 같이 나타낼 수 있다[21].

\(C A G R\left(t_{0}, \quad t_{n}\right)=\left(\frac{V\left(t_{n}\right)}{V\left(t_{0}\right)}\right)^{\frac{1}{t_{n}-t_{0}}}-1\)    (3)

위 식에서 t₀, t_n는 각각 초기 투자 시점과 최종 투자 시점을 의미하며 V(t₀) 초기값, V(t_n)은 최종값을 나타낸다.

MDD(Max Draw Down)는 최대 낙폭 지수로 투자 기간 동안 누적 수익률의 하락폭의 최대값을 뜻하며 다음 식과 같이 나타낸다.

\(M D D=\frac{\text { Trough Value-Peak Value }}{\text { Peak Value }}\)   (4)

위 식에서 Trough Value는 테스트 기간 중 가장 낮은 가격, Peak Value는 가장 높은 가격을 의미한다. 이는 투자자가 투자 기간 동안 겪을 수 있는 위험 또는 고통을 측정하는 지표로써 MDD가 낮은 전략일수록 손실 위험이 적으며 수익률을 올리는 것만큼이나 MDD 를 최소화하는 것이 중요하다[22].

변동성은 절대적 위험 지표중의 하나로 금융 자산이 수익 또는 손실이 일어나는 정도를 의미하는 것으로 불확실성과 가격 등락에 대한 위험 지표로 해석한다. 수익률의 변동성은 불가피하게 발생하지만 동일한 수익률을 내는 모델이나 전략이 있다면 변동성이 더 작은 쪽이 더 안정적이라고 판단할 수 있다[23]. 따라서 수익률과 함께 전략의 전체적인 운용 성과를 측정하는 데 일반적인 기준으로 사용된다. 변동성은 보통 수익률의 표준편차로 계산하며 1년에 거래일이 252일이라고 가정할 시 연율화된 변동성은 다음식과 같이 나타낼 수 있다. σ는 표준편차를 의미한다.

\(\text { 연간 변동성 }=\sigma \sqrt{252}\)    (5)

마지막으로 샤프 지수는 한 단위의 위험 자산에 투자함으로써 생기는 초과 수익을 의미한다. 1990년 노벨경제학상을 수상한 미국의 윌리엄 샤프(William F. Sharpe)가 개발한 지수로써 위험 대비 수익성을 나타내는 지표이다. 즉 위험을 부담한 대가를 나타내므로 일반적으로 샤프 지수가 높을수록 우수한 투자 전략임을 의미한다. 샤프 지수는 다음 식과 같이 정의된다.

\(S_{a}=\frac{E\left[R_{a}-R_{b}\right]}{\sigma_{a}}=\frac{E\left[R_{a}-R_{b}\right]}{\sqrt{\operatorname{var}\left[R_{a}-R_{b}\right]}}\)    (6)

위 식에서 R_a는 실제 수익률, R_b는 무위험을 가정하여 비교 기준이 되는 수익률이다. E[R_a - R_b]는 기준수익률 대비 실제 수익률이 달성한 초과 수익률이며 σ_a 실제 수익률의 표준편차를 의미한다[24].

2. 성능 평가

세방전지의 2021년 4월 23일부터 2021년 8월 31일까지의 테스트 데이터로 본 연구에서 제안한 매매 전략을 학습한 모델의 성능을 평가하였다. [표 5]는 셋방 전지의 당일 고가가 목표 매수가 이상일 경우에 다음날 수익 실현 여부 예측 결과를 혼동 행렬로 나타낸 결과이다.

표 5. 제안 모델 예측 결과 혼동 행렬

테스트 데이터에서 당일 고가가 목표 매수가 이상인경우는 총 35개이며 그중 예측값과 실제값이 일치하는 정확도가 74%를 달성하였다. 특히 참이라고 분류한 것 중에서 실제로 참인 것의 비율인 정밀도(Precision)은 86%라는 우수한 결과를 보였다.

[그림 2]는 본 연구에서 제안한 모델의 ROC 곡선을 나타낸 것으로 ROC 곡선에서 중간의 점선은 무작위로 예측하였을 경우의 확률인 50%를 나타낸 지점이다. ROC 곡선은 점선보다 위에 형성될수록 분류 성능이 좋은 모델이라고 할 수 있다. ROC 곡선의 정확도를 정확히 판단하기 위해서는 ROC 곡선의 아래 부분의 면적인 AUC를 계산한다. 위 제안 모델의 AUC는 0.691 로 약 69%의 확률로 수익이 실현되는 경우를 분류할 수 있음을 확인하였다.

다음은 제안 모델로 매매를 수행했을 때 실제 수익률을 확인하였다. [그림 3]은 제안 모델이 수익 실현을 예측 여부에 따라 매매했을 경우의 수익률을 나타낸 그래프이다.

[그림 3]에서 Buy and Hold는 해당 주식 종목을 2021년 4월 23일에 매수 후 계속 보유했을 경우의 수익률을 나타내며 Bidirectional LSTM Volatility Breakout은 본 연구에서 제안한 모델의 수익률을 의미한다. Buy and Hold 전략은 -12.7% 누적 수익률을 기록한 반면, 제안 모델의 예측에 따라 테스트 데이터에서 매매를 수행했을 경우에는 최종적으로 17.2%의 누적 수익률을 달성하였다.

그림 2. 제안 모델의 ROC 곡선

그림 3. 제안 모델의 테스트 데이터에서의 수익률

다음으로 제안 모델의 테스트 데이터에서의 CAGR, 샤프 지수, 변동성, MDD를 계산한 결과는 [표 6]과 같다. CAGR, 변동성, 샤프 지수는 1년의 거래일을 252 일로 가정하여 연율화를 적용하였으며, MDD는 테스트 기간의 최대 누적 수익률 대비 최저 누적 수익률의 낙폭으로 계산하였다.

표 6. 제안 모델의 CAGR, 샤프 지수, 변동성, MDD

제안 모델의 CAGR은 56.0%에 달하며 1이상만 되어도 우수한 전략이라고 평가하는 지표인 샤프 지수는 3.541이로 매우 높은 결과를 보여주었다. 수익률의 변동성은 12.9%를 기록하였으며 투자자의 정신적 고통을 측정하는 지표인 MDD 또한 0.2%로 낮으므로 제안 모델이 안정적으로 높은 수익률을 올릴 수 있음을 보여주었다.

3. 성능 비교

Guanting Chen 외가 제안한 방법으로 테스트 데이터에서의 성과를 측정하였다. 해당 논문에서는 Intel 의주가 데이터와 기술 지표, 시장 데이터를 기반으로 200 개의 유닛을 가진 5개의 LSTM층을 사용하여 종가를 예측하는 회귀 분석을 실시하였다[12]. 본 연구에서 제안한 모델과의 성능 비교를 위하여 시장 데이터를 KOSPI, KOSDAQ 지수로 대체하고 다음날 종가 상승 예측 시 실제 매매가 이루어지도록 분류 문제로 변경하여 학습을 진행하였다. 본 연구와 마찬가지로 5000번의 학습을 진행하였으며 검증 데이터의 정확도가 100 회동안 상승하지 않는 경우 학습을 멈추고 가장 높은 검증 정확도를 기록한 모델을 저장하였다. 학습 결과 저장된 모델의 학습 데이터 정확도는 0.968, 검증 정확도는 0.560였으며, 해당 모델로 세방전지의 테스트 데이터의 예측을 실시하였다. 예측 결과의 혼동 행렬은 [표 7]과 같이 나타났다.

표 7. LSTM 모델 예측 결과 혼동 행렬

LSTM 모델의 정확도는 57%로 본 연구에서 제안한 모델에 비해 37% 감소된 성능을 보였다. 정밀도 (Precision)는 46%로 나타났다.

[그림 4]는 LSTM 모델의 ROC 곡선을 나타낸 것으로써 분류 성능을 나타내는 AUC는 0.556으로 제안 모델보다 24% 낮은 성능을 보여줌을 확인할 수 있다.

그림 4. LSTM 모델의 ROC 곡선

다음은 LSTM 모델로 매매를 수행했을 때 실제 수익률을 확인하였다. [그림 5]는 LSTM 모델이 수익 실현을 예측 여부에 따라 매매했을 경우의 수익률을 나타낸 그래프이다. [그림 5]에서 LSTM 모델의 예측에 따라 테스트 데이터에서 매매를 수행했을 경우에는 최종적으로 11.7%의 누적 수익률을 기록하였으며 이는 제안모델보다 약 47% 낮은 결과이다.

그림 5. LSTM 모델의 테스트 데이터에서의 누적 수익률

다음으로 LSTM 모델의 테스트 데이터에서의 CAGR, 샤프 지수, 변동성, MDD를 계산한 결과는 [표 8]와 같다. 제안 모델과 마찬가지로 CAGR, 변동성, 샤프 지수는 1년의 거래일을 252일로 가정하여 연율화를적용하였으며, MDD는 테스트 기간의 최대 누적 수익률 대비 최저 누적 수익률의 낙폭으로 계산하였다.

표 8. LSTM 모델의 CAGR, 샤프 지수, 변동성, MDD

LSTM 모델의 CAGR은 36.2%, 샤프 지수는 1.351 으로 제안 모델보다 낮은 수치를 기록하였다. 반면 변동성은 23.6%로 제안 모델보다 변동성이 매우 크다는 것을 확인할 수 있으며 특히 MDD가 7.9%로 실제 투자자가 LSTM 모델로 매매를 수행하였을 시 경험할 수 있는 수익률의 낙폭이 제안 모델에 비해 크다는 것을 알 수 있다.

최종적으로 제안 모델과 기존의 LSTM 종가 예측 모델을 종합적으로 비교한 결과는 [표 9]와 같다.

표 9. 제안 방법과 기존 방법 종합 비교

Ⅴ. 결론

1. 연구 결과

심층 신경망의 개념이 등장하기 이전의 인공 신경망은 낮은 정확도와 느린 처리 속도, 그리고 과적합 문제로 인하여 오랜 시간 동안 실용화되지 못하였다. 하지만 다양한 연구 성과에 의한 알고리즘의 효율성 향상과 하드웨어의 발전에 따라 복잡한 행렬 연산에 소요되는 시간이 크게 단축되면서 심층 신경망 기술이 다양한 분야에 적용되기 시작하였다.

특히 영상 처리 분야에서 주로 사용되는 합성곱 심층신경망은 충분한 데이터에 의해 학습만 된다면 정확도가 100%에 가까운 성능을 보여주며 다양한 산업 분야에서 사용되고 있으며 그 적용 분야는 나날이 넓어지고 있다[25].

그러나 주가를 예측하거나 주가 추이의 패턴을 찾아내기 위해 심층 신경망을 활용하는 다양한 시도와 연구가 이루어졌음에도 불구하고 객관적으로 수익률을 검증할 수 있는 모델은 찾아보기 힘들다. 또한 대부분의 연구들이 심층 신경망 모델이 장기적인 주가 또는 시장지수의 예측 정확도 향상에 목적을 두고 있어 실제 투자 전략으로 활용할 수 있는 연구는 미미한 실정이다.

이에 본 논문에서는 실제로 주식 투자에 널리 쓰이는 대표적인 단기 매매 전략인 변동성 돌파 전략을 수행하였을 때의 수익률을 심층 신경망을 이용하여 예측하여 매매하는 모델을 제안하고 성능을 검증하기 위해 기존의 연구 방법과의 성과를 비교하였다.

특히 시계열 분석 분야에서 많이 쓰이는 단방향 장단기 메모리 순환 신경망보다 자연어 처리 등 분야에서 탁월한 성능을 보여주는 양방향 장단기 메모리 순환 신경망을 사용하였다. 또한 모델이 안정적이고 신뢰할 수 있는 학습을 할 수 있도록 KOSPI 및 KOSDAQ에 상장된 주식 종목 중 주식 종목의 당일 고가가 변동성 돌파 전략에 따른 매수 목표가 이상인 경우의 데이터가 충분히 존재하고 예측 결과인 수익 또는 손실의 경우가 균일하게 포진된 데이터를 선별하는 과정을 거쳤다.

이후 구성된 네트워크의 최적의 하이퍼 파라미터를 도출하기 위하여 하이퍼 파라미터의 조합별로 학습을 진행하여 검증 데이터의 예측 결과에서 최적의 성능을 내는 모델을 선별하였으며, 해당 모델로 테스트 데이터에서의 실제 매매를 가정하는 실험을 진행하여 제안 모델의 성능을 평가하였다.

실험 결과 제안 모델의 수익 실현 예측 정확도는 74%를 기록하였으며, 특히 참으로 예측한 경우 중 실제 참인 것을 의미하는 정밀도는 86%를 달성하였다. 제안 모델의 테스트 데이터의 마지막 시점에서의 누적 수익률은 17.2%를 기록하였으며 연평균 수익률을 나타내는 CAGR은 56.0%를 달성하였다. 그리고 위험 대비 초과 수익률을 의미하는 샤프 지수는 3.541로 나타나 투자 성과가 굉장히 뛰어난 전략임을 입증하였다. 안정성 면에서도 수익률의 변동성은 12.9%, 최대 낙폭을 의미하는 MDD는 0.2%에 불과하여 제안 방법으로 안정적인 수익률 운용이 가능하다는 점도 증명하였다.

또한 단방향 장단기 순환 신경망(LSTM)을 사용하여 일정 종목의 종가를 예측하는 기존의 연구와의 테스트데이터에서의 결과를 계산하여 제안 모델과의 성능을 비교하였다.

그 결과 제안 모델이 기존의 방법보다 우수한 수익률을 올린 것을 확인할 수 있었으며, 주식 투자에서 중요한 요소로 작용하는 변동성 면에서 유리한 성과가 나타났다. 특히 투자자의 심리적 고통을 나타내는 MDD는 기존 방법에 비해 약 35배 낮은 결과를 냄으로써 안정성 면에서도 우수함을 증명하였다.

2. 향후 연구

본 연구는 심층 신경망 모델 학습에 있어 데이터의 부족 또는 불균형으로 인하여 생길 수 있는 문제를 해결하고자 충분하고 균일한 데이터로 구성된 주식 종목을 선별하여 실험을 진행하였다. 하지만 데이터가 부족하거나 레이블이 불균일한 데이터를 가진 주식 종목이라도 데이터 증강 기법을 사용한다면 본 연구의 적용 범위를 보다 넓힐 수 있을 것으로 보인다[26].

그리고 주식 종목별 그리고 시기 별로 패턴이 동일하지 않을 수 있으므로 예측 성능이 가장 높은 최적의 모델을 구성하는 하이퍼 파라미터가 다를 수가 있다. 따라서 예측이 필요한 시점마다 가장 높은 성능을 내는 모델을 도출하기 위해 하이퍼 파라미터를 튜닝하는 과정에서 상당한 시간이 소요되기 때문에 모델의 레이어 또는 유닛 수를 보다 최적화하여 학습 파라미터의 개수를 줄이거나 이미 생성된 모델에 대한 재평가 또는 재학습 프로세스를 추가하여 보다 효율적으로 모델을 관리할 필요가 있다.

또한 본 논문은 한국의 주식 시장에 상장된 종목들을 대상으로 제안 방법의 실효성을 연구하였다. 하지만 해외 주식 시장, 가상화폐 시장 뿐만 아니라 유가, 금 시세, 미술품 가격, 부동산 가격 등 시계열 형태를 가지는 다양한 시장 데이터에 대한 연구로 확장이 가능하다.

마지막으로 본 연구에서 채택한 변동성 돌파 전략 이외에 다양한 투자 전략들을 적용 또는 서로 조합하고 심층 신경망 모델로 예측하는 여러 가지 응용 모델을 파생시킬 수 있다. 이를 통해 시장 또는 개별 종목에 보다 최적화된 모델을 적용함으로써 성능 향상을 기대할 수 있다.