• 제목/요약/키워드: optimization model

검색결과 5,604건 처리시간 0.034초

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

사용자 리뷰를 통한 소셜커머스와 오픈마켓의 이용경험 비교분석 (A Comparative Analysis of Social Commerce and Open Market Using User Reviews in Korean Mobile Commerce)

  • 채승훈;임재익;강주영
    • 지능정보연구
    • /
    • 제21권4호
    • /
    • pp.53-77
    • /
    • 2015
  • 국내 모바일 커머스 시장은 현재 소셜커머스가 이용자 수 측면에서 오픈마켓을 압도하고 있는 상황이다. 산업계에서는 모바일 시장에서 소셜커머스의 성장에 대해 빠른 모바일 시장진입, 큐레이션 모델 등을 주요 성공요인으로 제시하고 있지만, 이에 대한 학계의 실증적인 연구 및 분석은 아직 미미한 상황이다. 본 연구에서는 사용자 리뷰를 바탕으로 모바일 소셜커머스와 오픈마켓의 사용자 이용경험을 비교 분석하는 탐험적인 연구를 수행하였다. 먼저 본 연구는 구글 플레이에 등록된 국내 소셜커머스 주요 3개 업체와 오픈마켓 주요 3개 업체의 모바일 앱 리뷰를 수집하였다. 본 연구는 LDA 토픽모델링을 통해 1만여건에 달하는 모바일 소셜커머스와 오픈마켓 사용자 리뷰를 지각된 유용성과 지각된 편리성 토픽으로 분류한 뒤 감정분석과 동시출현단어분석을 수행하였다. 이를 통해 본 연구는 국내 모바일 커머스 상에서 오픈마켓 이용자들에 비해 소셜커머스 이용자들이 서비스와 이용편리성 측면에서 더 긍정적인 경험을 하고 있음을 증명하였다. 소셜커머스는 '배송', '쿠폰', '할인'을 중심으로 서비스 측면에서 이용자들에게 긍정적인 이용경험을 이끌어내고 있는 반면, 오픈마켓의 경우 '로그인 안됨', '상세보기 불편', '멈춤'과 같은 기술적 문제 및 불편으로 인한 이용자 불만이 높았다. 이와 같이 본 연구는 사용자 리뷰를 통해 서비스 이용경험을 효과적으로 비교 분석할 수 있는 탐험적인 실증연구법을 제시하였다. 구체적으로 본 연구는 LDA 토픽모델링과 기술수용모형을 통해 사용자 리뷰를 서비스와 기술 토픽으로 분류하여 효과적으로 분석할 수 있는 새로운 방법을 제시하였다는 점에서 의의가 있다. 또한 본 연구의 결과는 향후 소셜커머스와 오픈마켓의 경쟁 및 벤치마킹 전략에 중요하게 활용될 수 있을 것으로 기대된다.

Support Vector Regression을 이용한 GARCH 모형의 추정과 투자전략의 성과분석 (Estimation of GARCH Models and Performance Analysis of Volatility Trading System using Support Vector Regression)

  • 김선웅;최흥식
    • 지능정보연구
    • /
    • 제23권2호
    • /
    • pp.107-122
    • /
    • 2017
  • 주식시장의 주가 수익률에 나타나는 변동성은 투자 위험의 척도로서 재무관리의 이론적 모형에서뿐만 아니라 포트폴리오 최적화, 증권의 가격 평가 및 위험관리 등 투자 실무 영역에서도 매우 중요한 역할을 하고 있다. 변동성은 주가 수익률이 평균을 중심으로 얼마나 큰 폭의 움직임을 보이는가를 판단하는 지표로서 보통 수익률의 표준편차로 측정한다. 관찰 가능한 표준편차는 과거의 주가 움직임에서 측정되는 역사적 변동성(historical volatility)이다. 역사적 변동성이 미래의 주가 수익률의 변동성을 예측하려면 변동성이 시간 불변적(time-invariant)이어야 한다. 그러나 대부분의 변동성 연구들은 변동성이 시간 가변적(time-variant)임을 보여주고 있다. 이에 따라 시간 가변적 변동성을 예측하기 위한 여러 계량 모형들이 제안되었다. Engle(1982)은 변동성의 시간 가변적 특성을 잘 반영하는 변동성 모형인 Autoregressive Conditional Heteroscedasticity(ARCH)를 제안하였으며, Bollerslev(1986) 등은 일반화된 ARCH(GARCH) 모형으로 발전시켰다. GARCH 모형의 실증 분석 연구들은 실제 증권 수익률에 나타나는 두터운 꼬리 분포 특성과 변동성의 군집현상(clustering)을 잘 설명하고 있다. 일반적으로 GARCH 모형의 모수는 가우스분포로부터 추출된 자료에서 최적의 성과를 보이는 로그우도함수에 대한 최우도추정법에 의하여 추정되고 있다. 그러나 1987년 소위 블랙먼데이 이후 주식 시장은 점점 더 복잡해지고 시장 변수들이 많은 잡음(noise)을 띠게 됨에 따라 변수의 분포에 대한 엄격한 가정을 요구하는 최우도추정법의 대안으로 인공지능모형에 대한 관심이 커지고 있다. 본 연구에서는 주식 시장의 주가 수익률에 나타나는 변동성의 예측 모형인 GARCH 모형의 모수추정방법으로 지능형 시스템인 Support Vector Regression 방법을 제안한다. SVR은 Vapnik에 의해 제안된 Support Vector Machines와 같은 원리를 회귀분석으로 확장한 모형으로서 Vapnik의 e-insensitive loss function을 이용하여 비선형 회귀식의 추정이 가능해졌다. SVM을 이용한 회귀식 SVR은 두터운 꼬리 분포를 보이는 주식시장의 변동성과 같은 관찰치에서도 우수한 추정 성능을 보인다. 2차 손실함수를 사용하는 기존의 최소자승법은 부최적해로서 추정 오차가 확대될 수 있다. Vapnik의 손실함수에서는 입실론 범위내의 예측 오차는 무시하고 큰 예측 오차만 손실로 처리하기 때문에 구조적 위험의 최소화를 추구하게 된다. 금융 시계열 자료를 분석한 많은 연구들은 SVR의 우수성을 보여주고 있다. 본 연구에서는 주가 변동성의 분석 대상으로서 KOSPI 200 주가지수를 사용한다. KOSPI 200 주가지수는 한국거래소에 상장된 우량주 중 거래가 활발하고 업종을 대표하는 200 종목으로 구성된 업종 대표주들의 포트폴리오이다. 분석 기간은 2010년부터 2015년까지의 6년 동안이며, 거래일의 일별 주가지수 종가 자료를 사용하였고 수익률 계산은 주가지수의 로그 차분값으로 정의하였다. KOSPI 200 주가지수의 일별 수익률 자료의 실증분석을 통해 기존의 Maximum Likelihood Estimation 방법과 본 논문이 제안하는 지능형 변동성 예측 모형의 예측성과를 비교하였다. 주가지수 수익률의 일별 자료 중 학습구간에서 대칭 GARCH 모형과 E-GARCH, GJR-GARCH와 같은 비대칭 GARCH 모형에 대하여 모수를 추정하고, 검증 구간 데이터에서 변동성 예측의 성과를 비교하였다. 전체 분석기간 1,487일 중 학습 기간은 1,187일, 검증 기간은 300일 이다. MLE 추정 방법의 실증분석 결과는 기존의 많은 연구들과 비슷한 결과를 보여주고 있다. 잔차의 분포는 정규분포보다는 Student t분포의 경우 더 우수한 모형 추정 성과를 보여주고 있어, 주가 수익률의 비정규성이 잘 반영되고 있다고 할 수 있다. MSE 기준으로, SVR 추정의 변동성 예측에서는 polynomial 커널함수를 제외하고 linear, radial 커널함수에서 MLE 보다 우수한 예측 성과를 보여주었다. DA 지표에서는 radial 커널함수를 사용한 SVR 기반의 지능형 GARCH 모형이 가장 우수한 변동성의 변화 방향에 대한 방향성 예측력을 보여주었다. 추정된 지능형 변동성 모형을 이용하여 예측된 주식 시장의 변동성 정보가 경제적 의미를 갖는지를 검토하기 위하여 지능형 변동성 거래 전략을 도출하였다. 지능형 변동성 거래 전략 IVTS의 진입규칙은 내일의 변동성이 증가할 것으로 예측되면 변동성을 매수하고 반대로 변동성의 감소가 예상되면 변동성을 매도하는 전략이다. 만약 변동성의 변화 방향이 전일과 동일하다면 기존의 변동성 매수/매도 포지션을 유지한다. 전체적으로 SVR 기반의 GARCH 모형의 투자 성과가 MLE 기반의 GARCH 모형의 투자 성과보다 높게 나타나고 있다. E-GARCH, GJR-GARCH 모형의 경우는 MLE 기반의 GARCH 모형을 이용한 IVTS 전략은 손실이 나지만 SVR 기반의 GARCH 모형을 이용한 IVTS 전략은 수익으로 나타나고 있다. SVR 커널함수에서는 선형 커널함수가 더 좋은 투자 성과를 보여주고 있다. 선형 커널함수의 경우 투자 수익률이 +526.4%를 기록하고 있다. SVR 기반의 GARCH 모형을 이용하는 IVTS 전략의 경우 승률도 51.88%부터 59.7% 사이로 높게 나타나고 있다. 옵션을 이용하는 변동성 매도전략은 방향성 거래전략과 달리 하락할 것으로 예측된 변동성의 예측 방향이 틀려 변동성이 소폭 상승하거나 변동성이 하락하지 않고 제자리에 있더라도 옵션의 시간가치 요인 때문에 전체적으로 수익이 실현될 수도 있다. 정확한 변동성의 예측은 자산의 가격 결정뿐만 아니라 실제 투자에서도 높은 수익률을 얻을 수 있기 때문에 다양한 형태의 인공신경망을 활용하여 더 나은 예측성과를 보이는 변동성 예측 모형을 개발한다면 주식시장의 투자자들에게 좋은 투자 정보를 제공하게 될 것이다.

빅데이터 도입의도에 미치는 영향요인에 관한 연구: 전략적 가치인식과 TOE(Technology Organizational Environment) Framework을 중심으로 (An Empirical Study on the Influencing Factors for Big Data Intented Adoption: Focusing on the Strategic Value Recognition and TOE Framework)

  • 가회광;김진수
    • Asia pacific journal of information systems
    • /
    • 제24권4호
    • /
    • pp.443-472
    • /
    • 2014
  • To survive in the global competitive environment, enterprise should be able to solve various problems and find the optimal solution effectively. The big-data is being perceived as a tool for solving enterprise problems effectively and improve competitiveness with its' various problem solving and advanced predictive capabilities. Due to its remarkable performance, the implementation of big data systems has been increased through many enterprises around the world. Currently the big-data is called the 'crude oil' of the 21st century and is expected to provide competitive superiority. The reason why the big data is in the limelight is because while the conventional IT technology has been falling behind much in its possibility level, the big data has gone beyond the technological possibility and has the advantage of being utilized to create new values such as business optimization and new business creation through analysis of big data. Since the big data has been introduced too hastily without considering the strategic value deduction and achievement obtained through the big data, however, there are difficulties in the strategic value deduction and data utilization that can be gained through big data. According to the survey result of 1,800 IT professionals from 18 countries world wide, the percentage of the corporation where the big data is being utilized well was only 28%, and many of them responded that they are having difficulties in strategic value deduction and operation through big data. The strategic value should be deducted and environment phases like corporate internal and external related regulations and systems should be considered in order to introduce big data, but these factors were not well being reflected. The cause of the failure turned out to be that the big data was introduced by way of the IT trend and surrounding environment, but it was introduced hastily in the situation where the introduction condition was not well arranged. The strategic value which can be obtained through big data should be clearly comprehended and systematic environment analysis is very important about applicability in order to introduce successful big data, but since the corporations are considering only partial achievements and technological phases that can be obtained through big data, the successful introduction is not being made. Previous study shows that most of big data researches are focused on big data concept, cases, and practical suggestions without empirical study. The purpose of this study is provide the theoretically and practically useful implementation framework and strategies of big data systems with conducting comprehensive literature review, finding influencing factors for successful big data systems implementation, and analysing empirical models. To do this, the elements which can affect the introduction intention of big data were deducted by reviewing the information system's successful factors, strategic value perception factors, considering factors for the information system introduction environment and big data related literature in order to comprehend the effect factors when the corporations introduce big data and structured questionnaire was developed. After that, the questionnaire and the statistical analysis were performed with the people in charge of the big data inside the corporations as objects. According to the statistical analysis, it was shown that the strategic value perception factor and the inside-industry environmental factors affected positively the introduction intention of big data. The theoretical, practical and political implications deducted from the study result is as follows. The frist theoretical implication is that this study has proposed theoretically effect factors which affect the introduction intention of big data by reviewing the strategic value perception and environmental factors and big data related precedent studies and proposed the variables and measurement items which were analyzed empirically and verified. This study has meaning in that it has measured the influence of each variable on the introduction intention by verifying the relationship between the independent variables and the dependent variables through structural equation model. Second, this study has defined the independent variable(strategic value perception, environment), dependent variable(introduction intention) and regulatory variable(type of business and corporate size) about big data introduction intention and has arranged theoretical base in studying big data related field empirically afterwards by developing measurement items which has obtained credibility and validity. Third, by verifying the strategic value perception factors and the significance about environmental factors proposed in the conventional precedent studies, this study will be able to give aid to the afterwards empirical study about effect factors on big data introduction. The operational implications are as follows. First, this study has arranged the empirical study base about big data field by investigating the cause and effect relationship about the influence of the strategic value perception factor and environmental factor on the introduction intention and proposing the measurement items which has obtained the justice, credibility and validity etc. Second, this study has proposed the study result that the strategic value perception factor affects positively the big data introduction intention and it has meaning in that the importance of the strategic value perception has been presented. Third, the study has proposed that the corporation which introduces big data should consider the big data introduction through precise analysis about industry's internal environment. Fourth, this study has proposed the point that the size and type of business of the corresponding corporation should be considered in introducing the big data by presenting the difference of the effect factors of big data introduction depending on the size and type of business of the corporation. The political implications are as follows. First, variety of utilization of big data is needed. The strategic value that big data has can be accessed in various ways in the product, service field, productivity field, decision making field etc and can be utilized in all the business fields based on that, but the parts that main domestic corporations are considering are limited to some parts of the products and service fields. Accordingly, in introducing big data, reviewing the phase about utilization in detail and design the big data system in a form which can maximize the utilization rate will be necessary. Second, the study is proposing the burden of the cost of the system introduction, difficulty in utilization in the system and lack of credibility in the supply corporations etc in the big data introduction phase by corporations. Since the world IT corporations are predominating the big data market, the big data introduction of domestic corporations can not but to be dependent on the foreign corporations. When considering that fact, that our country does not have global IT corporations even though it is world powerful IT country, the big data can be thought to be the chance to rear world level corporations. Accordingly, the government shall need to rear star corporations through active political support. Third, the corporations' internal and external professional manpower for the big data introduction and operation lacks. Big data is a system where how valuable data can be deducted utilizing data is more important than the system construction itself. For this, talent who are equipped with academic knowledge and experience in various fields like IT, statistics, strategy and management etc and manpower training should be implemented through systematic education for these talents. This study has arranged theoretical base for empirical studies about big data related fields by comprehending the main variables which affect the big data introduction intention and verifying them and is expected to be able to propose useful guidelines for the corporations and policy developers who are considering big data implementationby analyzing empirically that theoretical base.