• 제목/요약/키워드: 빅데이터 분석 기법

검색결과 596건 처리시간 0.026초

LSTM과 증시 뉴스를 활용한 텍스트 마이닝 기법 기반 주가 예측시스템 연구 (A study on stock price prediction system based on text mining method using LSTM and stock market news)

  • 홍성혁
    • 디지털융복합연구
    • /
    • 제18권7호
    • /
    • pp.223-228
    • /
    • 2020
  • 주가는 사람들의 심리를 반영하고 있으며, 주식시장 전체에 영향을 미치는 요인으로는 경제성장률, 경제지료, 이자율, 무역수지, 환율, 통화량 등이 있다. 국내 주식시장은 전날 미국 및 주변 국가들의 주가지수에 영향을 많이 받고 있으며 대표적인 주가지수가 다우지수, 나스닥, S&P500이다. 최근 주가뉴스를 이용한 주가분석 연구가 활발히 진행되고 있으며, 인공지능 기반한 분석을 통하여 과거 시계열 데이터를 기반으로 미래를 예측하는 연구가 진행 중에 있다. 하지만, 주식시장은 예측시스템에 의해서 단기간 적중이 되더라도, 시장은 더 이상의 단기 전략대로 움직여지지 않고, 새롭게 변할 수밖에 없다. 따라서, 본 모델을 삼성전자 주식데이터와 뉴스 정보를 텍스트 마이닝으로 모니터링하여 분석한 결과를 나타내어 예측이 가능한 모델을 제시하였으며, 향후 종목별 예측을 통하여 실제 예측이 정확한지 확인하여 발전시켜 나갈 예정임.

텍스트 마이닝과 네트워크 분석을 이용한 지역 이미지 변화 분석 (Regional Image Change Analysis using Text Mining and Network Analysis)

  • 정은희
    • 한국정보전자통신기술학회논문지
    • /
    • 제15권2호
    • /
    • pp.79-88
    • /
    • 2022
  • 소셜미디어 빅데이터는 소비자의 소비형태 뿐만 아니라 지역의 이미지를 파악할 수 있는 많은 정보가 포함되어 있다. 본 논문에서는 국내 포털 사이트인 네이버와 다음의 Blog와 Cafe로부터 '삼척'이 포함된 데이터를 2015년부터 2019년까지 1년 단위로 수집하였고, 텍스트 마이닝과 네트워크 분석을 실시하여 지역 이미지를 형성하는 키워드를 추출하고 지역 이미지 변화를 분석하였다. 연구 결과에 따르면, 2015년 지역 이미지는 '장호항', '동해', '해수욕장' 등 인근 지명이나 장소 등의 이미지 인지적 요소들로 표현되고 있는데, 2016년과 2019년은 지역 내의 특정 장소인 삼척쏠비치로 이미지 인지적 요소가 변한 것을 알 수 있다. 그리고 지역 이미지와 연관된 키워드들이 삼척을 대표하는 명소인 '장호항', 리조트가 포함하고 있는 것을 보아 지역 이미지 형성에 인프라 시설 요소가 큰 역할을 한다고 볼 수 있다. 네트워크 데이터에 대한 유의성 검증은 부트스트랩 기법을 이용하였고, 2015년, 2016년, 2019년 p-value가 각각 0.0002, 0.0006, 0.0002로 유의수준 5%에서 통계적으로 유의한 것으로 나타났다.

동적 그래프에서 GPU 기반의 점진적 연결 요소 처리 (GPU Based Incremental Connected Component Processing in Dynamic Graphs)

  • 김남영;최도진;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제22권6호
    • /
    • pp.56-68
    • /
    • 2022
  • 최근 실시간 처리의 요구가 증가하면서 시간에 따라서 변화하는 동적 그래프에 관한 연구가 활발하게 진행되고 있다. 동적 그래프를 분석하기 위한 알고리즘의 하나로 연결 요소가 있다. GPU는 높은 메모리 대역폭, 연산 성능으로 대규모의 그래프 계산에 적합하다. 그러나 동적 그래프의 연결 요소를 GPU를 이용하여 처리할 때, GPU의 제한된 메모리로 인해 실제 그래프 처리 시 CPU와 GPU 간에 잦은 데이터 교환이 발생한다. 본 논문에서는 동적 그래프에서 GPU 기반의 효율적인 점진적 연결 요소 처리 기법을 제안한다. 제안하는 기법은 Weighted-Quick-Union 알고리즘을 기반으로 연결 요소 레이블에 구성 요소의 개수를 이용하여 연결 요소를 빠르게 계산한다. 또한, 재계산할 부분을 판별하여 GPU로 전송할 데이터를 최소화하여 대규모 그래프에 대하여 CPU와 GPU 간의 데이터 교환 횟수를 감소시킨다. 뿐만 아니라 GPU와 CPU 간에 데이터 전송 시간 낭비를 줄이기 위해 GPU와 CPU가 비동기로 실행하는 처리 구조를 제안한다. 실제 데이터 집합을 사용한 성능 평가를 통해 제안하는 기법의 우수성을 입증한다.

Data cube와 OLAP기법을 이용한 철도 선로전환기의 이상상황 분석 (Abnormal Situation Analysis of Railway Point Machine Using Data Cube and OLAP)

  • 최희수;서정순;임철후;박대희;정용화;김희영;윤석한
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.558-561
    • /
    • 2016
  • 선로전환기는 분기기에서 철도의 궤도를 변경하는 핵심장치 중 하나로서, 해당 부품의 고장은 열차사고에 직접적인 영향을 미친다. 현재 철도 현장에서는 관리자가 모니터링 시스템을 통해 선로전환기의 장애 및 이상상황을 감시하고 지침서에 따라 관리를 수행한다. 본 논문에서는 실제 현장에서 발생하는 대규모의 선로전환기 이상상황 데이터를 대상으로 빅 데이터 해석학적 입장에서 심층 분석이 가능한 새로운 철도 유지보수 분석 시스템의 프로토타입을 제안한다. 제안하는 시스템은 첫째, 유지관리시스템에 저장된 선로전환기 데이터와 이상상황 데이터를 정규화하고 추출하여 베이스 테이블을 생성한다. 둘째, 베이스 테이블 상의 속성들을 스타 스키마로 설계하여 철도 유지보수 큐브로 구축한다. 마지막으로, 매핑된 철도 유지보수 큐브와 오라클에서 제공하는 AWM을 활용해 다차원적이고 심층적인 OLAP(On-Line Analytical Processing) 분석이 가능하다.

IoT 환경에서 안전한 소프트웨어 개발을 위한 소프트웨어공학 메타분석 (Software Engineering Research Trends Meta Analyzing for Safety Software Development on IoT Environment)

  • 김양훈;박원형;김국보
    • 융합보안논문지
    • /
    • 제15권4호
    • /
    • pp.11-18
    • /
    • 2015
  • ICT 융합환경과 클라우드 컴퓨팅, 빅데이터 등의 새로운 환경이 도래함에 따라, 기존의 소프트웨어공학 기법들을 어떻게 활용하느냐가 주요 관건이 되고 있다. 더불어 IoT 환경에서 안전한 소프트웨어 활용을 위한 요구사항분석 및 설계 단계의 중요성이 나타나고 있다. 그러나 그간의 연구들은 IoT 환경에 적용되는 기술들의 활용성에 주로 초점이 맞추어져 있으며, 그러한 기술들을 안전하게 현장에 적용하기 위한 선행 단계인 분석 설계를 내실 있게 만들기 위한 연구는 미흡한 실정이다. 이에 따라서 본 연구에서는 소프트웨어 공학 기반의 연구동향을 정리하고 그 관계를 분석하고자 한다. 세부적으로 연구동향 메타분석을 수행하기 위하여 소프트웨어 공학 연구동향을 프로세스에 따라 구분하고 연차별 추이를 분석하였다. 그리고 키워드의 연관관계를 분석하여 주요 연구 흐름을 분석하였다. 이러한 분석을 바탕으로 IoT 환경에서 고품질 소프트웨어를 개발하기 위한 방안으로 소프트웨어 공학 기법들의 활용성을 높일 수 있는 전략을 제언하였다.

해상교통정보 생성에 관한 기초 연구 (Basic Study on the Generation of Maritime Traffic Information)

  • 김혜진;오재용;박세길
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2016년도 춘계학술대회
    • /
    • pp.287-288
    • /
    • 2016
  • 선박과 선박간의 사고 위험도를 예측하는 교통정보 생성 기술을 해상교통관제센터에 적용하기에는 위험도 정보의 정확성에 한계가 있다. 또한 대상 해역에 대한 교통 패턴을 파악하는 밀집도 및 혼잡도와 같은 교통정보 생성 기술은 위험 우선순위 선박을 도출하는 것이 불가능하다. 복잡한 교통 패턴을 보이는 해상교통관제 해역에서 위험 선박을 인지하여 관제사의 관제 업무를 지원하기 위해서는 새로운 접근이 필요하다. 본 연구에서는 관제대상해역의 교통 상황을 총체적으로 파악하고 위험 선박을 사전에 인지할 수 있는 교통정보 생성을 위해서 기계학습 기법을 검토하였으며, 기존의 인공지능 한계를 극복하기 위한 딥러닝 프레임워크 도입을 검토하였다. 해상교통관제센터의 이미지, 메시지, 음성 등 다양한 형태의 연속적 자료들을 통합하고 이를 토대로 총체적인 분석을 통해 관제 업무를 지원할 수 있는 교통 상황 인지 정보를 생성할 수 있을 것으로 파악되었다. 빅데이터 기반의 기계학습은 보다 의미 있는 상황 인지 정보를 생성할 수 있기 때문에 이를 위한 관제 센터의 각종 데이터 통합이 필요하다.

  • PDF

빅데이터를 활용한 공공계약의 입찰참가자수 영향요인 분석 (Influencing Factors Analysis for the Number of Participants in Public Contracts Using Big Data)

  • 최태홍;이경희;조완섭
    • 한국빅데이터학회지
    • /
    • 제3권2호
    • /
    • pp.87-99
    • /
    • 2018
  • 본 연구는 공공계약의 여러 가지 형태 중 나라장터(KONEPS)를 통해 체결된 물품구매, 용역, 시설공사 등의 계약 자료를 수집하여 공공계약에서 입찰참가자수의 영향요인을 분석한다. 공공계약에서 입찰참가자수가 중요한 이유는 경쟁성 확보를 통한 합리적 계약 체결여부를 판단하는 최소한의 기준이 될 수 있으며, 발주기관의 예산절감 또는 입찰참가자의 수익성과 밀접한 관계가 있기 때문이다. 연구 목적은 공공계약에서 입찰참여자들의 입찰참여 여부는 어떤 요인에 의해 결정되는지를 분석하여 현재 공공계약에서 입찰참여에 관한 문제점과 정책적 시사점을 제시하기 위한 것이다. 본 연구는 5만여 공공기관이 나라장터로 발주하여 30만여 개인사업자 및 법인이 참여한 435만여 물품구매, 용역, 시설공사 등 많은 계약 건을 비교 분석함으로써 기존의 샘플링 기반 연구와의 차별성을 가진다. 연구모형으로 공고일수, 예산금액, 계약방법, 낙찰방법 등을 독립변수로, 입찰참가자수를 종속변수로 각각 도출하여 활용한다. 조사 분석은 빅데이터 및 다차원 분석기법을 사용한다. 분석결과 첫째, 공공발주 사업의 예산금액의 규모가 클수록 입찰참가자수가 적고, 이는 입찰참가자들이 예산금액이 클수록 수주할 확률이 매우 낮아진다고 인지하는 것에 기인한 것으로 공공사업에 대한 신뢰성 제고를 위하여 분리발주에 대한 제도적 장치가 필요하다는 것을 의미한다. 둘째, 계약방법으로는 제한경쟁이 일반경쟁 보다 입찰참가자수가 많고, 이는 계약방법이 입찰참가자수와 공공사업의 예산절감에 영향을 줄 수 있다는 것을 의미한다. 셋째, 공고일수는 입찰참가자수에 유의미한 영향을 미치지 않았으며 이는 나라장터를 통해 많은 개인사업자 및 법인들이 입찰정보를 숙지하고 있어 정보불균형의 문제는 심각하지 않다는 것을 의미한다. 넷째, 낙찰방법으로는 적격심사낙찰제가 최저가낙찰제 보다 입찰참가자수가 많고, 이는 낙찰방법이 입찰참가자수와 입찰참가자의 수익성에 영향을 줄 수 있다는 것을 의미한다.

CUDA GPGPU 상에서 경량 블록 암호 PIPO의 최적 구현 (Optimal Implementation of Lightweight Block Cipher PIPO on CUDA GPGPU)

  • 김현준;엄시우;서화정
    • 정보보호학회논문지
    • /
    • 제32권6호
    • /
    • pp.1035-1043
    • /
    • 2022
  • 사물인터넷(IoT), 클라우드 컴퓨팅, 빅데이터 등의 확산으로 애플리케이션에 대한 고속 암호화의 필요성이 대두되고 있다. GPU 최적화는 GPU가 이론적으로 얻은 암호 분석 결과 또는 축소된 버전을 합리적인 시간에 검증하는데 사용될 수 있다. 본 논문에서는 다양한 환경에서 구현되고 있는 PIPO 경량암호를 대상으로 GPU 상에서 구현하였다. PIPO에 대한 무차별 대입 공격을 고려하여 최적 구현하였다. 특히 비트 슬라이싱 기법을 적용한 최적화 구현과 GPU 요소를 최대한 사용하였다. 결과적으로 제안 기법의 구현은 RTX 3060 환경에서 초당 약 195억의 처리량을 보여 이전 연구 보다 약 122배 높은 처리량을 달성하였다.

도메인 지식 기반 이슈 탐지 모델링 - 해외 발생 감염병 국내 유입 이슈를 중심으로 (Socio-National Issues Detection Modeling based on Domain Knowledge - Focusing on the Issue of Increase in Domestic Inflow Infectious Diseases)

  • 황미녕;이승우
    • 한국콘텐츠학회논문지
    • /
    • 제17권12호
    • /
    • pp.158-168
    • /
    • 2017
  • 빅데이터 관련 기술의 발전으로 공공 보건 분야 등을 필두로 데이터에 기반한 정책을 결정하는 체계적인 방법론에 대한 관심이 증가하고 있다. 본 연구는 데이터를 기반으로 국가, 사회의 주요 이슈를 지능적으로 탐지하기 위해서 도메인 전문가와의 협업을 통해 이슈 탐지 모델을 개발하는 방법을 제안한다. 우선, '해외 발생 감염병 국내 유입' 이슈를 대상으로 이슈에 영향을 주는 요인을 도출하고, 영향 요인을 대표하는 변수 들을 설정한다. 다음으로 시스템 다이내믹스 기법을 이용하여 각 영향요인 간의 인과 분석을 통해 인과지도를 구성하여 영향력 높은 주요 요인들을 찾아낸다. 이 과정에서는 데이터 분석가와 감염병 도메인의 전문가와의 협업을 통해 실증적인 모델링을 진행한다. 이러한 도메인 지식 기반 이슈 탐지 모델을 기반으로 하여 상시 모니터링이 가능한 이슈 탐지 체계가 구축되면 더욱 효과적인 정책 의사 결정이 가능할 것이다.

컨테이너 터미널의 야드 장치 상태 생성을 위한 생성적 적대 신경망 모형 (Generative Adversarial Network Model for Generating Yard Stowage Situation in Container Terminal)

  • 신재영;김영일;조현준
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 춘계학술대회
    • /
    • pp.383-384
    • /
    • 2022
  • 4차 산업 혁명 이후 디지털 트윈, IoT 및 AI 등의 기술 발전에 따라 고차원적인 데이터 분석을 기반으로 의사결정 문제를 해결하고 있는 추세이다. 이는 최근 항만물류 분야에도 적용되고 있으며 항만 생산성 향상을 위해 컨테이너 터미널을 대상으로 빅데이터 분석, 딥러닝 예측, 시뮬레이션 등의 연구가 다수 이루어지고 있다. 이러한 고차원적 데이터 분석 기법들은 일반적으로 많은 데이터 수를 요구한다. 그러나 2020년 코로나19 팬데믹으로 인해 전 세계 항만의 환경은 변화하였다. 코로나19 발병 이전의 데이터를 현재 항만 환경에 적용하는 것은 적절하지 않으며, 발병 이후의 데이터는 딥러닝 등의 데이터 분석에 적용하기에 충분히 수집되지 않았다. 따라서 본 연구에서는 이러한 문제 해결 방법의 하나로 데이터 분석을 위한 항만 데이터 증강 방법을 제시하고자 한다. 이를 위해 컨테이너 터미널 운영 측면에서 생성적 적대 신경망 모형을 통해 야드의 컨테이너 장치 상태를 생성하고, 실제 데이터와 증강된 데이터 간의 통계적 분포 확인을 통해 유사성을 검증하였다.

  • PDF