• 제목/요약/키워드: Massive Data Processing

검색결과 231건 처리시간 0.036초

트윗 데이터를 활용한 IT 트렌드 분석 (An Analysis of IT Trends Using Tweet Data)

  • 이진백;이충권;차경진
    • 지능정보연구
    • /
    • 제21권1호
    • /
    • pp.143-159
    • /
    • 2015
  • 불확실한 환경변화에 대처하고 장기적 전략수립을 위해 기업에게 있어서 IT 트렌드에 대한 예측은 오랫동안 중요한 주제였다. IT 트렌드에 대한 예측을 기반으로 새로운 시대에 대한 인식을 하고 예산을 배정하여 빠르게 변화하는 기술의 추세에 대비할 수 있기 때문이다. 해마다 유수의 컨설팅업체들과 조사기관에서 차년도 IT 트렌드에 대해서 발표되고는 있지만, 이러한 예측이 실제로 차년도 비즈니스 현실세계에서 나타났는지에 대한 연구는 거의 없었다. 본 연구는 현존하는 빅데이터 기술을 활용하여 서울지역을 중심으로 지난 8개월동안(2013년 5월1일부터 2013년12월31까지) 정보통신산업진흥원과 한국정보화진흥원에서 2012년 말에 발표한 IT 트렌드 토픽이 언급된 21,589개의 트윗 데이터를 수집하여 분석하였다. 또한 2013년에 나라장터에 올라온 프로젝트들이 IT트렌드 토픽과 관련이 있는지 상관관계분석을 실시하였다. 연구결과, 빅데이터, 클라우드, HTML5, 스마트홈, 테블릿PC, UI/UX와 같은 IT토픽은 시간이 지날수록 매우 빈번하게 언급되어졌으며, 이 같은 토픽들은 2013년 나라장터 공고 프로젝트 데이터와도 매우 유의한 상관관계를 가지고 있는 것을 확인할 수 있었다. 이는 전년도(2012년)에 예측한 트렌드들이 차년도(2013년)에 실제로 트위터와 한국정부의 공공조달사업에 반영되어 나타나고 있는 것을 의미한다. 본 연구는 최신 빅데이터툴을 사용하여, 유수기관의 IT트렌드 예측이 실제로 트위터와 같은 소셜미디에서 생성되는 트윗데이터에서 얼마나 언급되어 나타나는지 추적했다는 점에서 중요한 의의가 있고, 이를 통해 트위터가 사회적 트랜드의 변화를 효율적으로 추적하기에 유용한 도구임을 확인하고자 할 수 있었다.

그리드 분할에 의한 다차원 데이터 디클러스터링 성능 분석 (Performance Analysis on Declustering High-Dimensional Data by GRID Partitioning)

  • 김학철;김태완;이기준
    • 정보처리학회논문지D
    • /
    • 제11D권5호
    • /
    • pp.1011-1020
    • /
    • 2004
  • 대규모의 데이터를 다루는 여러 시스템에서 데이터를 다수의 병렬 디스크에 분산시켜 저장한 후 질의 처리시 동시에 여러 개의 디스크를 접근함으로써 입출력 성능의 향상을 위한 많은 노력들이 행해져 왔다. 대부분 이전 연구들은 데이터 공간을 이루는 각 차원이 겹치지 않는 여러개의 구간으로 나누어져 전체 데이터 공간이 그리드 형태로 분할되어 있다는 가정하에 각 차원의 구간 번호로 결정되는 그리드 셀에 대해서 효과적으로 디스크 번호를 할당하는 알고리즘 개발에 집중되었다. 하지만, 그들은 데이터 공간을 그리드 형태로 분할하는 방법이 전체 디클러스터링 알고리즘 성능에 미치는 영향을 간과하였다. 본 논문에서 우리는 효과적인 그리드 분할을 통하여 매핑 함수를 이용하는 디클러스터링 알고리즘의 성능을 향상 시켰다. 이를 위하여 영역 질의 크기가 주어졌을 때 겹치는 그리드 셀의 수를 예측하는 모델을 제시하였으며 이를 이용하여 가능한 그리드 분할 방법들 중에서 질의 크기를 감소시키는 분할 방법을 선택하였다. 일반적으로, 다차원 데이터에 대해서는 이진 분할을 하지만 본 논문에서는 더 작은 수의 차원을 선택해서 여러 번 분할함으로써 질의를 만족하는 그리드 셀의 수를 감소시켰다. 다양한 실험 결과에 의하면 본 논문에서 제시한 예측 모델은 질의 크기와 차원에 관계없이 0.5% 이내의 에러율을 보이는 것으로 나타났다. 또한 효과적인 그리드 분할을 통하여 다차원 데이터에 대해서 가장 성능이 좋은 것으로 소개되고 있는 Kronecker sequence 매핑 함수를 이용하는 디클러스터링 알고리즘의 성능을 최대 23배까지 향상시킬 수 있음을 알 수 있었다.

TRAO Multi-beam Legacy Survey of Nearby Filamentary Molecular Clouds : Progress Report

  • Kim, ShinYoung;Chung, Eun Jung;Lee, Chang Won;Myers, Philip C.;Caselli, Paola;Tafalla, Mario;Kim, Gwanjeong;Kim, Miryang;Soam, Archana;Gophinathan, Maheswar;Liu, Tie;Kim, Kyounghee;Kwon, Woojin;Kim, Jongsoo
    • 천문학회보
    • /
    • 제42권1호
    • /
    • pp.32.1-32.1
    • /
    • 2017
  • To dynamically and chemically understand how filaments, dense cores, and stars form under different environments, we are conducting a systematic mapping survey of nearby molecular clouds using the TRAO 14 m telescope with high ($N_2H^+$ 1-0, $HCO^+$ 1-0, SO 32-21, and $NH_2D$ v=1-0) and low ($^{13}CO$ 1-0, $C^{18}O$ 1-0) density tracers. The goals of this survey are to obtain the velocity distribution of low dense filaments and their dense cores for the study of their origin of the formation, to understand whether the dense cores form from any radial accretion or inward motions toward dense cores from their surrounding filaments, and to study the chemical differentiation of the filaments and the dense cores. Until Feb. 2017, the real OTF observation time is 460 hours. We have almost completed mapping observation with four molecular lines ($^{13}CO$ 1-0, $C^{18}O$ 1-0, $N_2H^+$ 1-0, and $HCO^+$ 1-0) on the five regions of molecular clouds (L1251 of Cepheus, Perseus west, Polaris south, BISTRO region of Serpense, California, and Orion B). The maps of a total area of $7.38deg^2$ for both $^{13}CO$ and $C^{18}O$ lines and $2.19deg^2$ for both $N_2H^+$ and $HCO^+$ lines were obtained. All OTF data were regridded to a cell size of 22 by 22 arcseconds. The $^{13}CO$ and $C^{18}O$ data show the RMS noise level of about 0.22 K and $N_2H^+$ and $HCO^+$ data show about 0.14 K at the velocity resolution of 0.06 km/s. Additional observations will be made on some regions that have not reached the noise level for analysis. We are refining the process for a massive amount of data and the data reduction and analysis are underway. This presentation introduces the overall progress from observations to data processing and the initial analysis results to date.

  • PDF

SIP 메시지 제어 세션에 의한 대용량 분산 프레즌스 서비스 시스템 (A Large Scale Distributed Presence Service System by SIP Message Control Session)

  • 장춘서
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권5호
    • /
    • pp.514-520
    • /
    • 2018
  • 프레즌스 서비스는 사용자의 위치, 온라인/오프라인 여부, 네트워크 접속 방식 등 네트워크 사용자 관련 다양한 정보를 제공하며 모바일 환경에서 각 사용자들이 요구하는 프레즌스 리소스의 수는 크게 증가하고 있다. 따라서 이를 처리하기위하여 프레즌스 서버의 부하를 효율적으로 감소시킬 수 있는 방안이 필요하다. 본 논문에서는 다수의 사용자에 대한 다양한 프레즌스 정보를 제공하는 대용량 분산 프레즌스 서비스 시스템 구현에 메시지 제어 세션을 사용하여 프레즌스 서버의 부하를 효율적으로 분산 처리 할 수 있는 방식을 제안하였다. 본 연구에서는 이를 위하여 사용자 수의 증가에 따른 프레즌스 서버의 부하를 동적으로 복수 개의 서버에게 효율적으로 분산시키기 위한 메시지 제어 세션 구조가 제안되었고 프레즌스 서버 부하 제어를 위한 새로운 프레즌스 정보 데이터 구조가 설계되었다. 이 구조에서 각 프레즌스 서버들은 현재 부하 레벨을 실시간으로 교환하며 사용자 수 변화에 따른 전체 시스템 부하의 변화를 파악하여 각 서버의 부하 레벨이 고르게 유지되도록 분산한다. 제안된 프레즌스 서비스 시스템의 성능은 실험으로 분석하였다. 실험 결과 본 연구에서 제안한 구조의 경우 평균 프레즌스 등록 처리 시간이 기존 방식에 비해 42.6%에서 73.6%까지 감소함을 보여주었고 평균 프레즌스 통지 처리 시간은 37.6%에서 64.8%까지 감소함을 보여주었다.

Big Data Based Dynamic Flow Aggregation over 5G Network Slicing

  • Sun, Guolin;Mareri, Bruce;Liu, Guisong;Fang, Xiufen;Jiang, Wei
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권10호
    • /
    • pp.4717-4737
    • /
    • 2017
  • Today, smart grids, smart homes, smart water networks, and intelligent transportation, are infrastructure systems that connect our world more than we ever thought possible and are associated with a single concept, the Internet of Things (IoT). The number of devices connected to the IoT and hence the number of traffic flow increases continuously, as well as the emergence of new applications. Although cutting-edge hardware technology can be employed to achieve a fast implementation to handle this huge data streams, there will always be a limit on size of traffic supported by a given architecture. However, recent cloud-based big data technologies fortunately offer an ideal environment to handle this issue. Moreover, the ever-increasing high volume of traffic created on demand presents great challenges for flow management. As a solution, flow aggregation decreases the number of flows needed to be processed by the network. The previous works in the literature prove that most of aggregation strategies designed for smart grids aim at optimizing system operation performance. They consider a common identifier to aggregate traffic on each device, having its independent static aggregation policy. In this paper, we propose a dynamic approach to aggregate flows based on traffic characteristics and device preferences. Our algorithm runs on a big data platform to provide an end-to-end network visibility of flows, which performs high-speed and high-volume computations to identify the clusters of similar flows and aggregate massive number of mice flows into a few meta-flows. Compared with existing solutions, our approach dynamically aggregates large number of such small flows into fewer flows, based on traffic characteristics and access node preferences. Using this approach, we alleviate the problem of processing a large amount of micro flows, and also significantly improve the accuracy of meeting the access node QoS demands. We conducted experiments, using a dataset of up to 100,000 flows, and studied the performance of our algorithm analytically. The experimental results are presented to show the promising effectiveness and scalability of our proposed approach.

빅 데이터 환경하에서 프로세스 마이닝을 이용한 구매 감사 통합 실시간 모니터링 시스템에 대한 연구 (A Study on Procurement Audit Integration Real Time Monitoring System Using Process Mining Under Big Data Environment)

  • 유영석;박한규;백승훈;홍성찬
    • 인터넷정보학회논문지
    • /
    • 제18권3호
    • /
    • pp.71-83
    • /
    • 2017
  • 최근에는 프로세스 마이닝의 최대 강점을 활용함으로써, 기업 조직의 감사 업무에 적극적으로 활용하기 위한 다양한 연구 활동이 활발히 진행 중에 있다. 한편 기업 조직의 중요한 경영 활동중의 하나인 구매 부문 감사 시 빅 데이터 환경 하에서 생성된 방대한 데이터를 프로세스 마이닝을 이용하여 체계적이고 효율적으로 분석하고 감사 측면에서 위험 관리 사전 모니터링 하는 관련 연구는 미흡한 실정이다. 본 연구에서는 기업현장에서 발생되는 대량의 데이터들을 단순하게 사후에 모니터링하는 수준에서 벗어나 기업의 구매 부문에서 이상 징후들을 사전에 탐지하고 사고를 미리 방지하기 위하여 하둡 기반의 내부 감사 통합 실시간 모니터링 시스템을 구현하고자 한다. 이렇게 구현된 시스템을 통해 발주한 구매 자재의 납기관리 강화, 구매원가 절감, 경쟁력 있는 협력업체 관리, 사기 발생 억제, 규정준수, 내부통제 회계제도 준수 및 강화를 실현하고자 한다. 이러한 목적을 달성하기 위해 프로세스 마이닝을 이용하여 데이터를 효율적으로 분석하고 하둡기반의 시스템을 구축함으로써 이 결과로 구매감사 통합 실시간 모니터링 방식을 활용하여 실시간으로 실행할 수 있는 정보 제공이 가능하게 되었다. 또한, 통합적인 관점에서 입체적으로 업무 상태를 관리할 수 있게 되었고, 상시 모니터링 보다 대량의 작업을 실시간에 빠른 속도로 처리하게 됨으로써 구매 감사 품질개선 및 구매 프로세스 혁신의 효과가 나타났다.

축방향 서브 나이퀴스트 샘플링 기반의 횡탄성 영상 기법 (Shear-wave elasticity imaging with axial sub-Nyquist sampling)

  • 오우진;윤희철
    • 한국음향학회지
    • /
    • 제42권5호
    • /
    • pp.403-411
    • /
    • 2023
  • 탄성 영상과 미세 혈류 도플러 영상과 같은 기능성 초음파 영상은 조직의 기계적, 기능적 정보를 제공함으로써 진단 성능을 향상시킨다. 그러나 기능성 초음파 영상의 구현은 데이터 획득 및 처리 시 대용량 데이터 저장과 같은 한계를 야기한다. 본 논문에서는 효율적인 횡탄성 영상 기법을 위해 데이터 획득 양을 절감시키는 서브 나이퀴스트 접근법을 제안한다. 제안하는 방법은 기존 나이퀴스트 샘플링 속도보다 1/3배 낮은 샘플링 속도로 데이터를 획득하고, 주파수 스펙트럼의 주기성을 이용하여 대역 통과 필터링 기반의 보간을 통해 재구성된 Radio Frequency(RF) 신호를 사용하여 횡파 신호를 추적한다. 이때 RF 신호는 67 % 미만의 비대역폭으로 제한된다. 제안하는 접근법을 검증하기 위해 기존 샘플링 속도로 획득한 횡파 추적 데이터를 이용하여 서브 나이퀴스트 샘플링된 RF 신호를 재현하고, 기존 접근법과 횡파 속도 영상을 재구성한다. 정량적 평가를 위해 재구성한 횡파 속도 영상의 군속도, 대조도 잡음 비, 그리고 구조적 유사성 지수를 비교하였다. 우리는 서브 나이퀴스트 샘플링 기반 횡탄성 영상의 가능성을 정성적, 정량적으로 입증하였고, 향후 실시간 3차원 횡탄성 영상 기술에 유용하게 적용 가능할 것으로 기대된다.

텍스트 마이닝 기반의 그래프 모델을 이용한 미발견 공공 지식 추론 (Inferring Undiscovered Public Knowledge by Using Text Mining-driven Graph Model)

  • 허고은;송민
    • 정보관리학회지
    • /
    • 제31권1호
    • /
    • pp.231-250
    • /
    • 2014
  • 정보통신기술의 발달로 학술 정보의 양이 기하급수적으로 증가하였고 방대한 양의 텍스트 데이터를 처리하기 위한 자동화된 텍스트 처리의 필요성이 대두되었다. 생의학 문헌에서 생물학적 의미와 치료 효과 등에 대한 정보를 발견해내는 바이오 텍스트 마이닝은 문헌 내의 각 개념들 간의 유의미한 연관성을 발견하여 의학 영역에서 상당한 시간과 비용을 줄여준다. 문헌 기반 발견 연구로 새로운 생의학적 가설들이 발견되었지만 기존의 연구들은 반자동화된 기법으로 전문가의 개입이 필수적이며 원인과 결과의 한가지의 관계만을 밝히는 제한점이 있다. 따라서 본 연구에서는 중간 개념인 B를 다수준으로 확장하여 다양한 관계성을 동시출현 개체와 동사 추출을 통해 확인한다. 그래프 기반의 경로 추론을 통해 각 노드 사이의 관계성을 체계적으로 분석하여 규명할 수 있었으며 새로운 방법론적 시도를 통해 기존에 밝혀지지 않았던 새로운 가설 제시의 가능성을 기대할 수 있다.

제한수신시스템을 위한 키 관리 메카니즘과 성능향상 방안 (A New Key Management Mechanism and Performance Improvement for Conditional Access System)

  • 조현숙;이상호
    • 정보처리학회논문지C
    • /
    • 제8C권1호
    • /
    • pp.75-87
    • /
    • 2001
  • 이 논문에서는 제한수신시스템의 일반구조 및 암/복호화에 사용되는 키의 안정성을 위한 키관리 메카니즘 그리고 시스템 성능 향상을 위한 키 계층 구조의 개선에 대해서 살펴본다. 또한 시스템 성능 분석을 위한 기본 개념으로 큐잉 이론(queuing theory)을 설명하고, 디지털 방송 유료화 서비스의 실현 및 시스템 성능 향상을 위한 시스템 최적화 방안으로서 몇 가지 산정된 자료를 기초로 하여 최적의 키 생성 및 전달 주기, 최적의 키관리 주기에 따른 최대/최소 키 전달 시간, 과금 데이터처리를 위한 전용선의 용량 및 시스템 용량을 산정 한다.

  • PDF

Computational Thinking의 학교 현장 적용을 고려한 원보드컴퓨터의 가능성과 제한점에 관한 연구 (The study of potentiality and constraints of the one board computer to teach computational thinking in school)

  • 김석희;유헌창
    • 컴퓨터교육학회논문지
    • /
    • 제17권6호
    • /
    • pp.9-20
    • /
    • 2014
  • 국제적 환경의 변화와 ICT 소양 위주의 교육에서 벗어나 Computational thinking을 학교 교육과정에 반영하려는 노력이 전개되고 있다. 실제로 교육이 이루어지게 되면 교육용 컴퓨터의 정비가 이루어져야 한다. 국민권익위 자료에 의하면 기존의 방법대로 컴퓨터를 보급한다면 많은 비용이 든다. 본 연구의 목적은 Computational Thinking이 학교 현장 적용에 필요한 도구로서 저비용과 저 전력의 원보드컴퓨터의 가능성과 제한점을 연구 하였다. 연구방법으로 기본 성능비교, Physical Computing에 적용, 프로그래밍 교육에 적용, 컴퓨터 관리, 전력 소모, 실제 학생들에게 적용평가 등으로 나누어 연구했다. 연구결과 대용량의 데이터의 저장과 처리를 요구하지 않는 컴퓨팅이 아니라면 데스크탑 컴퓨터를 충분히 대체할 수 있으며, 전력소모 역시 기존 컴퓨터에 비해 최소 1/5 정도라는 결과를 얻었다. 세 개의 보드 중 Computational Thinking 지원, 사용상의 편의성, 속도 등을 고려하여 가장 적합한 것은 피시듀이노라는 결과를 얻었다.

  • PDF