• 제목/요약/키워드: Massive Data Processing

검색결과 231건 처리시간 0.025초

대용량 스트리밍 데이터에 대한 분산 인메모리 기반의 점진적 처리 기법 (In-memory based Incremental Processing Method for Massive Streaming Data)

  • 육미선;김병훈;한지은;노연우;임종태;복경수;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2015년도 춘계 종합학술대회 논문집
    • /
    • pp.73-74
    • /
    • 2015
  • 본 논문에서는 스트리밍 데이터에 대한 점진적 연산을 지원하는 실시간 분산 인메모리 데이터 처리 기법을 제안한다. 제안하는 데이터 처리 기법은 기존에 처리된 데이터를 인메모리에 유지하고 새로운 스트리밍 데이터가 입력되었을 때 기존에 처리된 데이터를 재사용한다. 성능평가를 통해 제안하는 기법이 하둡에 비해 대용량 스트리밍 데이터를 빠르게 처리할 수 있음을 보인다.

  • PDF

빠른 IHS 기법을 이용한 IKONOS 영상융합 (IKONOS Image Fusion Using a Fast Intensity-Hue-Saturation Fusion Technique)

  • 윤공현
    • 대한공간정보학회지
    • /
    • 제14권1호
    • /
    • pp.21-27
    • /
    • 2006
  • 영상융합의 많은 방법들 중에 IHS 기법은 많은 대용량의 자료를 빨리 융합할 수 있는 장점을 가지고 있다. IKONOS 영상에 대하여 IHS기법은 향상된 공간해상도의 결과를 보여주고 있으나 분광의 왜곡을 포함하고 있다. 즉, 융합된 다중파장대 영상과 원래 다중파장대영상의 비교시 분광정보의 왜곡이 나타난다. 이러한 문제를 해결하기 위해서 본 연구에서는 분광정보 조정을 통하여 빠른 처리 속도를 지니는 IHS기법을 제안하였다. 실험결과 제안된 방법은 고전적인 IHS 융합기법보다 속도와 영상 질의 측면에서 더 나은 결과를 보여주었다.

  • PDF

SWOSpark : 분산 처리 기반 공간 웹 객체 검색 시스템 (SWOSpark : Spatial Web Object Retrieval System based on Distributed Processing)

  • 양평우;남광우
    • 정보과학회 논문지
    • /
    • 제45권1호
    • /
    • pp.53-60
    • /
    • 2018
  • 본 논문은 인 메모리 기반의 분산처리 시스템인 Spark를 이용하여 공간 웹 객체 검색 시스템을 구현한 논문이다. 소셜 네트워크의 발전은 방대한 양의 공간 웹 객체를 생성하게 되었고, 기존의 공간 웹 객체 검색 시스템을 이용한 데이터 검색이나 분석은 힘들어졌다. 최근에 분산처리 시스템의 발전은 대용량의 데이터를 빠르게 분석하고 검색하는 기능을 지원해준다. 따라서 대용량의 공간 웹 객체를 검색하기 위해서는 분산 처리 시스템을 이용한 방법이 필요하다. 분산 처리 시스템에서는 데이터가 블록 단위로 처리되고, 이러한 블록 하나를 Spark에서는 데이터를 RDD로 변환하여 처리한다. 본 논문에서는 위의 방법에 착안하여 전체 공간 영역을 기반으로 서로 겹치지 않는 공간영역으로 분할을 하고, 분할된 영역 하나당 하나의 파티션을 할당하고 각각의 파티션은 자신이 포함하고 있는 데이터에 대한 공간 웹 객체 인덱스로 구성하는 시스템을 제안한다. 즉, 본 논문에서는 공간 분할을 이용하여 분산처리 시스템을 효율적으로 이용하고, 분할된 공간에 대한 검색의 효율성을 높일 수 있는 시스템을 제안한다. 또한, 데이터의 검색을 위하여 공간 정보와 단어 정보를 같이 사용하여 인덱스를 구축하는 QP-tree를 적용한 방법과 공간 정보만을 이용하여 인덱스를 구축하는 R-tree를 적용한 방법과의 비교를 통하여 제안한 시스템이 공간 웹 객체의 검색에 더 우수한 성능을 보여주는 것을 확인할 수 있다.

이차원 QR Code에서 데이터 코드워드의 디코딩 알고리즘 (Algorithm of Decoding the Data Codeword in Two-Dimensional QR Code)

  • 박광욱;이종연
    • 한국융합학회논문지
    • /
    • 제4권4호
    • /
    • pp.21-29
    • /
    • 2013
  • 2차원 QR Code는 1차원 바코드의 용량, 크기, 방향에 대한 한계를 개선하였으며, 방대한량의 데이터를 압축하여 저장할 수 있는 능력을 갖추고 많은 응용분야에서 사용되고 있다. 최근에는 QR Code를 인식할 수 있는 스마트 폰의 도입과 사용의 증대로 QR Code의 도입이 급속도로 확산되었다. 하지만 다양한 정보를 저장할 수 있는 QR Code의 디코딩 기술에 대한 구체적인 문서화가 없는 상태이다. 따라서 본 논문에서는 QR code의 인코딩에 따른 디코딩 과정에 대해 구체적인 처리 절차와 알고리즘을 제시하고 예를 통해 디코딩 과정을 상세히 이해시키는데 연구목적이 있다.

Development of the Power Restoration Training Simulator for Jeju Network

  • Lee, Heung-Jae;Park, Seong-Min;Lee, Kyeong-Seob;Song, In-Jun;Lee, Nam-Ho
    • 조명전기설비학회논문지
    • /
    • 제20권9호
    • /
    • pp.18-23
    • /
    • 2006
  • This paper presents an operator training simulator for power system restoration against massive blackout. The system is designed especially focused on the generality and convenient setting up for initial condition of simulation. The former is accomplished by using power flow calculation methodology, and PSS/E data is used to set up the initial state for easy setting. The proposed simulator consists of three major components-a power flow(PF), a data conversion(CONV), and, a GUI module. The PF module calculates power flow, and then checks over-voltages of buses and overloads of lines. The CONV module composes a Y-Bus array and a database at each restoration action. The initial Y-Bus array is composed from PSS/E data. A user friendly GUI module is developed including a graphic editor and a built-in operation manual. The maximum processing time for one step operation is 15 seconds, which is adequate for training purpose.

동작분석 시스템을 이용한 골프 스윙 분석 기초 알고리즘 개발 (The Development of A Basic Golf Swing Analysis Algorithm using a Motion Analysis System)

  • 서재문;이해동;이성철
    • 한국운동역학회지
    • /
    • 제21권1호
    • /
    • pp.85-95
    • /
    • 2011
  • Three-dimensional(3D) motion analysis is a useful tool for analyzing sports performance. During the last few decades, advances in motion analysis equipment have enabled us to perform more and more complicated biomechanical analyses. Nevertheless, considering the complexity of biomechanical models and the amount of data recorded from the motion analysis system, subsequent processing of these data is required for event-specific motion analysis. The purpose of this study was to develop a basic golf swing analysis algorithm using a state-of-the-art VICON motion analysis system. The algorithm was developed to facilitate golf swing analysis, with special emphasis on 3D motion analysis and high-speed motion capture, which are not easily available from typical video camera systems. Furthermore, the developed algorithm generates golf swing-specific kinematic and kinetic variables that can easily be used by golfers and coaches who do not have advanced biomechanical knowledge. We provide a basic algorithm to convert massive and complicated VICON data to common golf swing-related variables. Future development is necessary for more practical and efficient golf swing analysis.

멀티셋의 크기 추정 기법에서 샘플링의 효과 (Effect of Sampling for Multi-set Cardinality Estimation)

  • ;양대헌;이경희
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제4권1호
    • /
    • pp.15-22
    • /
    • 2015
  • 멀티셋에서 중복을 제외한 서로 다른 원소의 수를 추정하는 것은 네트워크 트래픽 측정 분야에서 매우 잘 알려진 문제이며, 많은 알고리즘들이 제안되었다. 최근에는 선형 카운팅 기법(Linear Counting)에 기반해서 매우 작은 메모리만을 이용해서 멀티셋의 크기를 추정하는 알고리즘이 개발되었다. 너무 많은 데이터를 처리하기 어려운 경우 전체 데이터를 처리하지 않고, 패킷의 일부를 샘플링해서 사용하는데, 이 샘플링은 일반적으로 정확도에 부정적인 영향을 주는 것으로 알려져있다. 하지만, 이 논문에서는 멀티셋의 크기를 추정하는데 있어서 CSE를 이용하는 경우 샘플링이 정확도와 측정 범위의 측면에서 오히려 전수조사를 하는 MCSE보다 더 좋은 결과를 낼 수 있음을 보였다. 이를 입증하기 위해 수학적 분석, 실제 데이터를 이용한 실험을 수행하고, CSE, MCSE 그리고 CSES를 비교하였다.

Toward Energy-Efficient Task Offloading Schemes in Fog Computing: A Survey

  • Alasmari, Moteb K.;Alwakeel, Sami S.;Alohali, Yousef
    • International Journal of Computer Science & Network Security
    • /
    • 제22권3호
    • /
    • pp.163-172
    • /
    • 2022
  • The interconnection of an enormous number of devices into the Internet at a massive scale is a consequence of the Internet of Things (IoT). As a result, tasks offloading from these IoT devices to remote cloud data centers become expensive and inefficient as their number and amount of its emitted data increase exponentially. It is also a challenge to optimize IoT device energy consumption while meeting its application time deadline and data delivery constraints. Consequently, Fog Computing was proposed to support efficient IoT tasks processing as it has a feature of lower service delay, being adjacent to IoT nodes. However, cloud task offloading is still performed frequently as Fog computing has less resources compared to remote cloud. Thus, optimized schemes are required to correctly characterize and distribute IoT devices tasks offloading in a hybrid IoT, Fog, and cloud paradigm. In this paper, we present a detailed survey and classification of of recently published research articles that address the energy efficiency of task offloading schemes in IoT-Fog-Cloud paradigm. Moreover, we also developed a taxonomy for the classification of these schemes and provided a comparative study of different schemes: by identifying achieved advantage and disadvantage of each scheme, as well its related drawbacks and limitations. Moreover, we also state open research issues in the development of energy efficient, scalable, optimized task offloading schemes for Fog computing.

Zynq를 이용한 비전 및 모션 컨트롤러 통합모듈 구현 (Implementation of Integration Module of Vision and Motion Controller using Zynq)

  • 문용선;노상현;이영필
    • 한국전자통신학회논문지
    • /
    • 제8권1호
    • /
    • pp.159-164
    • /
    • 2013
  • 최근 자동화 시스템에 있어 중요한 요소인 비전과 모션 컨트롤러를 통합한 솔루션이 많이 개발되고 있다. 다만 이러한 솔루션은 비전 처리와 모션 컨트롤을 네트워크로 통합하거나 하나의 모듈에 투 칩 솔루션으로 구성된 경우가 많다. 본 연구에서는 최근에 개발된 확장형 프로세싱 플랫폼인 Zynq-7000을 이용한 비전 및 모션 제어기를 통합한 원 칩 솔루션을 구현하였다. 또한 모션 컨트롤은 제어의 실시간이 보장되면서 대량의 데이터를 처리할 수 있는 개방형 표준 이더넷 호환성을 가지고 있는 산업용 이더넷 프로토콜인 EtherCAT을 적용하였다.

온라인 게임 악용 패턴 모니터링 방법의 성능 분석 (Performance Analysis of an On-line Game Abuse Pattern Monitoring Method)

  • 노창현;손한성
    • 한국콘텐츠학회논문지
    • /
    • 제11권12호
    • /
    • pp.71-77
    • /
    • 2011
  • CEP(Complex Event Processing)는 대규모 정보시스템에서 발생하는 복잡한 이벤트 패턴을 발견하는 기법이다. 게임 사용자가 게임 서버에 접속하여 게임을 수행하는 과정에서 발생하는 이벤트들을 관찰하면서 규칙에 위배되는 행위를 검출하기 위하여 CEP 기법을 사용하는 방법이 제안된 바 있다. 본 연구는 실제 게임서버 DB를 이용하여 선행 연구를 통해 제안된 모니터링 방법에 적용하여 보았다. 이를 통해 CEP 기반의 온라인서비스 감시가 대규모 사용자들이 이용하는 온라인 게임의 부정한 사용자들을 찾아내고 감시하는 것에 효과적임을 관찰하였다.