• Journal of the Korean Data and Information Science Society
• /
• v.26 no.5
• /
• pp.1155-1166
• /
• 2015

It is almost impossible to store or analyze big data increasing exponentially with traditional technologies, so Hadoop is a new technology to make that possible. In recent R is using as an engine for big data analysis based on distributed processing with Hadoop technology. With RHadoop that integrates R and Hadoop environment, we implemented parallel multiple regression analysis with various data sizes of actual data and simulated data. Experimental results showed our RHadoop system was faster as the number of data nodes increases. We also compared the performance of our RHadoop with lm function and biglm packages available on bigmemory. The results showed that our RHadoop was faster than other packages owing to paralleling processing with increasing the number of map tasks as the size of data increases.

• Annual Conference of KIPS
• /
• 2017.04a
• /
• pp.826-828
• /
• 2017

그래프는 객체와 객체 간의 관계를 표현하는 데에 있어 효과적인 데이터 표현 방법이다. 그래프 데이터는 웹 그래프, 사회 관계망 서비스, 신약 개발, 생명정보학 등의 다양한 분야에서 활용되고 있으며, 그래프 마이닝 응용에서 활용되기 위한 효율적인 처리 기술을 필요로 한다. 최근까지 그래프 데이터의 처리 및 분석을 위한 많은 시스템들이 개발되었다. 본 논문에서는 최신 분산 그래프 처리 시스템 중에서 대표적인 그래프 분석 질의인 페이지랭크(pagerank)와 너비 우선 탐색(breadth first search)를 수행하고 시스템의 성능을 평가한다.

• Annual Conference of KIPS
• /
• 2018.05a
• /
• pp.54-55
• /
• 2018

본 논문은 지속적으로 수집되는 전력량계 데이터를 자동으로 처리, 분석하기 위한 IoT 데이터 기반 자동분석 기법을 제시한다. 에너지 효율을 높이기 위해서는 대상 설비의 관리, 모니터링을 통해 운영을 최적화해야 한다. IoT 기술을 이용하여 에너지 설비 사용 효율을 확인하고, 관리 여부를 판단하는 진단기술을 구현하기 위해서는, IoT 전력량계를 통해 수집된 데이터를 다양한 머신러닝 알고리즘에 입력하여 관리에 필요한 결과 지표를 도출할 수 있어야 한다. 이런 기능을 제공하는 IoT 수집 시스템의 모니터링 및 자동 진단 시스템은 데이터 수집, 분석을 신속하게 수행할 수 있다. 데이터 수집과 고속, 대용량 데이터 저장에 적합한 분산 파일시스템과 고속 시계열 기능을 기반으로 의존도, 유사도 분석실행을 제공하는 고속 전처리 시스템의 특징을 제안한다.

• The Journal of Information Technology and Database
• /
• v.4 no.1
• /
• pp.105-116
• /
• 1997

분산처리 시스템을 위한 소프트웨어 개발 방법 및 이를 지원하는 프레임워크의 개발은 분산처리 시스템을 위한 좋은 소프트웨어의 개발을 위해 매우 필요한 일이라 할 수 있다. 즉, 분산처리 시스템을 위한 신뢰성 있고 적합성과 확장성을 가진 소프트웨어의 개발은 매우 중요한 일이다. 자치적 분산처리 시스템(Autonomous Decentralized Systems)은 온라인 확장성과 온라인 유지보수성 및 fault tolerance기능을 가진 분산처리 시스템이다. 이 논문에서는 자치적 분산처리 시스템을 위한 객체지향 소프트웨어 개발을 지원하는 프레임워크에 대하여 논한다. 이 프레임워크는 객체지향 요구 분석과 객체지향 설계, 구현, 프로세서에 타스크(task)의 할당, 검증 및 유지보수로 구성되어 있으며, 온라인 확장성과 온라인 변경성(modifiability)을 지원한다. 자치적 분산처리 애플리케이션 소프트웨어 개발을 지원하는 프레임워크는 객체지향 computation 모델을 근간으로 하고 있다. 이 논문에서는 프레임워크외에도 자치적 분산처리 소프트웨어 개발을 위한 CASE(Computer Aided Software Engineering) 환경에 대하여서도 논한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2012.10a
• /
• pp.966-969
• /
• 2012

This study suggests a query conversion method based on Topic Maps MetaData Registry(TMDR) in order to solve heterogeneity problems distributed in networks and to integrate data efficiently. In order to integrate distributed data, TMDR provides global schema and it solves heterogeneity problem within local data using query conversion method. After analyzing relationship between Meta Schema Ontology(MSO) of eXtended Meta Data Registry(XMDR) and Topic Maps, this method allows integrated access through Meta Location(ML) which manages accessing information of local data. The processing method is to produce a global query for global processing by using TMDR and then to make the produced global query approach to systems distributed through networks so that allows integrated access at the end. For this, we propose a method to convert a global query into a query which is adaptive to local query.

• Journal of the Korean Data and Information Science Society
• /
• v.25 no.3
• /
• pp.547-554
• /
• 2014

This paper discusses a method of estimating variance components for random effects model. Henderson's method I and III are discussed for the esimation of variance components. This paper shows how to use projections instead of using Henderson's methods for the calculation of sums of squares which are quadratic forms in the observations. It also discusses that eigenvalues can be used for getting the expectations of sums of squares in place of using the method of Hartley's synthesis. It shows the suggested method is much more effective than those methods.

• Journal of the Korea Computer Graphics Society
• /
• v.1 no.2
• /
• pp.213-225
• /
• 1995

3 차원 볼륨 데이터를 시각화(visualization)하기 위해서는 많은 계산 량과 메모리 량을 필요로 한다. 단일컴퓨터에서 순차 알고리즘을 이용하여 데이터를 시각화하고 분석하는 것은 실시간 응용 프로그램에는 부적합하다. 기존의 병렬 볼륨 렌더링에서의 데이터 분할 방법은 대부분 정적 로드 밸런싱(static load balancing)에 기반하고 있다. 동적 로드 밸런싱에 기반한 기존의 방법들은 불륨 데이터의 정규성(regularity)을 이용할 수 없다는 단점이 있다. 본 연구에서는 3 차원 볼륨 데이터에 대하여 로컬 태스크 큐(local task queue) 기법에 기반한 새로운 로드밸런싱 알고리즘을 제안한다. 제안한 방법은 계산에 참여할 노드(node)들을 PVM(parallel virtual machine)의 동적 프로세스 그룹(dynamic process group: DPG)을 이용하여 정적으로 그룹화(grouping)한다. 각각의 DPG들은 로컬 태스크 큐를 기반으로 단위 서브-블록에 대하여 동적 로드 밸런싱을 수행한다. 최적화된 레이 캐스팅 알고리즘들을 분산 환경에 새롭게 적용함으로써 로드 밸런싱으로 생길 수 있는 오버 헤드를 최소화하였다.

• Proceedings of the Korea Contents Association Conference
• /
• 2014.11a
• /
• pp.47-48
• /
• 2014

최근 개인 사용자에게 최적화된 정보 및 서비스를 제공하기 위해 다수의 소형파일에 대한 분석이 요구되고 있다. 이런 요구사항을 고려해 본 논문에서는 통신주기에 따라 캐시 메타데이터 동기화를 적용한 분산 캐시 관리 기법을 제안한다. 제안하는 기법은 다수의 소형파일을 병합하여 청크에 저장함으로써, 네임노드가 관리하는 메타데이터의 양을 줄였으며, 클라이언트 캐시에 캐시 메타데이터를 추가적으로 저장하는 구조를 갖는다. 또한, 클라이언트와 네임노드 간 통신주기 조절을 통해 클라이언트의 캐시 메타데이터를 갱신함으로써 불필요한 처리시간을 감소시킨다.

• Electronics and Telecommunications Trends
• /
• v.37 no.3
• /
• pp.85-96
• /
• 2022

Recently, the blockchain technology, which can decentralize business ecosystems using secure transactions without trusted intermediaries, has been spotlighted. Full nodes play an important role in maintaining decentralization in that they independently verify transactions using their full historical transaction data. However, the storage requirement of a full node for storing historical data is continuously increasing, and thus, has become harder for users to run a full node due to the heavy price for storage costs. In this paper, we investigate research trends on reducing the costs of storing blockchain transaction data so that nodes with low storage requirements can be used in the blockchain network.

• Proceedings of The KACE
• /
• 2017.08a
• /
• pp.63-64
• /
• 2017

정보 기술의 끊임없는 발전에 따라 광범위한 분야에서 방대한 양의 데이터가 발생하게 되면서 이를 처리하기 위한 빅 데이터에 대한 연구 및 교육이 활발히 진행되고 있다. 이를 위하여 데이터 분석 및 처리를 위한 고성능의 서버 및 분산 처리를 위한 다수의 컴퓨터가 필요하며 이는, 개인 혹은 저사양의 수업 환경에서 빅 데이터를 학습하는 데에 어려움을 겪게 한다. 때문에 가상 환경에서 원활한 빅 데이터 학습을 위한 클라우드 기반의 시스템이 필요하다. 이에 본 논문에서는, 빅 데이터 처리 기술의 하나인 Spark를 이용한 빅 데이터 플랫폼 구축에 대하여 기술한다.