• 지식경영연구
• /
• 제19권1호
• /
• pp.119-132
• /
• 2018

Many advanced products and services are emerging in the market thanks to data-based technologies such as Internet (IoT), Big Data, and AI. The construction of a system for data processing under the IoT network environment is not simple in configuration, and has a lot of restrictions due to a high cost for constructing a high performance server environment. Therefore, in this paper, we will design a development environment for large data analysis computing platform using open source with low cost and practicality. Therefore, this study intends to implement a big data processing system using Raspberry Pi, an ultra-small PC environment, and open source API. This big data processing system includes building a portable server system, building a web server for web mining, developing Python IDE classes for crawling, and developing R Libraries for NLP and visualization. Through this research, we will develop a web environment that can control real-time data collection and analysis of web media in a mobile environment and present it as a curriculum for non-IT specialists.

• Journal of Information Processing Systems
• /
• 제13권3호
• /
• pp.518-532
• /
• 2017

Due to the rapid growth of the amount of data, research on bigdata processing has been highlighted. For bigdata processing, CUBRID Shard is able to support query processing in parallel way by dividing the database into a number of CUBRID servers. However, CUBRID Shard can answer a user's query only when the query is required to gain accesses to a single CUBRID server, instead of multiple ones. To solve the problem, in this paper we propose a CUBRID based distributed parallel query processing system that can answer a user's query in parallel and distributed manner. Finally, through the performance evaluation, we show that our proposed system provides 2-3 times better performance on query processing time than the existing CUBRID Shard.

• 대한임베디드공학회논문지
• /
• 제16권6호
• /
• pp.259-266
• /
• 2021

Edge Computing enables real-time big data processing by performing computing close to the physical location of the user or data source. However, in an edge computing environment, various situations that affect big data processing performance may occur depending on temporary service requirements or changes of physical resources in the field. In this paper, we proposed a BigCrawler system that dynamically configures the computing module and storage module according to the big data collection status and computing resource usage status in the edge computing environment. And the feature of big data processing workload according to the arrangement of computing module and storage module were analyzed.

• 한국빅데이터학회지
• /
• 제5권1호
• /
• pp.89-96
• /
• 2020

인공신경망(artficial neural networks)를 활용한 딥러닝은 최근 이미지인식, 빅데이터 및 데이터분석 등 다양한 분야에서 연구되고 개발이 진행되고 있다. 하지만 데이터 프라이버시 침해 이슈와 학습을 많이 할수록 소모 비용과 시간이 증가하는 문제점이 있어서 이를 해결하기 위해 연합학습(Federated Learning)이 연구되었다. 연합학습에서는 프라이버시 문제를 완화하면서, 분산 처리 시스템의 이점을 가져오는 학습기법을 제시하였다. 하지만 여전히 연합학습에서도 프라이버시 및 보안 문제가 존재한다. 그래서 우리는 연합학습의 서버에 해당하는 부분을 블록체인으로 대체하여 연합학습의 문제점인 프라이버시 문제와 보안 문제를 해결하였다. 또한 사용자가 제출하는 데이터에 대한 보상을 지급하여서 동기를 부여하고, 기존 성능은 유지하면서도 더 적은 비용의 유지비를 필요로 하는 시스템을 연구하였다. 본 논문에서는 우리가 개발한 시스템의의 타당성을 보이기 위해 실험결과를 제시하면서 기존 연합학습과 연구한 블록체인 기반의 연합학습 결과를 비교한다. 또한 향후 연구로 보안문제에 대한 해법과 와 적용 가능한 비즈니스 분야를 제시를 보여주면서 논문을 마무리 하였다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제13권1호
• /
• pp.201-209
• /
• 2021

The term, eGovernmen or e-Government, uses technology communications devices such as computers and the Internet to provide public services to citizens and others. The eGovernment or e-government provides citizens with new opportunities to access the government directly and conveniently, while the government provides citizens with directservices. Also, in these days, cloud computing is a feature that enables users to use computer system resources, especially data storage (cloud storage) and on-demand computing power, without having to manage themselves. The term is commonly used to describe data centers that are available to many users over the Internet. Today, the dominant Big Cloud is distributed across multiple central servers. You can designate it as an Edge server if it is relatively close to the user. However, despite the prevalence of e-government and cloud computing, each of these concepts has evolved. Research attempts to combine these two concepts were not being made properly. For this reason, in this work, we aim to produce independent and objective analysis results by separating progress steps for the analysis of e-government cloud service platforms. This work will be done through an analysis of the development process and architectural composition of the e-government development standard framework and the cloud platform PaaS-TA. In addition, this study is expected to derive implications from an analysis perspective on the direction and service composition of the e-government cloud service platform currently being pursued.

• 한국빅데이터학회지
• /
• 제3권1호
• /
• pp.73-82
• /
• 2018

미래 의학의 핵심은 개인을 중심으로 한 정밀의료(Precision Medicine)의 실현이다. 이것이 가능하기 위해서는 헬스케어 데이터를 언제 어디서나 열람, 관리 및 유통 할 수 있는 개방형 생태계를 갖추어야 한다. 하지만, 헬스케어 데이터는 민감한 개인정보를 다루기 때문에 상당한 수준의 신뢰성과 보안성이 동시에 요구된다. 이를 해결하기 위한 방안으로 최근 의료계에서도 블록체인 기술에 주목하고 있다. 블록체인 기술은 거래정보를 중앙 서버에 저장 및 관리하는 기존의 정보통신 인프라와는 달리 유통되는 데이터를 네트워크에 참여하는 모든 사용자가 분산 및 관리하는 방식의 분산 운영망 이다. 본 연구에서는 블록체인 기술을 이용해 헬스케어 데이터 유통 실증에 필요한 기술적 및 법리적 제반 사항, 코렌(KOREN SDI)망 기반 헬스케어 빅데이터 유통 실증 연구의 소개 및 헬스케어 분야에서 블록체인 기술을 활성화하기 위한 정책적 전략에 대해 논의한다.

• 한국빅데이터학회지
• /
• 제4권2호
• /
• pp.207-220
• /
• 2019

최근 정보통신기술의 발달은 센서를 바탕으로 수많은 데이터를 구축하고 이를 이용하여 실시간 서비스를 제공할 수 있게 한다. 교통안전공단에서는 디지털 운행기록계를 통해 전국의 상용차의 운행 정보를 수집하고 있다. 전국 상용자의 운행 정보는 교통 분야에서 다방면으로 활용이 가능하다. 그 중 특히 자율주행 분야에서는 실시간으로 운행정보를 분석하여 위험 운전에 대응을 하거나 방지하는데 도움을 줄 수 있다. 그러나 전통적인 데이터베이스 시스템을 이용하여 대용량의 데이터를 실시간 서비스에 적합한 수준의 성능으로 처리하는 데는 한계가 존재한다. 특히 국내에서는 이와 같은 기술적인 문제로 상용차 운행정보의 실시간 분석을 위한 대규모 교통 빅데이터의 처리가 이전에 시도된 적이 없다. 이런 문제를 해결하기 위해 본 연구에서는 새로운 방식의 데이터베이스 서버 시스템 최적화를 진행하였고 실시간 서비스가 가능한 수준임을 확인하였다. 구축된 데이터베이스 시스템을 이용하여 디지털 트윈, 자율주행환경을 마련하기 위한 기반 데이터를 확보할 수 있을 것으로 기대된다.

• 인터넷정보학회논문지
• /
• 제23권4호
• /
• pp.73-85
• /
• 2022

인공지능으로 자동화와 연결성이 극대화되는 4차 산업혁명 시대를 맞이하여 모델의 업데이트를 위한 데이터 수집과 활용의 중요성이 점차 높아지고 있다. 인공지능 기술을 사용하여 모델을 생성하기 위해서는 일반적으로 데이터를 한곳에 모아야 업데이트할 수 있으나, 이런 경우 사용자의 개인정보를 침해할 수 있다. 본 논문에서는 분산 저장된 데이터를 직접 공유하지 않으면서 서로 협력하여 모델을 업데이트할 수 있는 분산형 기계학습 방법인 연합학습을 소개하며, 기존의 서버 없이 참여자들 간의 분산 합의 최적화를 이루는 연구를 소개한다. 또한, Kirkman Triple System을 기반으로 한 패턴 및 그룹을 생성하는 알고리즘을 이용하며, 병렬적인 업데이트 및 통신을 하는 패턴 및 그룹 기반 분산 합의 최적화 알고리즘을 제안한다. 이러한 알고리즘은 기존의 분산 합의 최적화 알고리즘 이상의 프라이버시를 보장하며, 모델이 수렴할 때까지의 통신시간을 감소시킨다.

• Journal of the Korean Data and Information Science Society
• /
• 제26권5호
• /
• pp.1129-1139
• /
• 2015

시멘틱 웹 기술인 RDF 트리플로 표현된 지식을 추론 과정을 거치면 새로운 트리플들이 생성되어 나온다. 초기 입력된 수억개의 트리플로 구성된 빅데이터와 추가로 생성된 트리플 데이터를 바탕으로 질의응답과 같은 다양한 응용시스템이 만들어 진다. 이 추론기가 수행되는 과정에서 더 많은 컴퓨팅 리소스가 필요해 진다. 이 추가 컴퓨팅 리소스는 하부 클라우드 컴퓨팅의 리소스 풀로부터 공급받아 수행시간을 줄일 수 있다. 본 연구에서는 하둡을 이용하는 환경에서 지식의 크기에 따라 런타임에 동적으로 서버 컴퓨팅 노드를 증감 시키는 방법을 연구하였다. 상부는 응용계층이며, 중간부는 트리플들에 대한 분산병렬추론과 하부는 탄력적 하둡시스템 및 가상화 서버로 구성되는 계층적 모델을 제시한다. 이 시스템의 알고리즘과 시험성능의 결과를 분석한다. 하둡 상에 기 개발된 풍부한 응용소프트웨어들은 이 탄력적 하둡 시스템 상에서 수정 없이 보다 빨리 수행될 수 있는 장점이 있다.

• 한국빅데이터학회지
• /
• 제9권1호
• /
• pp.101-113
• /
• 2024

연합 학습은 분산 환경에서 데이터 프라이버시와 보안을 유지하면서 효율적으로 머신러닝 모델을 학습하는 방법으로 주목받고 있다. 본 연구에서는 이러한 연합 학습 환경에서 랜덤 포레스트 모델의 성능을 최적화하기 위해 새로운 FedRFBagging 알고리즘을 제안한다. 클라이언트별 데이터 특성에 기반하여 로컬 랜덤 포레스트 모델의 트리를 동적으로 조정함으로써 통신 비용을 줄이고, 다수의 클라이언트 환경에서도 높은 예측 정확도를 달성할 수 있다. 제안하는 방법은 다양한 데이터 조건에 적응하여 모델의 안정성과 학습 속도를 크게 향상시킨다. 랜덤 포레스트 모델은 여러 개의 결정 트리로 구성되나, 연합 학습 환경에서 모든 트리를 서버로 전송하면 통신 오버헤드가 기하급수적으로 증가하여 사용이 어려워진다. 또한 클라이언트 간 데이터 분포의 차이로 인해 트리의 품질 불균형이 발생할 수 있다. 이를 해결하기 위해 FedRFBagging 알고리즘을 제안하며 이는 각 클라이언트에서 성능이 높은 트리만을 선택해 서버로 전송하고, 서버는 불순도 값을 기준으로 트리들을 선택하여 최적의 글로벌 모델을 구성한다. 이를 통해 통신 오버헤드를 줄이고 다양한 데이터 분포에서도 높은 예측 성능을 유지할 수 있다. 글로벌 모델은 다양한 클라이언트 데이터를 반영하지만, 각 클라이언트의 데이터 특성은 다를 수 있다. 이를 보완하기 위해 클라이언트는 글로벌 모델에 추가 트리를 학습하여 로컬 데이터에 맞춘 최적화를 수행한다. 이를 통해 전체 모델의 예측 정확도를 높이고 변화하는 데이터 분포에 적응할 수 있다. 본 연구는 연합 학습 환경에서 랜덤 포레스트 모델이 가지는 통신 비용과 성능 문제를 효과적으로 해결하여 적용 가능한 연합 학습 환경에서 랜덤 포레스트 모델을 위한 알고리즘임을 시사한다.