• Journal of the Korea Society of Computer and Information
• /
• v.18 no.11
• /
• pp.13-21
• /
• 2013

The goal of this paper is to provide performance improvement and stability for satellite data correction of some distortions due to cloud or radiance through distributed processing on cluster. To do this, we proposed and implemented SGE(Sun Grid Engine) based distributed processing methods using local storages and a status table. In the verification, the experiment result revealed that the proposed system on seven nodes improved the processing speed by 138.81% as compare to the existing system and provided good stability as well. This result showed that the proposed distributed processing work is more appropriate to process CPU bound jobs than I/O bound jobs. We expect that the proposed system will give scientists improved analysis performance in various fields and near-real time analysis services.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.11 no.1
• /
• pp.87-92
• /
• 2011

Server overload is directly proportional to requested image data size in a image processing. If request data are increase then system is overloaded in a image processing system. For the reduce of server bottle neck, we will be able to consider a distributed processing. Simple distributed processing system can solve server bottleneck and system overload but high cost system requirements. In this paper, Proposes a new distributed image processing system. Object activation technology are being grafted on to simple distributed processing system. It can optimize the user of system resources and can reuse idle system resources in network.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2021.11a
• /
• pp.57-59
• /
• 2021

현재 국내 해양에 설치된 항로표지를 통해 해양 상태에 대한 다양한 정보가 수집/관리되고 있으며, 기상청에서 제공되는 기상 데이터 등 항로표지 데이터와 연계를 통해 유용한 서비스 개발이 가능한 데이터가 생상되고 있으나, 각 데이터의 관리 주체/시스템이 분산되어 효율적으로 활용되기 어려운 실정이다. 이에, 본 논문에서는 항로표지 데이터와 타 시스템에서 수집/관리되고 있는 데이터의 연계/분석을 통해 항로표지 데이터 기반의 다양한 서비스 개발에 활용 가능한 스마트 항로표지 빅데이터 플랫폼 구축 기술을 제안한다.

• Annual Conference of KIPS
• /
• 2013.11a
• /
• pp.188-191
• /
• 2013

인간과 사물, 서비스 세 가지 분산된 환경 요소에 대해 인간의 명시적 개입 없이 상호 협력적으로 센싱, 네트워킹, 정보 처리 등 지능적 관계를 형성하는 사물 공간 연결망인 IoT(Internet of Things)에서 센싱된 정보를 처리하고 서비스하기 위한 환경을 적시적소에 배치(Depolyment) 하기 위하여 클라우드 서비스와의 연동방법에 대해 본 논문에서 연구하였다. Public Cloud환경에서 Hadoop Cluster를 구성하여 IoT 서비스에 적용할 수 있는 통합 환경을 구축하면 폭발적으로 증가하는 IoT 데이터를 저장하고 빠른 시간안에 이를 효과적으로 처리 및 분석하기 위한 시스템 구축이 가능하며 분산 저장소에 저장된 데이터를 분석하고 의미있는 지식을 발견하여 새로운 비즈니스 모델 창출에 기여할 수 있다. 본 논문에서 Public Cloud 환경에서 Hadoop Clouster를 구성하여 IoT에서 생성되는 데이터를 효과적으로 처리하고 분석할 수 있는 방법을 제안한다.

• Annual Conference of KIPS
• /
• 2021.11a
• /
• pp.225-228
• /
• 2021

동형암호를 이용한 통계 분석은 기존의 개인정보보호 문제로 수행할 수 없었던 데이터에 대해서 통계분석이 가능하게 만든다. 본 논문에서는 대용량 데이터에 사용되는 대표적 통계 수치인 평균, 분산, 왜도, 첨도를 병렬처리를 사용하여 구하는 방법을 제안한다. 또한, 연산이 비교적 제한적인 동형암호에서도 통계적 수치를 구하기 위하여 동형암호문끼리의 뺄셈, 나눗셈, 제곱근 연산을 제안한다. 이를 통해, 분산된 대용량 데이터에 대해서도 동형암호를 통해 다양한 통계 연산이 가능할 것으로 기대된다.

• Journal of KIISE
• /
• v.43 no.8
• /
• pp.910-918
• /
• 2016

A tensor is a multi-dimensional array that represents many data such as (user, user, time) in the social network system. A tensor generator is an important tool for multi-dimensional data mining research with various applications including simulation, multi-dimensional data modeling/understanding, and sampling/extrapolation. However, existing tensor generators cannot generate sparse tensors like real-world tensors that obey power law. In addition, they have limitations such as tensor sizes that can be processed and additional time required to upload generated tensor to distributed systems for further analysis. In this study, we propose TeT, a distributed tera-scale tensor generator to solve these problems. TeT generates sparse random tensor as well as sparse R-MAT and Kronecker tensor without any limitation on tensor sizes. In addition, a TeT-generated tensor is immediately ready for further tensor analysis on the same distributed system. The careful design of TeT facilitates nearly linear scalability on the number of machines.

• Annual Conference of KIPS
• /
• 2002.04a
• /
• pp.233-236
• /
• 2002

본 논문은 인터넷상에서 다양한 매체를 이용한 서비스를 제공할 때 생길 수 있는 긴 사용자-서버간 지연, 엄청난 서버의 부하, 네트워크 자원의 비효율적 사용과 같은 문제점들을 위한 개선된 방법으로 사용자에 가까운 복수의 노드들을 두어 서버에서 전송된 데이터를 분산 저장하는 방법에 대해 다루고 있다. 새로운 분산 Proxy 기법은 VOD 서비스를 원하는 사용자들이 통일한 아이템에 대한 요청이 많은 서비스 패턴을 분석해서, 중복된 네트워크 부하는 줄이는 과정을 수행한다. 사용자가 요청한 영화는 서버에서 전송을 받는데 이때, HEN(Head-End-Node)에 구현된 여러 Proxy에 아이템의 일부를 나누어 저장하고 이에 대한 정보 보관과 제어를 SA(Switching Agent)가 하게 된다. 사용자가 서비스를 요청할 경우 SA의 제어 하에 분산 Proxy에 교호적으로 접속을 하여 저장되어 있는 부분적인 데이터들을 서비스 받도록 한다. 이때 Proxy에 새로운 데이터 블록을 저장할 때는 부족한 저장공간으로 인해 LRU(Least Recently Used), LFU(Least Frequently Used), 또는 이들을 복합한 Hybrid 정책을 사용한다.

• Annual Conference of KIPS
• /
• 2018.05a
• /
• pp.219-221
• /
• 2018

테스팅에서 발견하지 못한 결함은 시스템 운용 중 막대한 영향을 미친다. 국방에서 실시간 정보의 공유는 신속한 지휘결심과 임무능력으로 이어진다. 잠수함 분산 데이터 시스템(Data Distribution System)은 함의 운용술과 관련된 중요한 시스템 중 하나이므로, DDS의 데이터 연동 특성을 분석하고 효율적인 연동테스트 기법을 제시한다.

• Annual Conference of KIPS
• /
• 2023.11a
• /
• pp.722-723
• /
• 2023

연합학습은 중앙 서버에서 데이터를 수집하는 방식이 아닌 로컬 디바이스 또는 클라이언트에서 학습을 진행하고 중앙 서버로 모델 업데이트만 전송하는 분산 학습 기법으로 데이터 보안 및 개인정보보호를 강화하는 동시에 효율적인 분산 학습을 수행할 수 있다. 그러나, 연합학습 대부분의 시나리오는 클라이언트의 서로 다른 분포 형태인 non-IID 데이터를 대상으로 학습함에 따라 중앙집중식 모델에 비하여 낮은 성능을 보이게 된다. 이에 본 연구에서는 연합학습 모델의 성능을 개선하기 위하여 non-IID 의 환경에서 참여 후보자 중에서 적합한 클라이언트 선택의 최적화 기법을 분석한다.

• Annual Conference of KIPS
• /
• 2012.04a
• /
• pp.469-472
• /
• 2012

최근 IT 분야의 화두로 '빅 데이터'가 떠오르고 있으며 많은 기업들이 이를 분석하여 이익을 증대하기 위한 노력을 하고 있다. 이에 구글은 초기에 맴리듀스라고 하는 대용량 분산처리 프레임워크 기술을 확보하여 이를 기반으로 한 서비스를 제공하고 있다. 그러나 스마트 단말 및 소설미디어 등의 출현으로 다양한 디지털 정보들이 그래프로 표현되는 추세가 강화되고 있으며 기존의 맵리듀스로 이를 처리하는 데에 한계를 느낀 구글은 Pregel 이라는 그래프 형 자료구조에 최적화된 또 다른 분산 프레임워크를 개발하였다. 본 논문에서는 일반적인 그래프 형 데이터가 갖는 특성을 분석하고, 대용량 그래프 데이터를 처리하는데 있어 맵리듀스가 갖는 한계와 Pregel은 어떤 방식으로 이를 극복하고 있는지를 소개한다. 또한 실험을 통하여 데이터의 특성에 따른 적절한 프레임워크의 선택이 대용량 데이터를 처리하는 데에 있어서 얼마나 큰 영향을 미치는지 확인한다.