• The Journal of the Korea Contents Association
• /
• v.17 no.8
• /
• pp.619-630
• /
• 2017

With the growing popularity of smart devices, various location based services have been providing to users. Recently, some location based social applications that combine social services and location based services have been emerged. The demands of a k-nearest neighbors(k-NN) query which finds k closest locations from a user location are increased in the location based social network services. In this paper, we propose an approximate k-NN query processing method for fast response time in a large number of users environments. The proposed method performs efficient stream processing using big data distributed processing technologies. In this paper, we also propose a modified grid index method for indexing a large amount of location data. The proposed query processing method first retrieves the related cells by considering a user movement. By doing so, it can make an approximate k results set. In order to show the superiority of the proposed method, we conduct various performance evaluations with the existing method.

• Annual Conference of KIPS
• /
• 2017.11a
• /
• pp.59-62
• /
• 2017

본 논문에서는 텍스트 형태의 빅 데이터를 분산처리 환경에서 기계학습을 이용하여 분석하고 유의미한 데이터를 만들어내는 시스템에 대해 다루었다. 빅 데이터의 한 종류인 뉴스 기사 빅 데이터를 분산 시스템 환경(Spark) 내에서 기계 학습(Word2Vec)을 이용하여 뉴스 기사의 키워드 간의 연관도를 분석하는 분산 처리 시스템을 설계 및 구현하였고, 사용자가 입력한 검색어와 연관된 키워드들을 한눈에 파악하기 쉽게 만드는 시각화 시스템을 설계하였다.

• Annual Conference of KIPS
• /
• 2016.10a
• /
• pp.539-541
• /
• 2016

최근 빅데이터 분석을 위해 아파치 하둡(Apache Hadoop) 기반 에코시스템(Ecosystern)이 다양하게 활용되고 있다. 본 논문에서는 수집된 로그 데이터를 가공하여 데이터베이스에 로드하는 과정을 효율적으로 처리하기 위한 성능 평가를 수행한다. 이를 기반으로 텍스트 파일의 로그 데이터를 자바 코드로 개발된 프로그램에서 JDBC를 이용하여 오라클(Oracle) 데이터베이스에 삽입(Insert)하는 과정의 성능을 개선하기 위한 방안을 제안한다. 대용량 로그 파일의 효율적인 처리를 위해 하둡 에코시스템을 이용하여 처리 속도를 개선하고, 최근 인메모리(In-Mernory) 처리 방식으로 빠른 처리 속도로 인해 각광받고 있는 아파치 스파크(Apache Spark)를 이용한 처리와의 성능 평가를 수행한다. 이 연구를 통해 최적의 로그데이터 처리 시스템의 구축 방안을 제안한다.

• Annual Conference of KIPS
• /
• 2016.10a
• /
• pp.66-67
• /
• 2016

최근 수많은 국 내외 글로벌 기업들이 클라우드 자원의 제공자 겸 소비자 역할을 하는 프라이빗 IaaS 클라우드 환경을 구축하고 있는 추세이며 이를 위해 오픈소스 클라우드 플랫폼인 오픈스택(OpenStack)이 많이 사용되고 있다. 이 논문에서는 대규모 빅데이터 처리를 위해 오픈스택 클라우드 환경의 가상머신 라이브 마이그레이션 기법을 사용할 경우 발생할 수 있는 문제점을 분석한다. 이러한 문제점에 대하여 가상머신에서 빅데이터 연산 처리 시 스토리지 병목현상을 해결하기 위한 마이그레이션 기법을 제시한다.

• Annual Conference of KIPS
• /
• 2015.10a
• /
• pp.123-126
• /
• 2015

본 연구에서는 클라우드 컴퓨팅 환경에서 운용되는 빅데이터 처리 프로그램에 ARM과 Intel의 하드웨어 보안이 어떠한 방식으로 적용되는지 비교 및 분석한다. 비교를 위하여 클라우드 서비스 모델을 제시하고, 실제 빅데이터 처리 알고리즘을 ARM과 Intel CPU를 갖춘 기기에서 작동시켜 수행 시간을 비교하였다. 연구 결과, ARMv7의 취약점인 하드웨어 암호화 모듈과 메모리 암호화의 부재를 도출하였고, 그 대안 방안으로서 FPGA(Field Programmable Gate Array)의 사용과 그 발전 방향을 제시하였다.

• Annual Conference of KIPS
• /
• 2019.10a
• /
• pp.93-96
• /
• 2019

최근 들어 빅데이터 처리 속도에 대한 관심이 높아지면서 처리 성능을 높이기 위한 다양한 기술들이 개발되고 있다. 기존의 빅데이터 전문 업체들도 전통적인 빅데이터 처리 방법이 아닌 새로운 기술에 대한 투자를 통해 경쟁을 가속화 하고 있다. 이러한 이유로 최적의 처리 엔진을 선택하는 것은 점차 중요한 부분이 되고 있다. 하지만 실제로 환경을 구성하여 운영해보기 전까지는 시행 착오를 겪을 수 밖에 없는 상황이다. 그래서 본 논문에서는 최근 발표된 빅데이터 처리 엔진 기술들이 어느 정도 성능을 보이는지에 관한 연구를 수행하여 빅데이터 처리 엔진 선택 및 판단에 도움이 될 근거를 제공하고자 한다.

• Annual Conference of KIPS
• /
• 2015.10a
• /
• pp.99-101
• /
• 2015

현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

• Annual Conference of KIPS
• /
• 2015.10a
• /
• pp.1265-1267
• /
• 2015

최근 IoT 기술의 등장으로 저전력 소형 컴퓨터인 라즈베리파이 클러스터가 IoT 데이터 처리를 위해 사용되고 있다. IoT 기술이 발전하면서 다양한 데이터가 생성되고 있으며 IoT 환경에서도 빅데이터 처리가 요구되고 있다. 빅데이터 처리 프레임워크에는 일반적으로 하둡이 사용되고 있으며 이를 대체하는 솔루션으로 Apache Spark가 등장했다. 본 논문에서는 PC와 라즈베리파이 클러스터에서의 성능을 Apache Spark를 통해 비교하였다. 본 실험을 위해 Yelp 데이터를 사용하며 데이터 로드 시간과 Spark SQL을 이용한 데이터 처리 시간을 통해 성능을 비교하였다.

• Annual Conference of KIPS
• /
• 2020.11a
• /
• pp.420-423
• /
• 2020

본 연구에서는 민간기업들이 전체적인 보안관제 인프라를 구축 할 수 있도록 오픈소스 빅데이터 솔루션을 이용하여 보안관제 체계를 구축하는 방법을 기술한다. 특히, 보안관제 시스템을 구축할 때 비용·개발시간을 단축 할 수 있는 하나의 방법으로 무료 오픈소스 빅데이터 분석 솔루션 중 하나인 Elastic Stack을 활용하여 인프라를 구축했으며, 산업에 많이 도입되는 제품인 Splunk와 비교실험을 진행했다. Elastic Stack을 활용해 보안로그를 단계별로 수집-분석-시각화 하여 대시보드를 만들고 대용량 로그를 입력 후 검색속도를 측정하였다. 이를 통해 Elastic Stack이 Splunk를 대체 할 수 있는 빅데이터 분석 솔루션으로서의 가능성을 발견했다.

• Annual Conference of KIPS
• /
• 2021.11a
• /
• pp.545-547
• /
• 2021

발전시설 장비는 이상이 생기면 큰 경제적 피해를 발생시키기 때문에, 장비의 계통마다 수십만 개의 센서들이 부착되어 장비의 정상 작동 여부를 모니터링 한다. 장비의 이상 감지를 위해서, 최근 활발히 연구되고 있는 딥러닝 등의 기술을 활용한 AI 모델을 생성하여 장비의 고장을 예측한다. AI 모델을 학습하고 추론하기 위해서는 수많은 센서 중에서 AI 모델을 생성할 센서들을 선택하고, 지속적으로 모니터링 되는 값들을 비교하여 이상 감지 여부를 스트리밍 환경에서 추론할 수 있는 센서 빅데이터 질의 처리 및 스트리밍 추론 시스템이 필요하다. 본 논문에서는 AI 모델을 학습하고 스트리밍 추론할 수 있는 빅데이터 질의 처리 시스템을 설계 및 구현한다.