• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.23 no.5
• /
• pp.831-847
• /
• 2013

The various types of data are being created in large quantities resulting from the spread of social media and the mobile popularization. Many companies want to obtain valuable business information through the analysis of these large data. As a result, it is a trend to integrate the big data technologies into the company work. Especially, Hadoop is regarded as the most representative big data technology due to its terabytes of storage capacity, inexpensive construction cost, and fast data processing speed. However, the authentication token system of Hadoop Distributed File System(HDFS) for the user authentication is currently vulnerable to the replay attack and the datanode hacking attack. This can cause that the company secrets or the personal information of customers on HDFS are exposed. In this paper, we analyze the possible security threats to HDFS when tokens or datanodes are exposed to the attackers. Finally, we propose the secure authentication protocol in HDFS based on hash chain.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.34-36
• /
• 2005

데이터 스트림 처리에 관한 연구들은 최근 컴퓨터 과학 분야에서 가장 않은 관심을 가지고 있고 흥미있는 이슈 중 하나이다. 이러한 경향은 다양한 어플리케이션의 출현으로 질의 저리에 대한 효율적인 방법과 새로운 데이터 스트림의 모델을 필요로 하기 때문일 것이다. 본 논문은 그 중에서도 데이터 스트림 분야의 가장 중요한 부분으로 생각되는 스케줄링, 적절한 질의 처리, 부하 분산, 근사화, 분산 데이터 모니터링에 대한 연구 분석을 도모하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.1199-1202
• /
• 2013

최근 증권, 센서, 기후, 의료 분야 등에서 수많은 시계열 데이터들이 쏟아져 나오고 있고, 이러한 시계열 빅 데이터를 통해 의미를 찾아내고자 하는 시계열 해석 및 분석, 예측 작업의 수요가 증가하고 있다. 시계열 해석 및 분석, 예측 작업을 하기 위해서 사용 될 수 있는 기초 작업은 유사한 시계열 시퀀스를 찾아내는 유사 시퀀스 매칭과 이러한 매칭을 통해 특정 시계열 데이터의 하나의 특징이 되는 빈발 시퀀스 추출 기술이 필요하다. 본 논문에서는 이러한 시계열 빅 데이터에서 유사 시퀀스 매칭을 이용한 빈발 시퀀스 추출 문제를 효율적으로 해결하는 빈발 시퀀스 추출기(Frequent Sequence Extractor)를 개발 및 구현하였다. 또한 분산처리 플랫폼인 하둡을 이용한 데이터 파싱을 사용하여, 각 분야별 시계열 데이터를 분석하는 전문가에게 효율적인 분산처리 효과를 제공한다.

• KIPS Transactions on Software and Data Engineering
• /
• v.5 no.10
• /
• pp.477-482
• /
• 2016

As being the advanced analytics indispensable on big data for agile decision-making and tactical planning in enterprises, distributed processing platforms, such as Hadoop and Spark which distribute and handle the large volume of data on multiple nodes, receive great attention in the field. In Spark platform stack, Spark SQL unveiled recently to make Spark able to support distributed processing framework based on SQL. However, Spark SQL cannot effectively handle advanced analytics that involves machine learning and graph processing in terms of iterative tasks and task allocations. Motivated by these issues, this paper proposes the design of SQL-based big data optimal processing engine and processing framework to support advanced analytics in Spark environments. Big data optimal processing engines copes with complex SQL queries that involves multiple parameters and join, aggregation and sorting operations in distributed/parallel manner and the proposing framework optimizes machine learning process in terms of relational operations.

• Journal of the Korea Convergence Society
• /
• v.12 no.7
• /
• pp.45-51
• /
• 2021

In accordance with the rapid non-face-to-face environment and mobile first strategy, the explosive increase and creation of many structured/unstructured data every year demands new decision making and services using big data in all fields. However, there have been few reference cases of using the Hadoop Ecosystem, which uses the rapidly increasing big data every year to collect and load big data into a standard platform that can be applied in a practical environment, and then store and process well-established big data in a relational database. Therefore, in this study, after collecting unstructured data searched by keywords from social network services based on Hadoop 2.0 through three virtual machine servers in the Spring Framework environment, the collected unstructured data is loaded into Hadoop Distributed File System and HBase based on the loaded unstructured data, it was designed and implemented to store standardized big data in a relational database using a morpheme analyzer. In the future, research on clustering and classification and analysis using machine learning using Hive or Mahout for deep data analysis should be continued.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.45-46
• /
• 2016

최근 GPU를 비롯한 하드웨어의 성능이 급격이 증가하면서 인공지능, 딥러닝 기술에 대한 관심이 높아지고 있다. 또한 데이터가 더욱 방대해 지면서 대용량 데이터를 처리하고 위한 딥러닝 분산 프레임워크에 대한 필요성이 제기되고 있다. 이에 본 논문에서는 대규모의 분산 환경에서 딥러닝 고속 처리를 위한 분산 프레임워크를 비교 분석하였다. 특히 최근 주목받고 있는 인메모리 기반 분산 프레임워크인 Spark, SparkNet, HeteroSpark의 특징을 비교 분석하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2013.07a
• /
• pp.395-397
• /
• 2013

MODIS는 기상, 대기, 해양, 그리고 육상 등의 지구전체에 대한 정보를 산출하기 위한 센서로서, 인공위성에 탑재되어 지구관측 데이터를 생산한다. 최초의 MODIS 위성 데이터는 많은 왜곡을 포함하고 있으므로 지형 및 광휘 보정작업은 분석 작업을 하기 위한 필수적인 전처리 작업이다. 위성 데이터 처리를 위해 개발된 SeaDAS는 단일노드/단일코어상에서 수행되기 적합하게 개발되었기 때문에, 대용량의 위성데이터를 전처리하기 위해 많은 시간을 소비해야 한다. 본 논문은 Sun Grid Engine 기반의 다중노드/다중코어를 이용하는 위성 데이터 분산 처리 방법을 제안하고 성능 및 확장성에 대한 평가를 수행한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.06b
• /
• pp.32-35
• /
• 2007

Bioinformatics의 목표는 생물학적인 질의를 해결하는 것과 생물학자들이 수집된 데이터를 분석하고 검색을 하여 생물학자들이 정확한 일을 수행하는 것이다. 인터넷은 여러 조사 그룹의 데이터베이스에 동시에 접근가능한 수단을 제공했으나 이러한 분산 환경에서 많은 양의 데이터는 전송 시의 시간 지연 문제와 최종 검색시의 느린 검색 속도 문제를 나타낸다. 데이터 클러스터링은 데이터의 검색시 이러한 문제점을 해결하기 위하여 이용될 수 있는 방법이지만 단순 적용시에는 데이터의 양에 비례하는 실행 시간이 또 다른 문제를 발생시킨다. 본 논문에서는 바이오데이터의 효율적인 클러스터링을 위한 개선된 분산 클러스터링 시나리오와 이를 위해 수정된 K-means 알고리즘을 제시한다. 최종 실험 결과는 20% 이상 향상된 실행 속도를 보여준다.

• KIPS Transactions on Software and Data Engineering
• /
• v.2 no.9
• /
• pp.589-594
• /
• 2013

As the concept of web characteristics represented by openness and mind sharing grows more and more popular, device log data generated by both users and developers have become increasingly complicated. For such reasons, a log data processing mechanism that automatically produces meaningful data set from large amount of log records have become necessary for mobile device UX(User eXperience) analysis. In this paper, we define the attributes of to-be-analyzed log data that reflect the characteristics of a mobile device and collect real log data from mobile device users. Along with the MapReduce programming paradigm in Hadoop platform, we have performed a mobile device User eXperience analysis in a distributed processing environment using the collected real log data. We have then demonstrated the effectiveness of the proposed analysis mechanism by applying the various combinations of Map and Reduce steps to produce a simple data schema from the large amount of complex log records.

• Journal of the Korea Society of Computer and Information
• /
• v.14 no.5
• /
• pp.157-165
• /
• 2009

In this paper, we propose a distributed model that recognize ADLs of human can be occurred in daily living places. We collect and analyze user's environmental, location or activity information by simple sensor attached home devices or utensils. Based on these information, we provide a lifecare services by inferring the user's life pattern and health condition. But in order to provide a lifecare services well-refined activity recognition data are required and without enough inferred information it is very hard to build an ADL activity recognition model for high-level situation awareness. The sequence that generated by sensors are very helpful to infer the activities so we utilize the sequence to analyze an activity pattern and propose a distributed linear time inference algorithm. This algorithm is appropriate to recognize activities in small area like home, office or hospital. For performance evaluation, we test with an open data from MIT Media Lab and the recognition result shows over 75% accuracy.