• Korea Information Processing Society Review
• /
• v.19 no.2
• /
• pp.20-28
• /
• 2012

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.195-198
• /
• 2015

최근 TV 서비스의 가입자 및 TV 프로그램 콘텐츠의 급격한 증가에 따라 빅데이터 처리에 적합한 추천 시스템의 필요성이 증가하고 있다. 본 논문은 사용자들의 간접 평가 데이터 기반의 추천 시스템 디자인 시, 누적된 사용자의 과거 이용내역 데이터를 저장하지 않고 새로 생성된 사용자 이용내역 데이터를 학습하는 효율적인 알고리즘이면서, 시간 흐름에 따라 사용자들의 선호도 변화 및 TV 프로그램 스케줄 변화의 추적이 가능한 토픽 모델링 기반의 알고리즘을 제안한다. 빅데이터 처리를 위해서는 분산처리 형태의 알고리즘을 피할 수 없는데, 기존의 연구들 중 토픽 모델링 기반의 추론 알고리즘의 병렬분산처리 과정 중에 핵심이 되는 부분은 많은 데이터를 여러 대의 기계에 나누어 병렬분산 학습하면서 전역변수 데이터를 동기화하는 부분이다. 그런데, 이러한 전역데이터 동기화 기술에 있어, 여러 대의 컴퓨터를 병렬분산처리하기위한 하둡 기반의 시스템 및 서버-클라이언트간의 중재, 고장 감내 시스템 등을 모두 고려한 알고리즘들이 제안되어 왔으나, 네트워크 대역폭 한계로 인해 데이터 증가에 따른 동기화 시간 지연은 피할 수 없는 부분이다. 이에, 본 논문에서는 빅데이터 처리를 위해 사용자들을 클러스터링하고, 클러스터별 제안 알고리즘으로 전역데이터 동기화를 수행한 것과 지역 데이터를 활용하여 추론 연산한 결과, 클러스터별 지역별 TV프로그램 시청 토큰 별 은닉토픽 할당 테이블을 유지할 때 추천 성능이 더욱 향상되어 나오는 결과를 확인하여, 제안된 구조의 추천 시스템 디자인의 효율성과 합리성을 확인할 수 있었다.

• Proceedings of the Korea Contents Association Conference
• /
• 2015.05a
• /
• pp.297-298
• /
• 2015

빅데이터 처리를 위한 소프트웨어 시스템을 구축하기 위하여 필요한 대표적인 기술 중 하나가 데이터의 수집 및 분석이다. 데이터 수집은 서비스를 제공하기 위한 분석의 기초 작업으로 분석 인프라를 구축하는 작업에 매우 중요하다. 본 논문은 한국어 기반 빅데이터 처리를 위하여 웹과 SNS상의 데이터 수집 어플리케이션 및 저장과 분석을 위한 플랫폼을 제공한다. 해당 플랫폼은 하둡(Hadoop) 기반으로 동작을 하며 비동기적으로 데이터를 수집하고, 수집된 데이터를 하둡에 저장하게 되며, 저장된 데이터를 분석한 후 분석결과에 대한 시각화 결과를 제공한다. 구현된 빅데이터 플랫폼 텍스톰은 데이터 수집 및 분석가를 위한 유용한 시스템이 될 것으로 기대가 된다. 특히 본 논문에서는 모든 구현을 오픈소스 소프트웨어에 기반하여 수행했으며, 웹 환경에서 데이터 수집 및 분석이 가능하도록 구현하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.04a
• /
• pp.440-442
• /
• 2012

데이터를 대량 생산하는 스마트 기기가 대거 등장한 요즘 빅데이터는 대용량 데이터를 분석하여 가치 있는 정보를 추출하고 이 지식을 바탕으로 위기에 대응하거나 변화를 예측하는 정보기술이다. 그러나 아직 빅데이터에 대해 분류하거나 분석하는 기술의 연구가 미비하다. 따라서 본 논문에서는 빅 데이터의 개념, 배경, 분석기술 현황에 대해 분석하고 빅 데이터 유형 분석 및 분석 기술의 향후 전망을 제시한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.05a
• /
• pp.139-141
• /
• 2018

최근 IoT, SNS 등이 확대 되면서 대규모의 빅데이터가 생산되고 있고, 이러한 빅데이터는 AI 등 지능형 기술과 결합하여 다양한 분야의 예측과 의사결정을 지원하며 새로운 가치를 창출하고 있다. 그러나, 이러한 활용에 있어 가장 걸림돌이 되는 것은 빅데이터에 내제되어 있는 개인정보에 대한 위협이다. 본연구에서는 빅데이터에 내제되어 있는 개인정보를 보호하면서도 빅데이터의 효과적인 분석과 활용을 가능하게 할 수 있는 동형암호(homomorphic encryption)을 살펴보고 빅데이터의 프라이버시 강화 방안과 이를 통한 빅데이터의 활용방안에 대해 연구하고 향 후 과제 등에 대해 고찰해 보도록 한다.

• Journal of Digital Contents Society
• /
• v.15 no.4
• /
• pp.533-545
• /
• 2014

According to the evolving of IT technologies, the amount of data we are facing increasing exponentially. Thus, the technique for managing and analyzing these vast data that has emerged is a distributed processing system of big data. A quality evaluation for the existing distributed processing systems has been proceeded by the structured data environment. Thus, if we apply this to the evaluation of distributed processing systems of big data which has to focus on the analysis of the unstructured data, a precise quality assessment cannot be made. Therefore, a study of the quality evaluation model for the distributed processing systems is needed, which considers the environment of the analysis of big data. In this paper, we propose a new quality evaluation model by deriving the quality evaluation elements based on the ISO/IEC9126 which is the international standard on software quality, and defining metrics for validating the elements.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.9 no.7
• /
• pp.791-797
• /
• 2014

In order to create an environment for Apache Hadoop for parallel distributed processing system of Bigdata, by connecting a plurality of computers, or to configure the node, using the configuration of the virtual nodes on a single computer it is necessary to build a cloud fading environment. However, be constructed in practice for education in these systems, there are many constraints in terms of cost and complex system configuration. Therefore, it is possible to be used as training for educational institutions and beginners in the field of Bigdata processing, development of learning systems and inexpensive practical is urgent. Based on the Raspberry Pi board, training and analysis of Big data processing, such as Hadoop and NoSQL is now the design and implementation of a learning system of parallel distributed processing of possible Bigdata in this study. It is expected that Bigdata parallel distributed processing system that has been implemented, and be a useful system for beginners who want to start a Bigdata and education.

• Journal of Digital Convergence
• /
• v.12 no.12
• /
• pp.87-92
• /
• 2014

We have noted a possibility of big data as a solution of social problem and pending issue. At the same time big data has a problem of privacy. Big data and privacy were in conflict. In this paper we pointed out that issue and propose a planning of big data based on privacy using case study of advanced country.

• Journal of Digital Convergence
• /
• v.12 no.8
• /
• pp.351-359
• /
• 2014

The log data generated by security equipment have been synthetically analyzed on the ESM(Enterprise Security Management) base so far, but due to its limitations of the capacity and processing performance, it is not suited for big data processing. Therefore the another way of technology on the big data platform is necessary. Big Data platform can achieve a large amount of data collection, storage, processing, retrieval, analysis, and visualization by using Hadoop Ecosystem. Currently ESM technology has developed in the way of SIEM (Security Information & Event Management) technology, and to implement security technology in SIEM way, Big Data platform technology is essential that can handle large log data which occurs in the current security devices. In this paper, we have a big data platform Hadoop Ecosystem technology for analyzing the security log for sure how to implement the system model is studied.

• Annual Conference on Human and Language Technology
• /
• 2013.10a
• /
• pp.126-128
• /
• 2013

빅데이터(Big Data)는 현재 생산되고 있는 데이터 중 그 규모가 방대하고, 생성 주기가 짧으며, 수치 데이터 뿐 아니라 텍스트 이외의 멀티미디어 등 비정형화된 데이터를 포함하는 대규모 데이터를 말한다. 빅데이터를 처리하여 가치 있는 정보를 추출하는 방법에 관한 연구가 활발하게 진행되고 있으며, 이를 바탕으로 빅데이터가 다양한 분야에서 활용되고 있다. 현재 국내 주식시장에서도 빅데이터를 이용하여 기업의 투자에 활용하고 있다. 이 논문에서는 인터넷의 증권과 관련된 뉴스를 수집하여 수집된 뉴스와 주가 지수를 이용하여 기업 뉴스 평가 시스템을 개발하는 방법을 제안한다.