• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.195-198
• /
• 2015

최근 TV 서비스의 가입자 및 TV 프로그램 콘텐츠의 급격한 증가에 따라 빅데이터 처리에 적합한 추천 시스템의 필요성이 증가하고 있다. 본 논문은 사용자들의 간접 평가 데이터 기반의 추천 시스템 디자인 시, 누적된 사용자의 과거 이용내역 데이터를 저장하지 않고 새로 생성된 사용자 이용내역 데이터를 학습하는 효율적인 알고리즘이면서, 시간 흐름에 따라 사용자들의 선호도 변화 및 TV 프로그램 스케줄 변화의 추적이 가능한 토픽 모델링 기반의 알고리즘을 제안한다. 빅데이터 처리를 위해서는 분산처리 형태의 알고리즘을 피할 수 없는데, 기존의 연구들 중 토픽 모델링 기반의 추론 알고리즘의 병렬분산처리 과정 중에 핵심이 되는 부분은 많은 데이터를 여러 대의 기계에 나누어 병렬분산 학습하면서 전역변수 데이터를 동기화하는 부분이다. 그런데, 이러한 전역데이터 동기화 기술에 있어, 여러 대의 컴퓨터를 병렬분산처리하기위한 하둡 기반의 시스템 및 서버-클라이언트간의 중재, 고장 감내 시스템 등을 모두 고려한 알고리즘들이 제안되어 왔으나, 네트워크 대역폭 한계로 인해 데이터 증가에 따른 동기화 시간 지연은 피할 수 없는 부분이다. 이에, 본 논문에서는 빅데이터 처리를 위해 사용자들을 클러스터링하고, 클러스터별 제안 알고리즘으로 전역데이터 동기화를 수행한 것과 지역 데이터를 활용하여 추론 연산한 결과, 클러스터별 지역별 TV프로그램 시청 토큰 별 은닉토픽 할당 테이블을 유지할 때 추천 성능이 더욱 향상되어 나오는 결과를 확인하여, 제안된 구조의 추천 시스템 디자인의 효율성과 합리성을 확인할 수 있었다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2015.05a
• /
• pp.633-633
• /
• 2015

재해의 발생 빈도 증가와 불규칙성, 대형화 추세에 따른 SOC 시설물 피해가 증가함에 따라 유관 기관의 재난/재해 정보 수집은 지속적으로 이루어지고 있다. 그러나 각 기관별로 자료가 분산 관리됨에 따라 선제적 재해대응 체계는 갖추어지지 못하고 있는 실정이다. 이에, 예방적 유지관리체계 구현을 위한 분산정보 공유형 재해대응 인벤토리를 구축하고자 한다. 본 인벤토리는 3차원 공간정보를 기반으로 분산 관리되고 있는 재난/재해 관련 정보를 수집하고 이렇게 수집된 데이터들의 통합적 관리를 위해 데이터 표준화를 거쳐 선제적 재해 대응의 원천 데이터로 활용될 수 있다. 본 연구에서는 인벤토리 관리/연계 모듈의 설계 방안을 마련하고자 국내외 인벤토리 관련 시스템 현황조사를 진행하고 관리 및 연계 대상 데이터의 항목을 선정하고 내용을 분류하였다. 또한, 시스템 요구사항을 수집하고 정의하고 관리/연계 모듈의 세부기능 정의를 하였다. 뿐만아니라, 프로토타입 개발을 위해 서비스 제공 형태와 데이터 제공 방식을 결정하였다. 본 연구에서 개발하고 있는 프로토타입은 Web Service 기반의 REST 방식으로 데이터를 제공할 것이며, 3차원 공간 정보를 기반으로 하고 있다. 본 연구에서는 프로토타입 개발을 위해 기본 주재도를 제작하고 연구 지역의 시설물 정보를 구축하였다. 분산정보 공유형 재해대응 인벤토리 시스템은 분산 관리되고 있는 재난/재해 정보들을 자료 송/수신 모듈을 통하여 수집하고 데이터 필터링 모듈에서 수집된 자료의 표준화와 품질측정을 진행하여 데이터의 신뢰도를 향상 시킬 것이다. 또한, 데이터 관리 모듈을 이용하여 공간정보 데이터를 검증하고 최적화 관리를 할 수 있도록 하며, 시스템 관리 모듈에서 유관기관에서 유입되는 자료들을 관리하고자 한다. 이렇게 구축된 인벤토리 시스템은 선제적 재해대응 의사결정의 원천 데이터를 제공하고 SOC 시설물의 유지관리에 활용될 수 있을 것으로 판단된다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2012.05a
• /
• pp.50-52
• /
• 2012

클라우드 컴퓨팅 환경에서는 사용자의 데이터를 수많은 분산서버를 이용하여 데이터를 저장한다. 클라우드 컴퓨팅 환경에서는 사용자의 데이터 보호를 위해 데이터를 암호화하여 저장한다. 개인이 아닌 그룹 내에서 공동으로 사용하는 시스템의 경우 그룹 내 사용자 모두 데이터를 서비스 받기 위해 공동의 그룹키를 사용하여 데이터를 암호화 하게 된다. 추후에 그룹 내의 기존 사용자가 그룹을 탈퇴할 경우 그 사용자가 접근 가능했던 데이터가 탈퇴한 그룹원에 의해 노출되게 된다. 이를 방지하기 위해 탈퇴한 멤버에 의한 데이터 유출을 막기 위해서 새로운 그룹키를 갱신하여 모든 데이터를 다시 암호화해야 한다. 하지만 이 과정에서 대용량 데이터의 암복호화 과정에서 막대한 오버헤드가 발생하게 된다. 이러한 문제점을 해결하기 위해 본 논문에서는 이러한 그룹 멤버의 가입과 탈퇴에 독립적인 그룹키 관리 방식을 제안한다. 또한 분산서버로부터 데이터를 수집할 시 분산서버의 서명과 데이터의 암호화가 동시에 이루어지는 사인크립션 기법을 적용하여 보다 원활한 데이터 조각을 모을 수 있는 기법을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06c
• /
• pp.163-165
• /
• 2012

본 논문은 대용량 데이터를 분할하여 병렬 처리하는 경우 데이터간의 의존성성에 의해 발생할 수 있는 문제점을 회피하거나 극복하기 위한 방법에 대한 연구이다. 의존성 문제를 해소하기 위한 병렬 분산 처리 시스템을 개발하여, 대용량 파일 처리의 효율을 높이고자 한다. 분산처리의 성능 평가를 위하여 동영상 파일의 분산 저장 및 재인코딩 시간을 측정하여 성능의 지표로 활용한다.

• Journal of Digital Convergence
• /
• v.12 no.6
• /
• pp.311-316
• /
• 2014

Social network server due to the popularity of smart phones, and data stored in a big usable access data services are increasing. Big Data Big Data processing technology is one of the most important technologies in the service, but a solution to this minor security state. In this paper, the data services provided by the big -sized data is distributed using a double hash user to easily access to data of multiple distributed hash chain based data processing technique is proposed. The proposed method is a kind of big data data, a function, characteristics of the hash chain tied to a high-throughput data are supported. Further, the token and the data node to an eavesdropper that occurs when the security vulnerability to the data attribute information to the connection information by utilizing hash chain of big data access control in a distributed processing.

• Journal of KIISE
• /
• v.41 no.12
• /
• pp.1126-1135
• /
• 2014

In recent years, RDF partitioning schemes have been studied for the effective distributed storage and management of large-scale RDF data. In this paper, we propose an RDF dynamic partitioning scheme to support load balancing in dynamic environments where the RDF data is continuously inserted and updated. The proposed scheme creates clusters and sub-clusters according to the frequency of the RDF data used by queries to set graph partitioning criteria. We partition the created clusters and sub-clusters by considering the workloads and data sizes for the servers. Therefore, we resolve the data concentration of a specific server, resulting from the continuous insertion and update of the RDF data, in such a way that the load is distributed among servers in dynamic environments. It is shown through performance evaluation that the proposed scheme significantly improves the query processing time over the existing scheme.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04b
• /
• pp.559-561
• /
• 2002

네트워크로 연결된 컴퓨터 기술은 컴퓨터의 향상된 처리 능력과 컴퓨터 통신기술과 결합하여 자원을 보다 유용하게 이용하는 분산처리 기법이 발단하게 되었다. 이러한 분산 시스템은 단일 컴퓨터 시스템에서 시스템에 미치는 영향을 적게 함으로서 신뢰도를 높일 수 있고 저렴한 비용으로 더 큰 성능을 얻을 수 있다. 본 연구에서는 실시간으로 생성되는 패킷 데이터를 효율적으로 처리하고 분석하는데 있어서 분산 시스템을 이용하여 해결 하고자 한다. 사용자 행동으로부터 생성되는 패킷을 IP별로 분리하여 각각의 분산된 시스템에서 처리하고 이렇게 처리된 데이터를 관리자가 모니터링 할 수 있도록 부하균형을 이룬 패킷 마이닝 분산 시스템을 제안하고자 한다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 1998.04a
• /
• pp.256-261
• /
• 1998

다중 데이터베이스 시스템은 분산되어 있고 이질적이며 자치적인 데이터베이스 시스템들의 연합이다. 다중 데이터베이스의 환경에서는 공간적으로 데이터들이 분산되어 있고, 자료의 특성에 따라 서로 다른 데이터 모델에 의해 데이터베이스가 구축되어 있으며, 독자적으로 각각의 데이터베이스 시스템에 의해 관리되고 있다. 이러한 환경하에서는 정보를 효율적이고 종합적으로 관리하고 공유할 필요가 있으며, 이에 따라 사용자 관점의 논리적인 통합이 이루어 질 수 있을 것이다. 이러한 논리적인 통합을 위해 분산된 그리고 자치적이며 이질의 데이터베이스를 통합하기 위한 통합 데이터 모델이 요구되며, 이러한 통합 데이터 모델에 의해 완전하고 일치된 정보 모델이 제공될 것이다. 본 연구에서는 객체-관계형 데이터 모델을 토대로 하여 분산·이질·자치적인 데이터베이스들을 효율적이고 종합적으로 통합하기 위한 효과적인 방안에 대하여 연구하였다.

• The KIPS Transactions:PartA
• /
• v.18A no.4
• /
• pp.123-128
• /
• 2011

As the global grid has grown in size, large-scale distributed data analysis schemes have gained momentum. Over the last few years, a number of methods have been introduced for allocating data intensive tasks across distributed and heterogeneous computing platforms. However, these approaches have a limited potential for scaling up computing nodes so that they can serve more tasks simultaneously. This paper tackles the scalability and communication delay for computing nodes. We propose a distributed data node for storing and allocating the data. This paper also provides data provisioning method based on the steady states for minimizing the communication delay between the data source and the computing nodes. The experimental results show that scalability and communication delay can be achieved in our system.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.11b
• /
• pp.565-568
• /
• 2002

클라이언트로부터 전송되는 멀티미디어 데이터를 실시간으로 서버에서 분석하여 처리하는 시스템의 경우에는 입력되는 데이터의 양에 비례하여 서버의 부담은 증가하게 된다. 이때 서버에서는 데이터의 병목현상이 발생하게 되고, 이는 바로 전체적인 시스템의 성능을 저하시키는 결과를 초래하게 된다. 본 논문에서는 데이터 처리의 병목현상을 해결하여 시스템의 성능을 높일 뿐만 아니라, 인터넷상의 유휴 서버들을 활용할 수 있게 하기 위한 방안으로 분산처리 기술을 이용한 전처리 작업 시스템과 그 성능을 향상시키기 위한 분산 객체 활성화 시스템을 제안한다.