• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06a
• /
• pp.212-214
• /
• 2012

데이터 집약적인 대부분의 애플리케이션들은 규칙적인 메모리 접근 패턴과 동시에 불규칙적인 접근 패턴을 커널 코드에 포함하고 있다. 그 동안 대부분의 메모리 접근 패턴 최적화 기법은 규칙적인 패턴에 집중되어 있었다. 하지만 암호화/통신 관련 애플리케이션에서는 불규칙한 패턴으로 메모리 접근의 대부분을 구성하는 경우가 많다. 이러한 불규칙한 메모리 접근 패턴을 대상으로 온칩메모리를 효율적으로 사용하도록 최적화 기법을 일반화하여 설계하는 일은 어려운 작업이기 때문에 관련 연구분야에 큰 진전이 없는 실정이다. 우리는 불규칙 메모리 접근 패턴 최적화 문제를 해결하기 위하여 데이터 클러스터링 기법을 제안하였다. 클러스터링은 접근되는 데이터의 시공간 지역성을 계산하여 이득이 큰 데이터들을 하나의 블록으로 구성하여 온칩메모리에 상주시키는 기본단위로 사용하는 기법이다. 본 기법을 이용하면 기존의 캐시메모리에 비하여 약 19% 에너지 소모를 절감할 수 있다.

• Proceedings of the Korea Inteligent Information System Society Conference
• /
• 2000.04a
• /
• pp.283-291
• /
• 2000

인터넷 서비스 제공자들이 관심을 가지고 있는 것 중 하나는 인터넷 사용자들의 서비스 이용 패턴과 경향을 분석하는 것이다. 이를 통해 매출 증대와 실제 경영에 도움이 되는 사용자의 특성을 이해할 수 있기 때문이다. 이와 관련된 기본적인 접근방법은 사용자가 웹 서버에 접근했을 때 서버에 남는 웹 로그를 분석하여 사용자 패턴을 분석하는 것이다. 웹 로그 분석에 전형저인 통계기법이 사용되고 있다. 그러나 단순 통계 기법만으로는 알려지지 않는 데이터들 사이에 숨겨진 유용한 정보를 찾는 데에는 한계가 있다. 최근에는 이러한 한계를 극복하기 위해 데이터 마이닝 기술을 이용한 새로운 접근 방법이 시도되고 있다. 그러나 실제로 웹 로그에서부터 데이터 마이닝 기술을 이용하는 데에는 전처리 과정의 어려움과 실제 유용한 패턴을 어떻게 정의하는 가가 어려운 문제이다. 본 연구에서는 로(raw) 데이터인 웹 로그에서 유용한 패턴을 찾기 위한 전처리 과정을 알아보고, 웹 마이닝 시스템에 적합한 트랜잭션의 데이터 구조를 제시한다. 그리고 정의된 데이터 구조를 통한 패턴 발견 과정인 웹 사이트의 개념계층을 이용한 통계 기법과 연관규칙(Association Rules) 탐사에 대해 알아본다. 마지막으로 정의된 데이터 구조를 통한 새로운 유용한 패턴을 정의한ㄷ.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10b
• /
• pp.130-132
• /
• 2003

현재 세계 각국에서 많은 메타데이터 레지스트리들이 구축되어 왔다 그러나 메타데이터 레지스트리가 국제 표준(ISO/IEC 11179)임에도 불구하고 일관성 있는 표준 접근 인터페이스를 제공하지 않음으로써 각각 다른 연산으로 구현되었다. 이는 각각의 메타데이터 레지스트리 구축시 동일한 연산 패턴의 중복된 구현으로 인한 불필요한 비용을 야기한다. 국제 표준인 메타데이터 레지스트리에 대한 접근시 시스템 마다 동일한 연산 패턴을 지니게 된다. 이 논문에서는 이와 같이 메타데이터 레지스트리에서 공통적으로 사용되는 연산 패턴을 분석하고 정의한다. 또한 분석된 연산 패턴을 이용하여 표준 SQL을 확장한 SQL/MDR을 정의하고 설계한다. 설계된 SOL/MDR은 메타데이터 레지스트리 관리 시스템 개발에 표준 접근 방법을 제공한다. 또한 이는 개별적인 개발로 인한 추가적인 노력을 감소시키고 메타데이터 레지스트리에 대한 보다 일관성 있는 접근을 가능하게 한다.

• Proceedings of the Korea Contents Association Conference
• /
• 2013.05a
• /
• pp.11-12
• /
• 2013

최근 대규모 데이터의 처리와 관리를 위한 분산 저장 및 처리 시스템의 연구 및 활용이 중요해지고 있다. 대표적인 분산 저장 및 처리시스템으로써 하둡(Hadoop)이 널리 활용되고 있다. 하둡 분산 파일 시스템을 기반으로 수행되는 맵-리듀스에서 테스크 할당은 데이터의 로컬리티를 고려하여 최대한 가깝게 할당한다. 하지만 맵-리듀스에서의 데이터 분석 작업에서 작업 형태에 따라 빈번하게 요청되는 데이터가 존재한다. 이러한 경우, 해당 데이터의 낮은 로컬리티로 인해 수행시간 증가 및 데이터 전송의 지연의 문제점을 야기 시킨다. 본 논문에서는 맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법을 제안한다. 제안하는 기법에서는 데이터 접근 패턴에 따라 높은 접근 빈도를 보이는 핫-데이터에 대한 복제본 최적화 알고리즘을 활용하여 데이터 로컬리티를 향상시키고 결과적으로 작업 수행시간을 감소시킨다. 제안하는 기법은 기존 기법에 비해 모든 노드의 데이터 이동이 감소하여 접근빈도의 분포가 균형적인 것을 확인하였다. 성능평가 결과, 기존 기법에 비해 접근 빈도의 부하가 약 8% 감소하는 것을 확인하였다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 1998.04a
• /
• pp.71.1-75
• /
• 1998

NOD 데이터는 VOD 데이터에 비해서 life cycle이 짧다. 그리고 사용자의 접근성이 높으며, 접근패턴도 시간에 따라 달라질 수 있다. VOD 데이터와 같이 NOD 뉴스기사의 경우 특정 기사들에 집중적으로 접근된다. 그리고 이러한 인기 있는 기사들은 시간대에 따라 변할 수 있다. 본 논문에서는 이러한 인기도의 변화를 예측하기 위해서 시계열분석방법중의 하나인 지수평활법(exponenital smoothing method)을 사용한다. 시간대별 타임윈도우로 나누고 이전의 윈도우들의 접근패턴을 분석하여 다음 접근을 예측한다. 그리고 이 예측값을 이용해서 캐시정책을 새운다. 즉 예측값이 높은 기사순으로 캐시에 배치하는 것이다. 실시간 멀티미디어데이터의 경우 데이터의 방대함으로 연산의 오버헤드가 크다. 따라서 정적인 캐싱전략을 사용하는데, 하나의 윈도우동안 재배치하는 한번으로 한다는 것이다. 전통적인 block 단위 캐싱은 멀티미디어데이터에 적합하지 않다. 따라서 기사단위의 캐시구조를 제안한다. 사용자는 기사단위로 요청을 하기 때문에 재사용을 위해서는 기사단위로 캐시되야 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.04a
• /
• pp.325-328
• /
• 2001

본 논문에서는 웹 사이트에 접근하는 이용자의 패턴을 분석하여 정보 제공이 보다 용이한 구조로 자동 개선시켜 나가는 적응형 웹 사이트의 구현 방안을 제시한다. 특히, 본 연구에서는 기존 웹 사이트의 구조를 가능한 파괴하지 않는 범위 내에서 웹 사이트론 변경하고자 이용자의 접근 패턴상 연관성은 높으나 접근 경로가 긴 문서들을 추출하여 색인 페이지를 추가 생성한다. 이를 위하여, 먼저 대용량의 웹 서버 로그 데이터를 대상으로 하이퍼 링크 구조에 따라 필터링된 최후 전진 문서만을 가지고 데이터 시퀀스를 구성한다. 이러한 데이터 시퀀스에 새로운 순차 접근 패턴 탐색 알고리즘인 TPA를 적용함으로써 웹 문서간 충분한 지지도를 갖는 연관성 있는 문서들의 시퀀스를 구한다. 이와같은 빈발 시퀀스들에 대한 색인 페이지를 추가로 생성시켜주는 서비스를 통하여 이용자들의 효과적인 정보 접근을 지원할 수 있는 웹 사이트로의 변경이 가능하다.

• Proceedings of the Korea Inteligent Information System Society Conference
• /
• 2000.11a
• /
• pp.151-157
• /
• 2000

본 논문에서는 웹사이트에 접근하는 사용자 접근 패턴을 학습하여 정보 제공이 보다 용이한 구조로 자동 개선시켜 나가는 적응형 웹사이트를 구축하고자 한다. 즉, 기존 웹사이트의 구조를 가늠한 한 파괴하지 않는 범위 내에서 김 사이트를 변경하고자 관련성은 높으나 접근 경로가 긴 문서들의 클러스터를 찾아내고, 이들에 대한 별도의 색인 페이지를 생성하여 웹사이트 내에 위치시킨다. 이를 위하여, 먼저 대용량의 웹 서버 로그 데이터들을 대상으로 순차 패턴 탐색 방법인 AprioriAll 알고리즘을 적용함으로써 웹문서간의 충분한 연관성 지지도를 갖는 사용자 순차 접근 패턴을 분석해낸다. 사용자 순차 접근 패턴 분석을 통해 관련성 있는 문서들의 집합을 알아낸 후, 웹사이트의 하이퍼 링크 구조 정보를 고려하여 접근 경로가 긴 문서들만을 골라 웹 문서 클러스터를 생성시킨다. 이러한 웹문서 클러스터들에 대한 색인 페이지를 추가 생성하여 제공함으로써 사용자들의 보다 효과적인 정보 접근을 지원한 수 있는 웹사이트로의 변경이 가능하다.

• The Journal of the Korea Contents Association
• /
• v.13 no.11
• /
• pp.21-27
• /
• 2013

In recently years, with the growth of social media and the development of mobile devices, the data have been significantly increased. Hadoop has been widely utilized as a typical distributed storage and processing framework. The tasks in Mapreduce based on the Hadoop distributed file system are allocated to the map as close as possible by considering the data locality. However, there are data being requested frequently according to the data analysis tasks of Mapreduce. In this paper, we propose a hot-data replication mechanism to improve the processing speed of Mapreduce according to data access patterns. The proposed scheme reduces the task processing time and improves the data locality using the replica optimization algorithm on the high access frequency of hot data. It is shown through performance evaluation that the proposed scheme outperforms the existing scheme in terms of the load of access frequency.

• Proceedings of the Korea Contents Association Conference
• /
• 2017.05a
• /
• pp.19-20
• /
• 2017

최근 소셜 미디어와 센서 장비의 기술의 발달로 그래프 데이터의 양이 급격히 증가 하였다. 그래프 데이터의 처리 과정에서 I/O 비용이 발생하여 데이터가 많아지면 병목현상으로 인해 데이터의 처리와 관리에 있어 성능에 한계가 발생한다. 이러한 문제를 해결하기 위해 데이터를 메모리에서 관리하는 캐시 기법에 대한 연구가 이루어 졌다. 본 논문에서는 서브그래프 데이터의 접근 패턴을 고려한 캐싱 기법을 제안한다. 그래프 환경에서 그래프 질의 이력을 통해 패턴을 찾고 질의 관리 테이블과 FP(frequent pattern)-Tree 통해 선별된 데이터를 메모리에 적재시킨다. 또한, 캐시 실패(cache miss)가 발생 하였을 때, 주변의 이웃 정점을 같이 메모리에 적재시킨다. 메모리가 가득 찰 경우 캐시 된 데이터를 퇴출시키는 교체 전략을 제안한다.

• Proceedings of the KIEE Conference
• /
• 2000.11d
• /
• pp.836-838
• /
• 2000

전자상거래에서 쇼핑몰의 개인화된 서비스를 제공하기 위해서는 소비자의 구매 패턴을 분석하는 것이 필요하다. 이러한 패턴을 효과적으로 분석하기 위해 웹사이트 상에서 사용자 행동 패턴 정보를 수집해야 한다. 본 논문에서는 사용자 패턴 수집 시스템으로 쇼핑몰 서버에 기능을 추가하고 지능형 웹로그 서버를 정의하며 이를 설계, 구현하였다. 전자상거래 쇼핑몰 서버에는 사용자 행위 정보를 로그에 포함시켜 지능형 웹로그 서버에 전송하는 기능을 추가하였다. 그리고 지능형 웹로그 서버는 쇼핑몰 서버로부터 받은 로그 데이터를 분석하고 데이터베이스화하여 저장한다. 이때 데이터베이스 저장 기술로 OLE DB Provider상에서 수행되는 ADO기술을 사용한다. 그리고 저장된 데이터베이스를 레코드셋 단위로 원격에서 제어 가능하게 한다. 또 생성된 데이터베이스에서 필요한 데이터를 선별하여 XML DB로 저장한다. 이와 같은 사용자 패턴 수집 시스템은 데이터베이스 접근 속도가 빠르고, 관계형이나 비관계형 둘 다의 데이터베이스 접근이 가능하다는 장정을 가지며, 원격 데이터 베이스 접근 시 서버의 부하를 줄일 수 있다는 장점이 있다.