• 디지털산업정보학회논문지
• /
• 제16권2호
• /
• pp.11-25
• /
• 2020

This study proposes a method to manipulate fragmentation of disks by arbitrarily allocating and releasing the status of a disk cluster in the NTFS file system. This method allows experiments to be performed in several studies related to fragmentation problems on disk cluster. Typical applicable research examples include testing the performance of disk defragmentation tools according to the state of fragmentation, establishing an experimental environment for fragmented file carving methods for digital forensics, setting up cluster fragmentation for testing the robustness of data hiding methods within directory indexes, and testing the file system's disk allocation methods according to the various version of Windows. This method suggests how a single file occupies a cluster and presents an algorithm with a flowchart. It raises three tricky problems to solve the method, and we propose solutions to the problems. Experiments for allocating the disk cluster to be fragmented to the maximum extent possible, it then performs a disk defragmentation experiment to prove the proposed method is effective.

• 한국정보과학회논문지:데이타베이스
• /
• 제31권2호
• /
• pp.108-121
• /
• 2004

본 논문에서는 대용량 스토리지를 공유하는 스토리지 클러스터 시스템에서 스냅샷 생성 이후 발생하는 쓰기 연산의 성능 저하를 해결하는 매핑 테이블 기반의 스냅샷 기법을 제안한다. 대용량 공유 스토리지 클러스터 시스템의 스냅샷 기법은 몇 가지 심각한 성능상의 문제점을 갖는다. 첫째 스냅샷 생성 시 스냅샷 매핑 테이블을 복사하는 기간동안 대상 저장 장치에 대해 모든 호스트의 접근 및 서비스가 중지된다. 둘째 스냅샷 시점의 데이타의 유지를 위해 수행되는 Copy-on-Write(COW) 이후에 발생하는 데이타 블록의 변경은 COW의 수행 여부의 판단을 위해 스냅샷 매핑 블록에 대한 추가적인 디스크 I/O의 요구로 쓰기 연산의 성능이 저하된다. 셋째 스냅샷 삭제 수행 시에도 COW가 수행되었는지 판단하기 위한 매핑 블럭에 대한 추가적인 디스크 I/O가 요구되어 동시 수행되는 I/O 연산의 성능 저하를 가져온다. 제안한 스냅샷 기법에서는 최초 할당 비트(FAB: First Allocation Bit)와 스냅샷 상태 비트(SSB: Snapshot Stautus Bit)를 매핑 엔트리에 도입하여 기존 스냅샷 기법이 갖는 문제점들을 해결하였다. 스냅 샷 생성시 대상 저장 장치에 대한 I/O의 중단 없이 데이타의 일관성을 보장한다. 또한 쓰기 연산 수행 시 COW의 수행 여부 판단을 원본 매핑 엔트리의 FAB와 SSB를 이용하여 스냅샷 매핑 블록에 대한 추가적인 I/O를 없앤다. 동일한 방법으로 삭제 시의 COW 수행 여부 판단을 처리하여 성능을 향상시킨다. 원본 매핑 엔트리의 SSB를 통해 할당을 해제하는 방식으로 성능을 향상시키는 스냅샷 수행 기법에 대해 설계하고 구현한다.

• Journal of Information Processing Systems
• /
• 제14권1호
• /
• pp.140-149
• /
• 2018

Social data such as users' comments are unstructured in nature and up-to-date technologies for analyzing such data are constrained by the available storage space and processing time when fast storing and processing is required. On the other hand, it is even difficult in using a huge amount of dynamically generated social data to analyze the user features in a high speed. To solve this problem, we design and implement a topic association analysis system based on the latent Dirichlet allocation (LDA) model. The LDA does not require the training process and thus can analyze the social users' hourly interests on different topics in an easy way. The proposed system is constructed based on the Spark framework that is located on top of Hadoop cluster. It is advantageous of high-speed processing owing to that minimized access to hard disk is required and all the intermediately generated data are processed in the main memory. In the performance evaluation, it requires about 5 hours to analyze the topics for about 1 TB test social data (SNS comments). Moreover, through analyzing the association among topics, we can track the hourly change of social users' interests on different topics.

• 한국정보과학회논문지:시스템및이론
• /
• 제30권1호
• /
• pp.33-49
• /
• 2003

인터넷의 확산으로 대용량 멀티미디어 데이타에 대한 요구가 증가하고 있으며 이를 효율적으로 관리하기 위한 스토리지에 대찬 연구가 진행되고 있다. 기하급수적으로 늘어나는 스토리지에 대한 요구를 해결하기 위해서 제시된 방법중의 하나가 공유디스크 환경을 제공하는 SAN(Storage Area Network)이다. SAN은 fibre channel이라는 고속 전송망을 이용해서 고속의 저장장치를 위한 네트워크를 구성한 것이다. 하지만 저장장치 네트워크의 구성만으로는 스토리지에 대한 요구는 해결하였지만 이를 사용자에게 제공하기 위한 공유디스크 환경에서의 파일시스템에 대한 연구는 미진하다. 특히 기존에 제시된 로컬 파일 시스템, 분산 파일시스템에서는 공유디스크환경에 적합하지 않으며 대용량 스토리지에 적합한 메타 데이터 구조 측면에서의 설계는 부족한 실정이다. 이를 해결하기 위해 본 논문에서는 공유디스크 환경에 적합한 메타 데이타 구조를 설계 및 구현하여 대용량 스토리지에 적합한 공유디스크 파일 시스템을 제시한다. 구현한 공유디스크 파일시스템은 SAN fabric에 참여하는 호스트들 사이의 균형적인 할당 블록을 주기 위한 파일시스템 레이아웃과 비트맵 관리기법, 대용량 파일을 위한 효율적인 익스텐트 기반의 SEMI FLAT구조를 제안하였으면, 대용량의 디렉토리를 사용할 수 있게 확장해싱을 이용한 2단계 디랙토리 관리 구조를 설계 및 구현하였다. 또한 리눅스 커널 상에서 제시한 메타 데이타 구조에 대한 구현에 필요한 구조 정보와 알고리즘을 제시하였으며. 성능의 우수성을 보이기 위해 리눅스 환경의 대표적인 파일 시스템인 EXT2, 공유디스크 환경의 GFS와의 성능을 파일 생성, 디렉토리 생성, I/O횟수 측면에서 비교하였다.