• 제목/요약/키워드: in-memory file system

검색결과 241건 처리시간 0.025초

감성분석을 위한 병렬적 HDFS와 맵리듀스 함수 (A Parallel HDFS and MapReduce Functions for Emotion Analysis)

  • 백봉현;류윤규
    • 한국정보컨버전스학회논문지
    • /
    • 제7권2호
    • /
    • pp.49-57
    • /
    • 2014
  • 최근 대량의 SNS(Social Network Service) 데이터로부터 유용한 정보를 추출하고 사용자의 진의 정보를 평가하기 위한 오피니언 마이닝(opinion mning)이 소개되고 있다. 오피니언 마이닝은 대량의 SNS 데이터로부터 빠른 기간 내에 데이터를 수집하고 분석하여 목적에 적합한 정보를 추출하는 효율적인 기법이 필요하다. SNS에서 발생되는 다양한 비정형 데이터로부터 감성정보를 추출하기 위해, 본 논문에서는 하둡(Hadoop) 시스템 기반의 병렬적 HDFS(Hadoop Distributed File System)와 맵리듀스(MapReduce) 기반 감성분석 함수를 제안한다. 실험결과로 제안한 시스템과 함수는 데이터 수집과 적재시간에 대해 O(n)보다 빠르게 처리하며, 메모리와 CPU 자원에 대해 안정적인 부하분산이 이루어지는 것을 확인하였다.

  • PDF

플래시 메모리 기반 파일 시스템에서 병합동작을 이용한 조각 모음 기법 (De-fragmentation Scheme Exploiting Merge Operation in Flash Memory-based File System)

  • 현철승;이동희
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (B)
    • /
    • pp.377-380
    • /
    • 2007
  • 플래시 메모리는 무게, 내구성, 전력 소비량 측면에서 기존 디스크보다 우수하기 때문에 주로 휴대용 기기의 저장장치로 사용되었다. 최근에는 집적도가 향상되면서 SSD(Solid State Disk)형태로 노트북에서도 활용되고 있다. 이러한 플래시 메모리는 제자리 갱신이 불가능한 특징 때문에 저장장치로 사용하기 위해서는 FTL(Flash Memory Translation Layer)이라는 주소사상 소프트웨어가 필요하다. 그리고 FTL은 블록을 재활용하기 위해 병합 연산을 수행하게 되는데 이 병합 연산의 비용이 시스템 성능에 큰 영향을 미친다. 아울러 FTL 상에서 동작하는 파일 시스템의 경우도 디스크 기반 파일 시스템과 같이 단편화 문제로 인한 성능 저하가 발생하게 된다. 본 논문에서는 플래시 메모리 기반 파일 시스템에서 단편화 현상을 줄이기 위해 FTL의 병합동작의 특성을 활용한 조각 모음 기법을 제안한다. 실험결과는 제안한 기법이 결국 FTL에서 병합 연산의 비용을 줄임으로써 성능을 향상시킬 수 있음을 보여준다.

  • PDF

플래시 메모리를 위한 효율적인 선반입과 비동기 쓰기 기법 (Efficient Prefetching and Asynchronous Writing for Flash Memory)

  • 박광희;김덕환
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권2호
    • /
    • pp.77-88
    • /
    • 2009
  • 휴대용 저장장치로 각광 받고 있는 NAND 플래시 메모리의 용량이 커지면서 기존의 파일시스템과 플래시 메모리 컨트롤러 간의 중간 매개체 역할을 해주는 FTL(Flash Translation Layer)의 주소 변환 및 수명 관리 기법이 점차 중요해지고 있다. 본 논문에서는 연속적인 논리 주소 요청이 물리 주소가 인접한 경우의 값을 기록하는 연속성 카운터를 제안하여 주소 변환 횟수를 감소 시켰으며 이와 함께 자주 쓰이는 주소의 페이지들을 미리 주 메모리에 선반입하여 플래시 메모리의 입출력 성능을 향상시켰다. 또한 쓰기 빈도가 높은 주소를 예측하고 잦은 쓰기를 방지하기 위해 2비트 쓰기 예측과 비동기 쓰기 기법을 제시하여 쓰기 성능과 플래시 메모리의 수명을 향상 시켰다. 실험 결과 본 논문에서 제안하는 CFTL(Clustered Flash Translation Layer)이 기존 FTL들보다 주소 변환 성능이 최대 20%, 쓰기 시간을 최대 50% 이상 감소시켰다.

WINDOWS CE 기반 VGA 카메라 모듈의 영상 획득과 저장을 위한 디바이스 드라이버 개발 (Development of Device Driver for Image Capture and Storage by Using VGA Camera Module Based on Windows CE)

  • 김승환;함운철;이정환;이주연
    • 전자공학회논문지SC
    • /
    • 제44권4호통권316호
    • /
    • pp.27-34
    • /
    • 2007
  • 본 논문에서는 마이크로소프트사의 Windows CE 운영체제를 기반으로 한 소형의 모바일 시스템의 카메라 영상 획득을 위한 디바이스 드라이버에 관하여 살펴본다. 또한 NAND 플래시 메모리에 획득된 이미지를 저장하기 위하여 FAT 파일 시스템을 사용하였으며 NAND 메모리 특성을 반영한 FAT 파일 시스템에 대하여 다루어 본다. 영상획득을 위하여서 픽셀플러스사의 CMOS 카메라 모듈과 아지시스템에서 개발한 MBA2440 PDA 개발보드를 이용하여 하드웨어를 구현하였다. 이 카메라 모쥴은 VGA $640{\times}480$ 픽셀의 해상도를 지니고 있으며, 영상획득 속도 및 영상의 화질을 테스트하기 위한 디바이스 드라이버의 성능을 테스트 할 수 있는 응용 프로그램도 함께 제작하였다. 실험을 통하여 영상 획득을 위한 디바이스 드라이버와 FAT 파일 시스템을 이용하여 NAND 플래시 메모리에 획득한 영상을 저장하는 응용프로그램이 상호 잘 작동을 함을 확인하였다.

A Study on User Authorization for Grid Resources

  • Lee, Seoung-Hyeon;Lee, Won-Goo;Lee, Jae-Kwang
    • Journal of information and communication convergence engineering
    • /
    • 제2권2호
    • /
    • pp.128-131
    • /
    • 2004
  • We suggest resource authorization system based on RBAC admitting someone to access resources. In existing grid environment, The authorization mechanism on user's resource is to give users an authority on the basis of DN(Distinguished Name) of proxy certificate and map file mapped in local system ID by one-to-one. In this case, it is difficulty in resource management such as each accounting management, memory resource, and disk resource, if the number of users, who want to use them is increased. To solve this problem, we specify the role of user's task in extension fields of his proxy certificate instead of the authorization mechanism of user's ID and propose resource authorization system being able to access his resource.

안드로이드에서 어플리케이션의 메모리 보호를 위한 연구 (A memory protection method for application programs on the Android operating system)

  • 김동율;문종섭
    • 인터넷정보학회논문지
    • /
    • 제17권6호
    • /
    • pp.93-101
    • /
    • 2016
  • 안드로이드 폰이 점점 대중화됨에 따라 많은 어플리케이션이 제작자의 이윤과 직결되는 데이터나 스마트 폰 사용자의 민감한 데이터를 다룬다. 이러한 중요 데이터는 당연히 보호받아야 하지만 안드로이드에서는 악의적인 사용자에 의해 조작되거나 공격자에 의해 유출될 수 있다. 이런 일이 발생하는 이유는 안드로이드의 근간인 리눅스의 디버깅 기능이 악용되기 때문이다. 리눅스의 디버깅 기능을 이용하면 다른 어플리케이션의 가상 메모리에 접근하는 것이 가능하다. 이 기능이 악용되는 것을 방지하기 위해선 해당 기능을 제공하는 주체인 리눅스의 커널에서 기존의 접근 제어를 더욱 강화해야 한다. 하지만 현재 이 기능은 안드로이드 환경의 특성을 반영하지 않은 채 기존의 리눅스와 동일한 접근 제어를 사용하고 있다. 이에 본 논문에서는 리눅스가 제공하는 다른 어플리케이션의 가상 메모리에 접근할 수 있는 기능을 분석하고, 분석 결과와 안드로이드 환경을 고려하여 스레드 그룹 ID를 검증하는 새로운 계층을 추가하는 방안을 제시한다. 이 방안을 적용함으로써 접근 제어를 더욱 강화할 수 있다. 실제로 본 논문이 제안한 방법이 접근 제어를 강화할 수 있는 지 확인하기 위해, 다른 어플리케이션의 메모리를 수정할 수 있는 메모리 조작 어플리케이션으로 자체 제작한 어플리케이션의 데이터 수정을 시도한다. 접근 제어를 강화하기 전에는 메모리 조작 어플리케이션이 자체 제작한 어플리케이션의 메모리에 있는 데이터를 수정할 수 있었지만, 접근 제어를 강화한 후에는 데이터 수정에 실패하는 것을 확인할 수 있다.

An Evaluation of Multimedia Data Downstream with PDA in an Infrastructure Network

  • Hong, Youn-Sik;Hur, Hye-Sun
    • Journal of Information Processing Systems
    • /
    • 제2권2호
    • /
    • pp.76-81
    • /
    • 2006
  • A PDA is used mainly for downloading data from a stationary server such as a desktop PC in an infrastructure network based on wireless LAN. Thus, the overall performance depends heavily on the performance of such downloading with PDA. Unfortunately, for a PDA the time taken to receive data from a PC is longer than the time taken to send it by 53%. Thus, we measured and analyzed all possible factors that could cause the receiving time of a PDA to be delayed with a test bed system. There are crucial factors: the TCP window size, file access time of a PDA, and the inter-packet delay that affects the receiving time of a PDA. The window size of a PDA during the downstream is reduced dramatically to 686 bytes from 32,581 bytes. In addition, because flash memory is embedded into a PDA, writing data into the flash memory takes twice as long as reading the data from it. To alleviate these, we propose three distinct remedies: First, in order to keep the window size at a sender constant, both the size of a socket send buffer for a desktop PC and the size of a socket receive buffer for a PDA should be increased. Second, to shorten its internal file access time, the size of an application buffer implemented in an application should be doubled. Finally, the inter-packet delay of a PDA and a desktop PC at the application layer should be adjusted asymmetrically to lower the traffic bottleneck between these heterogeneous terminals.

Locality를 이용한 섹터 매핑 기법의 효율적인 FTL 알고리듬 (Design of an Efficient FTL Algorithm Exploiting Locality Based on Sector-level Mapping)

  • 홍수진;황선영
    • 한국통신학회논문지
    • /
    • 제36권7B호
    • /
    • pp.818-826
    • /
    • 2011
  • 본 논문은 플래쉬 메모리 접근 시 소거 횟수를 줄이기 위해서 섹터 매핑 기법을 바탕으로 지역성(Locality)을 FTL (Flash Translation Layer) 알고리듬을 제안한다. 섹터 매핑 기법은 다른 기존의 매핑 기법보다 성능은 우수하나, 매핑 테이블이 커지는 단점을 가진다. 제안한 알고리듬에서는 동적 테이블 업데이트 방식으로 매핑 테이블의 크기를 줄였으며, 순차적 지역성 (Sequential Locality)을 이용하여 순차쓰기를 처리하고 임의쓰기에서 hot 섹터를 추출하였다. 실험결과 제안된 알고리듬은 기존의 BAST, FAST, 섹터 매핑 알고리듬과 비교하여 75.2%, 65.8%, 10.3%의 소거 횟수가 감소함을 보인다.

과학기술위성 2호 대용량 메모리 유닛 시험모델 설계 및 구현 (Engineering Model Design and Implementation of Mass Memory Unit for STSAT-2)

  • 서인호;유창완;남명룡;방효충
    • 한국항공우주학회지
    • /
    • 제33권11호
    • /
    • pp.115-120
    • /
    • 2005
  • 본 논문에서는 과학기술위성 2호 대용량 메모리 유닛(Mass Memory Unit, MMU)의 시험모델(Engineering Model, EM)을 개발하고 기능 및 성능 시험한 결과를 제시하였다. 성능 구현에 필요한 로직들을 별도의 전용 칩들을 사용하지 않고 하나의 FPGA에 구현함으로써 대용량 메모리 유닛을 소형화, 경량화하고 저전력으로 사용할 수 있도록 하였다. 대용량 메모리는 2Gbits SDRAM 모듈을 사용하였으며 파일 시스템을 운용하여 지상국에서의 데이터 관리가 용이 하도록 하였다. 대용량 메모리에서 발생하는 SEU(Single Event Upset)를 극복하기 위해서 RS(207,187) 코드가 소프트웨어로 구현되어 있어서 187바이트당 10바이트의 에러를 복구할 수 있다. 또한 탑재체 데이터의 수신 성능을 검증하기 위해서 시뮬레이터를 제작 하였다.

Non-volatile Memory Express 인터페이스 기반 저장장치의 성능 평가 및 분석 (Performance Evaluation and Analysis of NVMe SSD)

  • 손용석;염헌영;한혁
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권7호
    • /
    • pp.428-433
    • /
    • 2017
  • 최근 데이터센터, 소셜 네트워크 서비스 등과 같은 고성능 컴퓨팅을 요구하는 환경에서는 기존 하드디스크를 대체할 수 있는 고성능 비휘발성 메모리 저장장치의 수요가 급증하고 있다. 이러한 비휘발성 메모리의 성능은 호스트와 저장장치를 연결해주는 인터페이스에 따라 크게 좌우될 수 있다. 저장장치의 인터페이스는 계속 발전해왔으며, 기존 하드디스크에 기반을 둔 SAS/SATA 인터페이스를 대체할 수 있는 NVMe 인터페이스가 최근에 등장하였다. NVMe 인터페이스는 높은 확장성을 가지며 기존 인터페이스에 비해 낮은 지연시간을 제공한다. 본 논문은 다양한 워크로드를 통해 NVMe 저장장치의 성능을 평가하고 분석한다. 또한 NVMe 저장장치와 기존 SATA 저장장치와의 가격 대비 성능비를 비교하고 평가한다.