• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.837-840
• /
• 2017

각종 사이버 범죄가 증가함에 따라 실시간 모니터링을 통한 사전 탐지 기술뿐만 아니라, 사후 원인 분석을 통한 사고 재발 방지 기술의 중요성이 증가하고 있다. 사후 분석은 시스템에서 생산된 다양한 유형의 대용량 로그를 기반으로 분석가가 보안 위협 과정을 규명하는 것으로 이를 지원하는 다양한 상용 및 오픈 소스 SW 존재하나, 대부분 단일 분석가 PC에서 운용되는 파일 기반 SW로 대용량 데이터에 대한 분석 성능 저하, 다수 분석가 간의 데이터 공유 불가, 통계 연관 분석 한계 및 대화형 점진적 내용 분석 불가 등의 문제점을 해결하지 못하고 있다. 이러한 문제점을 해결하기 위하여 고성능 인메모리 관계형 데이터베이스 시스템을 로그 스토리지로 활용하는 대용량 로그 분석 SW 개발하였다. 특히, 기 확보된 공격자 프로파일을 활용하여 공격의 유무를 확인하는 텍스트 패턴 매칭 연산은 전통적인 관계형 데이터베이스 시스템의 FTS(Full-Text Search) 기능 활용이 가능하나, 대용량 전용 색인 생성에 따른 비현실적인 DB 구축 소요 시간과 최소 3배 이상의 DB 용량 증가로 인한 시스템 리소스 추가 요구 등의 단점이 있다. 본 논문에서는 인메모리 관계형 데이터베이스 시스템 기반 효율적인 텍스트 패턴 매칭 연산을 위하여, 고성능의 대용량 로그 DB 적재 방법과 새로운 유형의 패턴 매칭 방법을 제안하였다.

• 정보과학회 논문지
• /
• 제43권8호
• /
• pp.841-847
• /
• 2016

네트워크 기술의 발달에 따라 고속으로 인터넷에 연결 가능한 장치의 수가 증가하면서 언제 어디서나 쉽게 접근이 가능한 클라우드 스토리지의 사용량이 증가하고 있다. 대표적인 클라우드 스토리지의 형태 중 하나인 오브젝트 스토리지는 비용이 저렴하고 높은 가용성과 지속성을 보장해주지만, HTTP 기반 인터페이스인 RESTful API로만 데이터에 접근가능하다는 제약이 있다. 본 논문에서는 이러한 점을 해소하고자, 기존 POSIX 인터페이스를 지원하며 클라우드 오브젝트 스토리지와 데이터를 주고받을 수 있는 인메모리 파일 시스템을 제안한다. 특히 본 연구의 클라우드 스토리지로 파일을 보내는 플러시 기법은 리눅스 시스템의 스왑 모듈을 활용하여 개발함으로써 기존 애플리케이션들과 높은 호환성을 가지며, 기존 클라우드 스토리지를 사용하는 시스템이 가지는 오버헤드를 최소화하였다. 제안하는 파일 시스템은 S3QL 보다는 약 57% 빠른 쓰기 성능을 보이며, tmpfs와 매우 근접한 읽기 성능을 보인다.

• 정보과학회 논문지
• /
• 제44권7호
• /
• pp.658-667
• /
• 2017

DRAM 기반의 인메모리 캐시는 고비용으로 인해 용량을 늘리는 데에는 한계가 있다. 이를 위해 압축을 이용하여 더 많은 데이터를 캐시하는 기법들이 연구되어 왔다. 그러나 압축은 높은 처리부하와 반응 지연을 야기한다. 본 논문에서는 섀넌 엔트로피를 통해 파일의 압축률을 낮은 오버헤드를 통해 고속으로 예측하여, 높은 압축률을 가진 파일만 압축하는 선택적 압축 기법을 제안하였다. 또한 이를 파일시스템 내에서 실제 사용이 가능하도록 커널 레벨에서 파일 시스템을 위한 인메모리 캐시를 제공하도록 구현하였다. 실험 결과 선택적 압축 기법은 비 압축에 비해 약 18%의 실행시간 감소를 보이며, 전체 캐시 데이터 압축 방법에 비해서도 캐시 히트율의 감소에 의한 성능하락을 최소화 시키고, 동시에 압축에 대한 오버헤드를 줄여, 7.5%의 실행시간을 감소시킬 수 있음을 보였다. 또한 압축에 사용되는 CPU사용시간을 모두 압축 했을 때와 비교하여 28%감소시킬 수 있음을 보여주었다.

• 한국인터넷방송통신학회논문지
• /
• 제23권3호
• /
• pp.107-111
• /
• 2023

저널링 기법은 파일시스템을 크래쉬 상황으로부터 보호하여 일관성 있는 상태로 유지하기 위해 널리 사용되고 있다. 한편, 기존의 저널링 기법들은 하드디스크와 같은 블록 스토리지를 위해 설계되었기 때문에 바이트 단위 접근이 가능한 영속 메모리 상에서의 저널링에 활용하기에는 비효율적이다. 본 논문은 크래쉬 상황으로부터 파일시스템의 일관성이 깨어지는 것을 방지하는 기능을 가진 메타데이터 저널링 기법을 인메모리 파일시스템에 기반해 설계하는 방법을 제안한다. 제안하는 기법은 바이트 단위 접근이 가능한 메모리 미디어의 특성을 활용하여 저널링이 발생시키는 많은 쓰기량을 줄일뿐 아니라 입출력 시 통과해야 하는 무거운 소프트웨어 스택을 제거하는 장점을 가진다. IOzone 벤치마크를 이용한 성능 측정 실험을 통해 제안하는 저널링 기법이 Ext4의 저널링과 비교해서 평균 49.2%의 성능 개선 효과가 있음을 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.539-541
• /
• 2016

최근 빅데이터 분석을 위해 아파치 하둡(Apache Hadoop) 기반 에코시스템(Ecosystern)이 다양하게 활용되고 있다. 본 논문에서는 수집된 로그 데이터를 가공하여 데이터베이스에 로드하는 과정을 효율적으로 처리하기 위한 성능 평가를 수행한다. 이를 기반으로 텍스트 파일의 로그 데이터를 자바 코드로 개발된 프로그램에서 JDBC를 이용하여 오라클(Oracle) 데이터베이스에 삽입(Insert)하는 과정의 성능을 개선하기 위한 방안을 제안한다. 대용량 로그 파일의 효율적인 처리를 위해 하둡 에코시스템을 이용하여 처리 속도를 개선하고, 최근 인메모리(In-Mernory) 처리 방식으로 빠른 처리 속도로 인해 각광받고 있는 아파치 스파크(Apache Spark)를 이용한 처리와의 성능 평가를 수행한다. 이 연구를 통해 최적의 로그데이터 처리 시스템의 구축 방안을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.1193-1195
• /
• 2015

최근 빅데이터 문제를 해결하기 위해 하둡의 사용이 급증하였다. 하둡은 다수의 노드에 데이터를 분산 저장 및 처리하며, 이를 위해 모든 메타데이터를 네임노드에서 관리한다. 기존 하둡은 모든 메타데이터를 메모리 상에서 관리하며, 변경 이력을 로컬 파일 시스템에서 별도의 파일로 관리한다. 이 방법에서는 데이터의 증가 및 하둡 에코시스템의 확장 등의 이유로 관리되어야 할 메타데이터가 크게 증가하며, 이는 곧 네임노드의 메모리 부하를 높이는 문제가 있다. 본 논문은 이러한 인메모리 기반의 하둡 메타데이터 관리 구조를 RDBMS 기반으로 수정하도록 설계 및 구현한다. 그리고 하둡의 모든 명령어에 대한 테스트를 작성하여 본 연구의 적정성을 검토하였다. 본 논문은 네임노드의 부하를 줄임으로써 하둡의 안정성을 높이는 좋은 연구 결과라 사료된다.