• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.23 no.6
• /
• pp.645-651
• /
• 2019

At a time when large amounts of data are being poured out, there are many changes in software architecture or data storage patterns because of the nature of the data being written, rather more read-intensive than writing. Accordingly, in this paper, the query model of Command Query Responsibility Segmentation (CQRS) pattern separating the responsibilities of commands and queries is used to implement an efficient high-capacity data lookup system in users' requirements. This paper uses the 2018 temperature, humidity and precipitation data of the Korea Meteorological Administration Open API to store about 2.3 billion data suitable for RDBMS (PostgreSQL) and NoSQL (MongoDB). It also compares and analyzes the performance of systems with CQRS pattern applied from the perspective of the web server (Web Server) implemented and systems without CQRS pattern, the storage structure performance of each database, and the performance corresponding to the data processing characteristics.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2014.11a
• /
• pp.767-770
• /
• 2014

대용량 데이터를 분석하기 위한 맵리듀스 기반 k-NN 조인 질의처리 알고리즘은 최근 데이터 마이닝 및 분석을 기반으로 하는 응용 분야에서 매우 중요하게 활용되고 있다. 그러나, 대표적인 연구인 보로노이 기반 k-NN 조인 질의처리 알고리즘은 보로노이 인덱스 구축 비용이 매우 크기 때문에 대용량 데이터에 적합하지 못하다. 아울러 보로노이 셀 정보를 저장하기 위해 사용하는 R-트리는 맵리듀스 환경의 분산 병렬 처리에 적합하지 않다. 따라서 본 논문에서는 새로운 그리드 인덱스 기반의 k-NN 조인 질의 처리 알고리즘을 제안한다. 첫째, 높은 인덱스 구축 비용 문제를 해결하기 위해, 데이터 분포를 고려한 동적 그리드 인덱스 생성 기법을 제안한다. 둘째, 맵리듀스 환경에서 효율적으로 k-NN 조인 질의를 수행하기 위해, 인접셀 정보를 시그니처로 활용하는 후보영역 탐색 및 필터링 알고리즘을 제안한다. 마지막으로 성능 평가를 통해 제안하는 기법이 질의 처리 시간 측면에서 기존 기법에 비해 최대 3배 높은 질의 처리 성능을 나타냄을 보인다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.831-832
• /
• 2017

링크드오픈데이터를 통해 다양한 분야의 RDF 데이터가 공개되고 있으며 그 양이 지속적으로 증가하고 있다. RDF 데이터는 그래프 형태이기 때문에 대용량 RDF 데이터를 효율적으로 관리하기 위한 그래프 데이터베이스에 대한 연구가 중요하다. 2개의 RDF 리소스가 그래프 상에서 연결됐는지 여부를 알아내는 기능은 RDF 요소간 연관관계를 식별하는 데에 관련이 있기 때문에 그래프 데이터베이스의 중요한 기능 중 하나이다. 대용량 그래프 데이터에 대한 그래프 도달가능성을 빠르게 처리하기 위해서 2-Hop 레이블링 변형들이 제안됐다. 최근에 2-Hop 레이블 크기를 줄이기 위해 2-Hop 레이블링이 진행되기 전에 노드 아이디를 부여하는 방법이 제안됐다. 하지만 그래프의 지역 정보만을 활용하기 때문에 복잡한 형태의 그래프에 대해서는 비효율적이라는 문제점이 있다. 본 논문에서는 그래프의 전역 정보를 반영할 수 있는 Topological Sort를 활용한 노드 아이디 부여 기법에 대한 설계를 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.11c
• /
• pp.1875-1878
• /
• 2002

인터넷이 정보의 바다가 된 오늘날에 많은 정보를 효과적으로 표현하기 위해 텍스트뿐만 아니라 이미지 동영상등 멀티미디어 데이터의 표현이 많이 사용되고 있다. 이러한 대용량의 멀티미디어 데이터가 증가함에 따라 대용량의 데이터를 효과적으로 처리하고 저장하기 위한 많은 연구개발이 이루어지고 있다. 본 논문에서는 웹의 표준인 XML을 이용하여 비디오 데이터를 XML 문서로 표현하고 관계형 데이터베이스에 XML 문서를 저장할 수 있는 스키마를 생성한다. 그리고 생성된 스키마를 이용하여 관계형 데이터베이스를 기반으로 하는 XML문서 저장관리 시스템을 구현한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.10a
• /
• pp.739-742
• /
• 2000

본 논문에서는 객체지향 데이터베이스 시스템을 이용하여 대용량 멀티미디어 데이터를 저장 및 검색하는 멀티미디어 데이터 관리 시스템(Multimedia Data Management System : MDMS)을 설계 구현한다. 따라서, 사용자, 응용 및 데이터베이스 각 계층에 객체지향 설계 방법을 적용시켜 일관된 인터페이스와 다양한 응용 분야의 확장을 유도하고 기존의 파일 단위의 관리 방법과 데이터베이스 저장 관리 방법을 선택 또는 동시 이용 할 수 있도록 하여 관리자 요구 수용의 폭을 넓힌다. 또한, 질의에 대한 효율적인 검색을 위하여 질의 분석기, 객체 질의기, 객체 추출기와 데이터베이스 연산전, 후의 데이터 일관성 유지를 위한 객체 관리기를 구현한다. 향후에는 제안된 시스템을 기반으로 내용 기반 질의 처리 및 웹 연동 통합 관리 시스템의 개발이 요구된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.11a
• /
• pp.1385-1388
• /
• 2005

최근 3 차원 스캐닝(Scanning) 기술의 발달로 형상 및 색상 정보 데이터를 동시에 획득할 수 있게 되었다. 특히 한번의 측정으로 다량의 데이터를 확보할 수 있기 때문에 3 차원 데이터의 정합(Registration) 및 병합(Merging) 과정에서 계산량이 증가하게 된다. 또한 정합과 병합 후의 대용량 데이터 자체로는 3 차원 모델의 저장, 전송, 처리 및 렌더링(Rendering) 등의 과정에서 어려움이 있다. 따라서 모델의 기하 정보와 색상, 질감, 곡률 등의 속성 정보를 유지하면서 데이터의 양을 감소시키는 메쉬 간략화 기술이 필요하다. 현재 널리 쓰이는 이차 오차 척도(Quadric Error Metric) 방법으로 메쉬를 극심하게 감소하게 되면 오차가 누적되어 기하 정보 및 속성 정보가 소실된다. 본 연구에서는 이를 방지하기 위해 이차 오차 척도 감소화 과정에서 곡률과 색상 기반의 정점 재조정 방법을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.154-156
• /
• 2005

인터넷의 발전은 다양한 데이터의 폭발적인 증가를 가져왔다. 유연하고 효과적인 데이터 표현 능력을 지닌 XML이 인터넷 환경에서 데이터 표현 및 교환 수단으로 여러 분야에서 표준으로 활용되고 있다. 그래서 대용량 XML 문서의 저장 및 관리에 대한 연구의 필요성이 증가하였다. 현재 다양한 XML 저장 기법과 XQuery를 이용한 XML 질의 처리에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 객체 관계 데이터베이스 시스템을 이용하여 대용량 XML 문서 처리에 적합하도록 XML 저장 시스템을 설계 및 구현하였다. 또한 하이브리드 오더 인코딩 기법을 이용하여 저장된 XML 문서의 갱신 성능과 XML 질의 처리 성능을 개선하였다. 그리고 XBench를 이용하여 생성한 대용량 XML 문서로 XML 저장 시스템의 성능을 평가하고 분석하였다.

• Journal of the Korean Data and Information Science Society
• /
• v.26 no.5
• /
• pp.1035-1045
• /
• 2015

Recent studies in Big Data Analysis are showing promising results, utilizing the main memory for rapid data processing. In-memory computing technology can be highly advantageous when used with high-performing servers having tens of gigabytes of RAM with multi-core processors. The constraint in network in these infrastructure can be lessen by combining in-memory technology with distributed parallel processing. This paper discusses the research in the aforementioned concept applying to a test taxi hailing application without disregard to its underlying RDBMS structure. The application of IMDG technology in the application's backend API without restructuring the database schema yields 6 to 9 times increase in performance in data processing and throughput. Specifically, the change in throughput is very small even with increase in data load processing.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.25 no.12B
• /
• pp.2039-2045
• /
• 2000

본 논문에서는 계산이 간단한 두 가지의 GMSK (Gaussian minimum shift-keying) 변조기들을 제안한다. 제안된 방법들에서는 필터링과 적분과정의 순차적인 처리 대신에, 필터링되는 데이터 계열들에 따른 적분기 출력에서의 위상 성분들을 미리 구하고, ROM (read only memory)에 저장함으로써 계산량을 크게 줄일 수 있다. 첫 번째 방법에서는 필터링되는 심벌들에 따른 각 샘플시점에서의 위상 변화량들이 미리 계산되며, 위상 샘플 값은 필터에 입력되는 데이터 계열에 의한 샘플시점에서의 총 위상 변화량을 구하여 누적함으로써 얻어진다. 두 번째 방법에서는 입력되는 모든 가능한 데이터 계열들에 따른 모든 샘플시점에서의 총 위상 변화량들을 미리 구하여 ROM에 저장하며, 위상 샘플 값은 입력되는 데이터 계열에 따라 샘플시점에 해당하는 총 위상 변화량을 선택하여 누적함으로써 얻어진다. 또한, 두 번째 방법에서는 데이터 계열의 패턴에 따른 총 위상 변화량들의 대칭적인 성질을 이용함으로써 필요한 메모리량을 줄일 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.04a
• /
• pp.72-75
• /
• 2016

스마트폰, 센서, 소셜미디어, 웹 서비스 등으로부터 발생되는 데이터의 폭증으로 인하여 빅데이터의 분석 및 활용에 대한 요구가 커져가고 있다. 특히 스마트 기기의 발달과 사용자 이용 패턴의 변화로 인하여 스트림 데이터는 끊임없이 발생되고 있지만, 기존의 하둡을 이용한 분석 시스템은 응답시간이 지연되어 빠르게 결과를 조회할 수 없는 단점으로 인하여 데이터를 실시간으로 분석하여 바로 활용할 수 있는 시스템에 대한 요구가 점점 더 증가하면서 람다 아키텍쳐가 등장하였다. 람다 아키텍쳐는 데이터 처리 과정을 배치 레이어와 스피트 레이어로 나누고, 스피드 레이어에서는 배치 결과가 나오기 전까지 스트림으로 유입되는 데이터를 실시간으로 분석하여 가장 최근의 데이터를 빠르게 조회 할 수 있도록 결과를 제공한다. 본 논문에서는 람다 아키텍쳐를 활용하여 연속적으로 유입되는 대용량의 스트림 데이터를 효과적으로 처리하여 실시간 분석과 동시에 배치 분석을 제공하는 데이터 처리 시스템을 설계하고 구현한다.