• 응용통계연구
• /
• 제23권1호
• /
• pp.197-206
• /
• 2010

본 논문에서는 대용량 자료 혹은 시간에 따라 순차적으로 들어오는 자료의 분류를 위한 부스팅(boosting) 알고리즘을 제안한다. 대용량 자료나 순차적 자료의 경우 분석시 모든 훈련 자료(training data)들을 한번에 이용하기 어려우므로 보통의 부스팅 알고리즘은 적절하지 못하다. 이러한 상황을 극복하기 위해 AdaBoost와 Arc-x4와 같은 부스팅 알고리즘을 수정하여 제안한다. 모의 실험과 실제 자료 분석을 통해 대용량 자료나 순차적 자료에 제안된 알고리즘이 잘 적용됨을 보였다.

• Journal of the Korean Data and Information Science Society
• /
• 제25권6호
• /
• pp.1283-1291
• /
• 2014

본 논문에서는 대용량이거나 시간에 따라 순차적으로 들어오는 데이터의 분류를 위한 전진적 단계 알고리즘을 제안한다. Adaboost 알고리즘은 노이즈가 있는 데이터에 대하여 성능이 떨어지는 것으로 알려져 있다. 이를 해결하기 위한 한 가지 방법으로 전진적 단계 선형 회귀 방법을 사용한다. 대용량 데이터나 순차적 배치 데이터의 경우에도 이러한 상황을 극복하기 위해 전진적 단계 알고리즘 방법을 적용한 방법을 제안한다. 모의실험과 실제 자료 분석을 통해 제안된 알고리즘이 좋은 성능을 보임을 알 수 있었다.

• 한국정보통신학회논문지
• /
• 제24권7호
• /
• pp.904-913
• /
• 2020

데이터 볼륨과 복잡도가 빠르게 증가함에 따라 과학 빅데이터를 다루는 데이터 집적 과학은 네트워크를 통해 보다 효과적인 데이터 저장 및 분배를 위한 새로운 기술을 발견하는 것을 필요로 한다. 최근 네임드 데이터 네트워킹 커뮤니티와 데이터 집적 과학 커뮤니티는 함께 과학 실험 빅데이터의 분배 및 관리에 있어서 혁신적인 변화를 꾀하였다. 본 논문 에서는 기후과학 및 고에너지물리 데이터 등과 같은 과학 빅데이터를 위한 현존하는 엔디엔 테스트베드들에 대한 분석이 처음으로 이루어진다. 과학 빅데이터를 위한 엔디엔 테스트베드들을 현황, 엔디엔 기반 응용, 특징 측면에서 묘사하고 토의한다. 마지막으로 과학 빅데이터를 위한 엔디엔 테스트베드 네트워크를 확립함에 있어서, 함정에 빠질 수 있는 다양한 이슈들을 엔디엔 테스트베드들에 대한 묘사 그리고 특징들로 부터 도출하여, 분석 제시한다.

• ETRI Journal
• /
• 제44권5호
• /
• pp.780-793
• /
• 2022

Large-scale ontology management is one of the main issues when using ontology data practically. Although many approaches have been proposed in relational database management systems (RDBMSs) or object-oriented DBMSs (OODBMSs) to develop large-scale ontology management systems, they have several limitations because ontology data structures are intrinsically different from traditional data structures in RDBMSs or OODBMSs. In addition, users have difficulty using ontology data because many terminologies (ontology nodes) in large-scale ontology data match with a given string keyword. Therefore, in this study, we propose a (graph database-based ontology management system (GOMS) to efficiently manage large-scale ontology data. GOMS uses a graph DBMS and provides new query templates to help users find key concepts or instances. Furthermore, to run queries with multiple joins and path conditions efficiently, we propose GOMS encoding as a filtering tool and develop hash-based join processing algorithms in the graph DBMS. Finally, we experimentally show that GOMS can process various types of queries efficiently.

• 지적과 국토정보
• /
• 제45권1호
• /
• pp.169-179
• /
• 2015

최근 IT기술의 발달로 데이터의 양이 급증함에 따라 대용량 데이터를 다루는 빅 데이터 시대가 도래하게 되었다. 다양하고 방대한 빅데이터 를 활용하기 위해서는 대용량 데이터 처리 기술을 필요로 하는데, 이러한 흐름에 따라 공간정보 분야에서도 대용량의 공간정보 데이터 서비스 기술이 요구되고 있다. 따라서 본 연구에서는 국외의 대표적인 공간정보 데이터 서비스 기술을 살펴본 후, 국내의 대표적인 지도 소프트웨어인 브이월드 데스크톱에 적용 가능한 KML 포맷의 대용량 데이터 처리 기술을 개발하였다. 개발된 분할 방법과 도구를 검증하기 위해 대용량의 KML 데이터를 이용하여 테스트를 진행하였고, 인덱스 파일과 분할 파일들이 생성되어 브이월드 데스크톱에서 가시화 되었다.

• 센서학회지
• /
• 제26권1호
• /
• pp.1-6
• /
• 2017

The advanced driver assistant system (ADAS) requires the collection of a large amount of information including road conditions, environment, vehicle status, condition of the driver, and other useful data. In this regard, large-scale sensor networks can be an appropriate solution since they have been designed for this purpose. Recent advances in sensor network technology have enabled the management and monitoring of large-scale tasks such as the monitoring of road surface temperature on a highway. In this paper, we consider the estimation and fusion problems of the large-scale sensor networks used in the ADAS. Hierarchical fusion architecture is proposed for an arbitrary topology of the large-scale sensor network. A robust cluster estimator is proposed to achieve robustness of the network against outliers or failure of sensors. Lastly, a robust hierarchical data fusion scheme is proposed for the communication channel between the clusters and fusion center, considering the non-Gaussian channel noise, which is typical in communication systems.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 1999년도 추계학술대회-지능형 정보기술과 미래조직 Information Technology and Future Organization
• /
• pp.303-311
• /
• 1999

The amount of financial information in today's sophisticated large data bases is huge and makes comparisons between company performance difficult or at least very time consuming. The purpose of this paper is to investigate whether neural networks in the form of self-organizing maps can be used to manage the complexity in large data bases. This paper structures and analyzes accounting numbers in a large data base over several time periods. By using self-organizing maps, we overcome the problems associated with finding the appropriate underlying distribution and the functional form of the underlying data in the structuring task that is often encountered, for example, when using cluster analysis. The method chosen also offers a way of visualizing the results. The data base in this study consists of annual reports of more than 80 Korean companies with data from the year 1998.

• 문화기술의 융합
• /
• 제8권2호
• /
• pp.361-366
• /
• 2022

대용량 데이터를 처리 하는 방식은 여러 가지가 있다. 처리 방법에 따라서 대용량 데이터 리스트를 만드는데 처리속도가 많은 차이를 두고 있다. 대표적으로 대용량 데이터 리스트를 만들기 위해서 대용량 데이터를 정규화 된 쿼리로 만들고 만들어 낸 쿼리의 결과를 List Map 담아두고 출력 가능한 형태로 변환 한다. 이러한 과정은 단계별로 처리 속도가 저하되는 원인으로 발생된다. 만들어 낸 쿼리의 결과를 List Map으로 담는 과정에서 데이터의 형태별로 저장되는 형식 다르기 때문에 처리속도의 차이가 나타난다. GO언의 동시성 처리를 통해서 기존에 처리속도의 차이가 발생되던 문제를 해결하고자 한다. 즉 GO언의 동시성 처리 결과가 기존의 List Map에 담는 형식과 동시성을 사용하여 처리하는 방식의 대용량 데이터 리스트 처리 방식이 얼마나 차이가 나고 어떠한 방식으로 진행되는지를 제공하여 보다 빠른 처리를 할 수 있도록 비교 한다.

• 반도체디스플레이기술학회지
• /
• 제11권2호
• /
• pp.85-91
• /
• 2012

In this paper, the large data processing and suitable FAT32 file system for industrial system using a PLC and CF memory was implemented. Most of PLC can't save the large data in user data memory. So it's required to the external devices of CF memory or NAND flash memory. The CF memory is used in order to save the large data of PLC system. The file system using the CF memory is NTFS, FAT, and FAT32 system to configure in various ways. Typically, the file system which is widely used in industrial data storage has been implemented as modified FAT32. The conventional FAT 32 file system was not possible for multiple writing and high speed data accessing. The proposed file system was implemented by the large data processing module can be handled that the files are copied at the 40 bytes for 1msec speed logging and creating 8 files at the same time. In a sudden power failure, high reliability was obtained that the problem was solved using a power fail monitor and the non-volatile random-access memory (NVSRAM). The implemented large data processing system was applied the modified file system as FAT32 and the good performance and high reliability was showed.

• 한국ITS학회 논문지
• /
• 제13권3호
• /
• pp.1-9
• /
• 2014

본 연구는 대형 이벤트가 발생하였을 때 신속하고 정확한 교통정책을 수립할 수 있도록 대형 이벤트 대응형 통합교통분석 시스템을 개발하는 데 목적이 있다. 교통분석 시스템 사례조사를 기초로 통합교통분석 시스템의 요건을 정의하고 개발방향을 수립하였다. 데이터 웨어하우스 (data warehouse) 구축을 위해 신속하고 정확한 교통정책 수립이 요구되는 대형 이벤트를 선정하고 데이터를 수집하였다. 수집된 대형 이벤트 데이터와 교통 데이터를 통합하여 데이터 웨어하우스와 주제별 데이터 마트 (data mart)를 구축하였다. 이용자가 적시에 의사결정을 할 수 있도록 비즈니스 인텔리전스(business intelligence) 시스템 화면을 설계하고 개발하였다.