• The Korean Journal of Applied Statistics
• /
• v.23 no.1
• /
• pp.197-206
• /
• 2010

In this paper, we propose boosting algorithms when data are very large or coming in batches sequentially over time. In this situation, ordinary boosting algorithm may be inappropriate because it requires the availability of all of the training set at once. To apply to large scale data or data batch stream, we modify the AdaBoost and Arc-x4. These algorithms have good results for both large scale data and data batch stream with or without concept drift on simulated data and real data sets.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2000.11a
• /
• pp.467-470
• /
• 2000

이 논문에서는 대용량 3 차원 데이터를 효율적 편집과 실시간 랜더링하는 방법라 자료구조를 제안한다. 3 차원 스캐닝 데이터로부터 만들어지는 대용량 폴리곤 데이터를 사용자 인터페이스를 이용하여 실시간에 편집하기 위한 효율적인 자료·구조를 제안하고, 이를 이용한 포리곤 연산자의 구현 방법 설명하고 있다. 또한, 여기서 제안한 자료구조가 기존 edge 기반 자료구조와의 성능비교를 통해 대용량 메쉬 데이터 편집시스템에 적합한 자료구조임을 보이겠다.

• Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
• /
• 2004.03a
• /
• pp.349-354
• /
• 2004

최근 들어 위성영상 및 항공사진은 국토환경관리에 매우 중요한 수단으로 인식되고 있으며, 이러한 추세에 따라 환경부 및 환경부 산하 기관의 많은 공무원들이 이러한 영상자료를 빠르게 업무에 활용할 수 있는 시스템이 필수적으로 요구되고 있다. 그러나 기존 시스템은 고가의 영상처리소프트웨어를 사용자 PC에 설치한 뒤 이를 이용하여 사용자 개인 컴퓨터에 저장되어 있는 대용량의 영상자료를 처리하여 업무에 활용하는 방식을 택함으로써, 영상자료 유출의 위험성, 소프트웨어의 중복적 구매에 따른 비용증가, 대용량 영상자료의 이동성 감소, 관련 소프트웨어 교육 시간 및 비용 증가 및 대용량 자료 처리에 따른 처리시간 증가 등의 문제를 야기해 왔다. 본 논문에서는 이러한 단점을 극복하고 환경부 공무원의 사용자 활용도를 증가시킨 '대용량 영상자료를 활용한 환경지리정보 인트라넷 시스템'을 개발했다. 본 시스템은 최신 영상 압축 및 전송 기술을 활용하여 영상자료의 물리적 파일 크기에 관계없이 사용자가 원하는 부분만을 압축 전송함으로써 매우 빠른 속도로 사용자가 원하는 지역을 인트라넷을 통해 서비스할 뿐만 아니라, 이렇게 전송된 영상을 웹 상에서 실시간으로 영상처리함으로써 사용자 편의성과 속도를 매우 향상시켰다. 또한 본 시스템은 환경부가 제작한 34종 이상의 벡터 자료와 함께 통합되어 서비스됨으로써 영상자료와 벡터자료의 통합적 활용성을 증가시켰다.용성을 증가시켰다.

• The Korean Journal of Applied Statistics
• /
• v.29 no.6
• /
• pp.1061-1075
• /
• 2016

In this paper, we discuss various methods to visualize high dimensional large-scale data and review some issues associated with visualizing this type of data. High-dimensional data can be presented in a 2-dimensional space with a few selected important variables. We can visualize more variables with various aesthetic attributes in graphics or use the projection pursuit method to find an interesting low-dimensional view. For large-scale data, we discuss jittering and alpha blending methods that solve any problem with overlapping points. We also review the R package tabplot, scagnostics, and other R packages for interactive web application with visualization.

• The Bulletin of The Korean Astronomical Society
• /
• v.37 no.2
• /
• pp.229.1-229.1
• /
• 2012

본 논문에서는 탑재체전송자료 검증을 위한 소프트웨어 개발에 관하여 소개하고자 한다. 원격탐사위성에 탑재되는 고성능원격측정센서는 대용량 데이터를 생성하며 탑재체자료전송장치를 통하여 고주파통신에 의해 지상으로 전송된다. 지상으로 전송되는 대용량 데이터는 다양한 통신경로의 외란으로부터 보호 등을 위하여 채널코딩을 수행된다. 또한 대용량 데이터의 실시간 전송을 위하여 압축이 수행되며 보안을 위한 암호화 역시 수행 된다. 본 논문에서는 이러한 탑재체자료를 검증하기 위한 소프트웨어들과 이러한 소프트웨어의 구성 체계등에 관하여 기술하고 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10b
• /
• pp.268-270
• /
• 1998

수중에서 획득되는 대용량 데이터를 영구 보존하고 효율적으로 관리하기 위한 데이터베이스 시스템을 설계하고 구현하기 위해서는 대용량 데이터 관리, 다양한 저장장치 관리, 효율적 검색 기능, 융통성있는 데이터 타입 지원 등을 고려하여야 한다. 본 논문에서는 해상에서 획득되는 대용량 시험자료를 효율적으로 관리하기 위해 개발된 수주음향 데이터베이스 시스템에 대해서 논한다. 구축된 시스템은 각 시험별로 획득한 원시자료와 다양한 분석기법을 통하여 추출한 분석자료를 저장, 관리, 제공할 목적으로 개발되었으며, 속도를 고려한 효율적 저장방법, 보안 시험별 검색단어 변경 문제 및 분석자료의 다양한 그래픽 제공 등을 고려하여 대용량 CD-쥬크박스를 가진 유닉스 기반의 클라이언트/서버 환경에서 구현하였다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.25 no.1
• /
• pp.15-21
• /
• 2015

In support vector machine, the values of parameters included in kernels affect strongly generalization ability. It is often difficult to determine appropriate values of those parameters in advance. It has been observed through our studies that the burden for deciding the values of those parameters in support vector regression can be reduced by utilizing ensemble learning. However, the straightforward application of the method to large scale problems is too time consuming. In this paper, we propose a method in which the original data set is decomposed into a certain number of sub data set in order to reduce the burden for parameter tuning in support vector regression with large scale data sets and imbalanced data set, particularly.

• Proceedings of the Korean Statistical Society Conference
• /
• 2001.11a
• /
• pp.163-167
• /
• 2001

데이터 마이닝에서 분석의 대상으로 하는 대용량 자료에는 연속형 자료와 범주형 자료가 모두 포함된다. 전통적인 군집분석은 연속형 자료를 대상으로 하는 방법들이다. 본 연구에서는 범주형 자료를 대상으로 하는 군집분석방법인 K-모드 알고리즘과 락(ROCK) 알고리즘을 비교${\cdot}$분석하였다. 그리고 두 알고리즘이 갖는 방법론적인 단점을 보안하여 군집의 효과를 높일 수 있는 개선 방안을 제안하였다.

• The Transactions of the Korea Information Processing Society
• /
• v.6 no.8
• /
• pp.2020-2030
• /
• 1999

Data acquired about 53 gigabyte per a naval vessel is massive, expensive and impossible to be retested in a underwater acoustic measurement. So, it is required to manage systematically. In this paper, we mention MUADS (Massive Underwater Acoustic Database System) that was developed to store a long time, manage systematically and supply raw data and analyzed data. we analyze client/server performance based on 6003 input data individually in our MUADS that Unix server having a massive DC-jukebox and Windows clients.

• The Korean Journal of Applied Statistics
• /
• v.29 no.6
• /
• pp.1107-1116
• /
• 2016

Recent astronomical survey observations have produced substantial amounts of data as well as completely changed conventional methods of analyzing astronomical data. Both classical statistical inference and modern machine learning methods have been used in every step of data analysis that range from data calibration to inferences of physical models. We are seeing the growing popularity of using machine learning methods in classical problems of astronomical data analysis due to low-cost data acquisition using cheap large-scale detectors and fast computer networks that enable us to share large volumes of data. It is common to consider the effects of inhomogeneous spatial and temporal coverage in the analysis of big astronomical data. The growing size of the data requires us to use parallel distributed computing environments as well as machine learning algorithms. Distributed data analysis systems have not been adopted widely for the general analysis of massive astronomical data. Gathering adequate training data is expensive in observation and learning data are generally collected from multiple data sources in astronomy; therefore, semi-supervised and ensemble machine learning methods will become important for the analysis of big astronomical data.