• 제목/요약/키워드: redundant data

검색결과 442건 처리시간 0.03초

데이터마이닝을 기반으로 한 웹 전자상거래 서비스 설계 (Design of E-Commerce Service on The Web Based on Data Mining)

  • 천린;김철원
    • 한국전자통신학회논문지
    • /
    • 제15권4호
    • /
    • pp.703-708
    • /
    • 2020
  • 전자상거래의 추진력은 점점 강해지고 있으며 전자 상거래 간의 경쟁은 더욱 치열 해지고 있다. 이러한 데이터를 효과적으로 분석하고 합리적으로 사용하는 방법은 다양한 전자상거래 회사의 경쟁에서 중요한 포인트가 되었다. 본 논문에서는 데이터 마이닝 기술을 사용하여 대규모 웹 데이터베이스에서 중복 데이터를 필터링하고 유용한 데이터를 추출한 다음 다양한 관점에서 분석하여 이 데이터를 전자 상거래 웹 사이트에 합리적이고 효과적으로 적용한다.

Improving the Subject Independent Classification of Implicit Intention By Generating Additional Training Data with PCA and ICA

  • Oh, Sang-Hoon
    • International Journal of Contents
    • /
    • 제14권4호
    • /
    • pp.24-29
    • /
    • 2018
  • EEG-based brain-computer interfaces has focused on explicitly expressed intentions to assist physically impaired patients. For EEG-based-computer interfaces to function effectively, it should be able to understand users' implicit information. Since it is hard to gather EEG signals of human brains, we do not have enough training data which are essential for proper classification performance of implicit intention. In this paper, we improve the subject independent classification of implicit intention through the generation of additional training data. In the first stage, we perform the PCA (principal component analysis) of training data in a bid to remove redundant components in the components within the input data. After the dimension reduction by PCA, we train ICA (independent component analysis) network whose outputs are statistically independent. We can get additional training data by adding Gaussian noises to ICA outputs and projecting them to input data domain. Through simulations with EEG data provided by CNSL, KAIST, we improve the classification performance from 65.05% to 66.69% with Gamma components. The proposed sample generation method can be applied to any machine learning problem with fewer samples.

Crime amount prediction based on 2D convolution and long short-term memory neural network

  • Dong, Qifen;Ye, Ruihui;Li, Guojun
    • ETRI Journal
    • /
    • 제44권2호
    • /
    • pp.208-219
    • /
    • 2022
  • Crime amount prediction is crucial for optimizing the police patrols' arrangement in each region of a city. First, we analyzed spatiotemporal correlations of the crime data and the relationships between crime and related auxiliary data, including points-of-interest (POI), public service complaints, and demographics. Then, we proposed a crime amount prediction model based on 2D convolution and long short-term memory neural network (2DCONV-LSTM). The proposed model captures the spatiotemporal correlations in the crime data, and the crime-related auxiliary data are used to enhance the regional spatial features. Extensive experiments on real-world datasets are conducted. Results demonstrated that capturing both temporal and spatial correlations in crime data and using auxiliary data to extract regional spatial features improve the prediction performance. In the best case scenario, the proposed model reduces the prediction error by at least 17.8% and 8.2% compared with support vector regression (SVR) and LSTM, respectively. Moreover, excessive auxiliary data reduce model performance because of the presence of redundant information.

센서 네트워크 기반의 홀리스틱 분산 클러스터링 알고리즘 (A holistic distributed clustering algorithm based on sensor network)

  • 진평;임기욱;남지은;이경오
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.874-877
    • /
    • 2008
  • Nowadays the existing data processing systems can only support some simple query for sensor network. It is increasingly important to process the vast data streams in sensor network, and achieve effective acknowledges for users. In this paper, we propose a holistic distributed k-means algorithm for sensor network. In order to verify the effectiveness of this method, we compare it with central k-means algorithm to process the data streams in sensor network. From the evaluation experiments, we can verify that the proposed algorithm is highly capable of processing vast data stream with less computation time. This algorithm prefers to cluster the data streams at the distributed nodes, and therefore it largely reduces redundant data communications compared to the central processing algorithm.

MVC 아키텍처 인지하는 웹 앱 재구조화 (MVC Architecture-aware Restructuring of Web Apps)

  • 오재원;안우현;김태공
    • 한국정보통신학회논문지
    • /
    • 제21권11호
    • /
    • pp.2153-2166
    • /
    • 2017
  • 웹 앱에는, 서로 다른 웹 페이지를 웹브라우저에 로드할 때 동일 데이터가 반복적으로 획득되고 처리되어 화면상에 표시되는 문제가 있다. 본 논문은 이 문제를 해결하기 위해 자바 웹 앱을 재구조화하는 기법을 제안하고 평가한다. 자바 웹 앱을 MVC(Model-View-Controller) 아키텍처 관점에서 동적 분석하고 컴포지트 뷰 패턴을 활용하여 중복해서 사용되는 데이터를 식별한다. 이를 토대로 페이지 요청 시 중복 데이터가 로드되지 않도록 앱을 재구조화한다. 재구조화를 통해 MVC 아키텍처에 부합하며 성능이 향상된 웹 앱을 생성한다. 이렇게 재구조화된 웹 앱은 기존 웹 앱의 응답 시간을 데스크톱 PC, 모바일 기기에서 각각 38%, 55% 개선하였다. 아울러 오픈 소스 웹 앱을 이용한 사례 연구를 통해 제안하는 기법의 적용 가능성을 보였다.

센서 데이터 융합을 이용한 이동 로보트의 자세 추정 (The Posture Estimation of Mobile Robots Using Sensor Data Fusion Algorithm)

  • 이상룡;배준영
    • 대한기계학회논문집
    • /
    • 제16권11호
    • /
    • pp.2021-2032
    • /
    • 1992
  • 본 연구에서는 이동 로보트의 구동모터들의 회전수를 측정하는 두 개의 엔코 더와 로보트의 회전각 속도를 측정하는 자이로센서를 결합하여 주행중인 로보트의 자 세를 정확하게 추정할 수 있는 복수센서 시스템의 신호처리회로 및 알고리즘을 개발하 고 자이로센서의 측정방정식을 모델링하기 위하여 성능시험을 수행하였다. 그리고 확률이론을 유도된 측정방정식에 적용하여 본 복수센서 시스템의 출력 신호들을 효율 적으로 융합할 수 있는 센서데이터 융합알고리즘을 개발하여 사용된 측정센서들에 내 재하는 측정오차의 영향을 최소로 줄이고자 하였다. 제안된 융합알고리즘의 타당성 을 검증하기 위하여 주행실험을 수행하여 이동 로보트의 실제자세와 본 융합알고리즘 의 결과를 비교하였다.

직접 확산 방식을 이용한 반도체 장비 통신 프로토콜 구현 (The Implementation of Communication Protocol for Semiconductor Equipments using Directed Diffusion)

  • 김두용;조현찬
    • 반도체디스플레이기술학회지
    • /
    • 제12권2호
    • /
    • pp.39-43
    • /
    • 2013
  • The semiconductor equipments generate necessary data through communication networks for the effective manufacturing processes and automation of semiconductor equipments. For transferring data between semiconductor equipments and sending data to monitor equipments, several standards for communication protocols have been proposed. Communication networks in semiconductor manufacturing systems will transmit a lot of data traffic, which can be vulnerable in data delay and network failure. Therefore, it is required that data traffic need to be distributed. To accomplish this objective, we recommend the use of a redundant and valuable communication path which is constructed by a wireless sensor network. In this paper, the directed diffusion method for wireless sensor networking is suggested for networking semiconductor equipments. It is shown that how the directed diffusion is employed to connect semiconductor equipments. Also, we show how to implement the SECS of semiconductor equipments communication protocols based on the directed diffusion.

Enhanced and applicable algorithm for Big-Data by Combining Sparse Auto-Encoder and Load-Balancing, ProGReGA-KF

  • Kim, Hyunah;Kim, Chayoung
    • International Journal of Advanced Culture Technology
    • /
    • 제9권1호
    • /
    • pp.218-223
    • /
    • 2021
  • Pervasive enhancement and required enforcement of the Internet of Things (IoTs) in a distributed massively multiplayer online architecture have effected in massive growth of Big-Data in terms of server over-load. There have been some previous works to overcome the overloading of server works. However, there are lack of considered methods, which is commonly applicable. Therefore, we propose a combing Sparse Auto-Encoder and Load-Balancing, which is ProGReGA for Big-Data of server loads. In the process of Sparse Auto-Encoder, when it comes to selection of the feature-pattern, the less relevant feature-pattern could be eliminated from Big-Data. In relation to Load-Balancing, the alleviated degradation of ProGReGA can take advantage of the less redundant feature-pattern. That means the most relevant of Big-Data representation can work. In the performance evaluation, we can find that the proposed method have become more approachable and stable.

단순화된 패리티 공간기법을 이용한 원전 다중센서 신호검증 (Redundant Sensor Signal Validation of Nuclear Power Plants Using the Simplified Parity Space Method)

  • 오성헌;김대일;주운표;정윤형;류부형;임장현;김건중
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1993년도 정기총회 및 추계학술대회 논문집 학회본부
    • /
    • pp.317-319
    • /
    • 1993
  • The function estimation characteristics of neural networks can be used for sensor signal validation of a system. In case of applying the neural networks to signal validation, it is a important problem that the redundant sensor signals used as a input signal of neural networks should be validated. In this paper, we simplify the conventional parity space method in order to input the validated signal to the neural networks and also propose the sensor signal validation method, which estimates the reliable sensor output combining neural networks with the simplified parity space method. The acceptability of the proposed signal validation method is demonstrated by using the simulation data in safety injection accident of nuclear power plants.

  • PDF

정 진폭 다중 트랜스 이진 직교 변조 (Constant-Amplitude Multi-Code Trans-Bi-Orthogonal Modulation)

  • 김선희;김종석;홍대기
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2008년도 추계종합학술대회 B
    • /
    • pp.669-672
    • /
    • 2008
  • 본 논문에서는 기존의 직교 변조 방식의 대역폭 효율 개선을 위한 정 진폭 다중 트랜스 이진 직교변조 방식을 제안한다. 기존의 일반적인 직교 변조 방식은 대역폭 효율이 지나치게 떨어져서 대용량 데이터의 전송방식에는 적합하지 않다. 따라서 다중 트랜스 이진 직교 변조 방식을 사용하여 대역폭 효율을 향상시키고 잉여 비트를 사용하여 신호를 부호화하여 정 진폭을 유지한 정 진폭 다중 트랜스 이진 직교 변조 방식을 제안한다. 또한 본 논문에서는 제안된 정 진폭 다중 트랜스 이진 직교 변조 방식을 기존의 직교 변조 방식, 정 진폭 다중 트랜스 직교 변조방식과 그 성능을 비교한다. 제안된 변조 방식은 기존의 방식에 비해 대역폭 효율이 매우 증가함을 알 수 있으며 고속의 데이터 율을 제공하는 디지털 무선 통신 시스템으로 사용될 수 있다.

  • PDF