• 제목/요약/키워드: Denoising autoencoder

검색결과 21건 처리시간 0.092초

Auxiliary Stacked Denoising Autoencoder based Collaborative Filtering Recommendation

  • Mu, Ruihui;Zeng, Xiaoqin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권6호
    • /
    • pp.2310-2332
    • /
    • 2020
  • In recent years, deep learning techniques have achieved tremendous successes in natural language processing, speech recognition and image processing. Collaborative filtering(CF) recommendation is one of widely used methods and has significant effects in implementing the new recommendation function, but it also has limitations in dealing with the problem of poor scalability, cold start and data sparsity, etc. Combining the traditional recommendation algorithm with the deep learning model has brought great opportunity for the construction of a new recommender system. In this paper, we propose a novel collaborative recommendation model based on auxiliary stacked denoising autoencoder(ASDAE), the model learns effective the preferences of users from auxiliary information. Firstly, we integrate auxiliary information with rating information. Then, we design a stacked denoising autoencoder based collaborative recommendation model to learn the preferences of users from auxiliary information and rating information. Finally, we conduct comprehensive experiments on three real datasets to compare our proposed model with state-of-the-art methods. Experimental results demonstrate that our proposed model is superior to other recommendation methods.

딥 러닝 기반 얼굴 메쉬 데이터 디노이징 시스템 (A Deep Learning-Based Face Mesh Data Denoising System)

  • 노지현;임현승;김종민
    • 전기전자학회논문지
    • /
    • 제23권4호
    • /
    • pp.1250-1256
    • /
    • 2019
  • 3차원 프린터나 깊이 카메라 등을 이용하면 실세계의 3차원 메쉬 데이터를 손쉽게 생성할 수 있지만, 이렇게 생성된 데이터에는 필연적으로 불필요한 노이즈가 포함되어 있다. 따라서, 온전한 3차원 메쉬 데이터를 얻기 위해서는 메쉬 디노이징 작업이 필수적이다. 하지만 기존의 수학적인 디노이징 방법들은 전처리 작업이 필요하며 3차원 메쉬의 일부 중요한 특징들이 사라지는 문제점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해 딥 러닝 기반의 3차원 메쉬 디노이징 기법을 소개한다. 구체적으로 본 논문에서는 인코더와 디코더로 구성된 컨볼루션 기반 오토인코더 모델을 제안한다. 메쉬 데이터에 적용하는 컨볼루션 연산은 메쉬 데이터를 구성하고 있는 각각의 정점과 그 주변의 정점들 간의 관계를 고려하여 디노이징을 수행하며, 컨볼루션이 완료되면 학습 속도 향상을 위해 샘플링 연산을 수행한다. 실험 결과, 본 논문에서 제안한 오토인코더 모델이 기존 방식보다 더 빠르고 더 높은 품질의 디노이징된 데이터를 생성함을 확인하였다.

비접촉식 화학작용제 탐지용 라만 분광계를 위한 Denoising Autoencoder 기반 잡음제거 기술 (Denoising Autoencoder based Noise Reduction Technique for Raman Spectrometers for Standoff Detection of Chemical Warfare Agents)

  • 이창식;유형근;박재현;김휘민;박동조;장동의;남현우
    • 한국군사과학기술학회지
    • /
    • 제24권4호
    • /
    • pp.374-381
    • /
    • 2021
  • Raman spectrometers are studied and developed for the military purposes because of their nondestructive inspection capability to capture unique spectral features induced by molecular structures of colorless and odorless chemical warfare agents(CWAs) in any phase. Raman spectrometers often suffer from random noise caused by their detector inherent noise, background signal, etc. Thus, reducing the random noise in a measured Raman spectrum can help detection algorithms to find spectral features of CWAs and effectively detect them. In this paper, we propose a denoising autoencoder for Raman spectra with a loss function for sample efficient learning using noisy dataset. We conduct experiments to compare its effect on the measured spectra and detection performance with several existing noise reduction algorithms. The experimental results show that the denoising autoencoder is the most effective noise reduction algorithm among existing noise reduction algorithms for Raman spectrum based standoff detection of CWAs.

결측값 대체를 위한 데이터 재현 기법 비교 (Comparison of Data Reconstruction Methods for Missing Value Imputation)

  • 김청호;강기훈
    • 문화기술의 융합
    • /
    • 제10권1호
    • /
    • pp.603-608
    • /
    • 2024
  • 무응답 및 결측값은 표본 탈락, 설문조사에 대한 답변 회피 등으로 발생하며 정보의 손실 및 편향된 추론의 가능성이 있는 문제가 발생하게 되며, 이 경우 결측값을 적절한 값으로 바꾸는 대체가 필요하게 된다. 본 논문에서는 결측값에 대한 대체 방법으로 제안되었던 평균 대체, 다중회귀 대체, 랜덤 포레스트 대체, K-최근접 이웃 대체, 그리고 딥러닝을 기본으로 한 오토인코더 대체와 잡음제거 오토인코더 대체 방법을 비교한다. 결측값을 대체하는 이러한 방법들에 대해 설명하고, 연속형의 모의실험 데이터와 실제 데이터에 접목시켜 각 방법들을 비교하였다. 비교 결과 대부분의 경우에서 다중 대체 방법인 랜덤 포레스트 대체 방법과 잡음제거 오토인코더 대체 방법의 성능이 좋았음을 확인하였다.

천해 음향 통신에서 이미지 향상을 위한 디노이징 오토인코더의 성능 평가 (Performance of Denoising Autoencoder for Enhancing Image in Shallow Water Acoustic Communication)

  • Jeong, Hyun-Soo;Lee, Chae-Hui;Park, Ji-Hyun;Park, Kyu-Chil
    • 한국정보통신학회논문지
    • /
    • 제25권2호
    • /
    • pp.327-329
    • /
    • 2021
  • Underwater acoustic communication channel is influenced by environmental parameters such as multipath, background noise and scattering. Therefore, a transmitted signal is influenced by the sea surface and the sea bottom boundaries, and a received signal shows a delay spread. These factors create a noise in the image and degrade the quality of underwater acoustic communication. To solve these problems, in this paper, we evaluate the performance of an underwater acoustic communication model using a denoising auto-encoder used for unsupervised learning. Noise images generated by the underwater multipath channel were collected and used as training data. Experimental results were analyzed as a PSNR parameter that expressed the noise ratio of the two images.

Discrimination model using denoising autoencoder-based majority vote classification for reducing false alarm rate

  • Heonyong Lee;Kyungtak Yu;Shiu Kim
    • Nuclear Engineering and Technology
    • /
    • 제55권10호
    • /
    • pp.3716-3724
    • /
    • 2023
  • Loose parts monitoring and detecting alarm type in real Nuclear Power Plant have challenges such as background noise, insufficient alarm data, and difficulty of distinction between alarm data that occur during start and stop. Although many signal processing methods and alarm determination algorithms have been developed, it is not easy to determine valid alarm and extract the meaning data from alarm signal including background noise. To address these issues, this paper proposes a denoising autoencoder-based majority vote classification. Training and test data are prepared by acquiring alarm data from real NPP and simulation facility for data augmentation, and noisy data is reproduced by adding Gaussian noise. Using DAEs with 3, 5, 7, and 9 layers, features are extracted for each model and classified into neural networks. Finally, the results obtained from each DAE are classified by majority voting. Also, through comparison with other methods, the accuracy and the false alarm rate are compared, and the excellence of the proposed method is confirmed.

웨이블릿 변환과 기계 학습 접근법을 이용한 수위 데이터의 노이즈 제거 비교 분석 (Comparative analysis of wavelet transform and machine learning approaches for noise reduction in water level data)

  • 황유관;임경재;김종건;신민환;박윤식;신용철;지봉준
    • 한국수자원학회논문집
    • /
    • 제57권3호
    • /
    • pp.209-223
    • /
    • 2024
  • 4차 산업혁명 시대에 접어들어 데이터 기반의 의사결정이 보편화되고 있다. 하지만 데이터 품질이 확보되지 않은 채 수행되는 데이터 분석은 왜곡된 결과를 낳을 가능성이 존재한다. 수자원 관리의 기초가 되는 수위 데이터도 마찬가지로 결측, 스파이크, 잡음 등 다양한 품질 문제를 가진다. 본 연구에서는 잡음으로 인해 발생하는 데이터 품질 문제를 해결하고자 하였다. 잡음은 데이터의 트렌드 분석을 어렵게 하고 비정상적인 이상치를 생성할 가능성이 있다. 본 연구는 이러한 문제를 해결하기 위해 Wavelet Transform을 이용한 잡음 제거 접근 방안을 제안한다. Wavelet Transform은 신호처리에 주로 사용되는 방법으로 잡음 제거에 효과적인 것으로 알려져 있으며 수집된 데이터의 정답 데이터(True value) 수집을 요구하지 않으므로 시간과 비용을 줄일 수 있다는 점에서 적용이 용이한 편이다. 본 연구는 Wavelet Transform의 성능 평가를 위해 대표적인 머신러닝 기반 잡음 제거 방법인 Denoising Autoencoder와 성능 비교를 수행하였다. 그 결과 Wavelet Transform 중 Coiflets 함수는, Denoising Autoencoder에 비해 Mean Absolute Error, Mean Absolute Percentage Error, Mean Squared Error 등 모든 측면에서 우수한 성능을 보이는 것으로 나타났다. 이러한 결과는 환경에 맞는 적절한 웨이블릿 함수의 선택을 통한 잡음 문제를 효과적으로 해결할 수 있음을 시사한다. 본 연구는 수위 데이터의 품질을 향상시켜 수자원 관리 결정의 신뢰성에 기여하는 강력한 도구로서 Wavelet Transform의 잠재력을 확인한 의의가 있다.

CAPTCHA에 사용되는 숫자데이터를 자동으로 판독하기 위한 Autoencoder 모델들의 특성 연구 (A Study on the Characteristics of a series of Autoencoder for Recognizing Numbers used in CAPTCHA)

  • 전재승;문종섭
    • 인터넷정보학회논문지
    • /
    • 제18권6호
    • /
    • pp.25-34
    • /
    • 2017
  • 오토인코더(Autoencoder)는 입력 계층과 출력 계층이 동일한 딥러닝의 일종으로 은닉 계층의 제약 조건을 이용하여 입력 벡터의 특징을 효과적으로 추출하고 복원한다. 본 논문에서는 CAPTCHA 이미지 중 하나의 숫자와 자연배경이 혼재된 영역을 대상으로 일련의 다양한 오토인코더 모델들을 적용하여 잡음인 자연배경을 제거하고 숫자 이미지만을 복원하는 방법들을 제시한다. 제시하는 복원 이미지의 적합성은 오토인코더의 출력을 입력으로 하는 소프트맥스 함수를 활성화 함수로 사용하여 검증하고, CAPTCHA 정보를 자동으로 획득하는 다른 방법들과 비교하여, 본 논문에서 제시하는 방법의 우수함을 검증하였다.

디노이징 오토인코더와 그래프 컷을 이용한 딥러닝 기반 바이오-셀 영상 분할 (Bio-Cell Image Segmentation based on Deep Learning using Denoising Autoencoder and Graph Cuts)

  • 임선자;칼렙부누누;권오흠;이석환;권기룡
    • 한국멀티미디어학회논문지
    • /
    • 제24권10호
    • /
    • pp.1326-1335
    • /
    • 2021
  • As part of the cell division method, we proposed a method for segmenting images generated by topography microscopes through deep learning-based feature generation and graph segmentation. Hybrid vector shapes preserve the overall shape and boundary information of cells, so most cell shapes can be captured without any post-processing burden. NIH-3T3 and Hela-S3 cells have satisfactory results in cell description preservation. Compared to other deep learning methods, the proposed cell image segmentation method does not require postprocessing. It is also effective in preserving the overall morphology of cells and has shown better results in terms of cell boundary preservation.

음절 단위 Multi-hot 벡터 표현을 활용한 Sequence-to-sequence Autoencoder 기반 한글 오류 보정기 (Sequence-to-sequence Autoencoder based Korean Text Error Correction using Syllable-level Multi-hot Vector Representation)

  • 송치성;한명수;조훈영;이경님
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.661-664
    • /
    • 2018
  • 온라인 게시판 글과 채팅창에서 주고받는 대화는 실제 사용되고 있는 구어체 특성이 잘 반영된 텍스트 코퍼스로 음성인식의 언어 모델 재료로 활용하기 좋은 학습 데이터이다. 하지만 온라인 특성상 노이즈가 많이 포함되어 있기 때문에 학습에 직접 활용하기가 어렵다. 본 논문에서는 사용자 입력오류가 다수 포함된 문장에서의 한글 오류 보정을 위한 sequence-to-sequence Denoising Autoencoder 모델을 제안한다.

  • PDF